bild
Skolan för
elektroteknik
och datavetenskap

Kursanalys för DH2418, Språkteknologi, hösten 2009

Kursdata

Tid: period 1 läsåret 2009/2010 dvs sept-okt 2009.
Poängantal: 6 högskolepoäng (varav 1,5 poäng på labbar, 1,5 poäng för inlämningsuppgift och 3 poäng på tenta).
Tenta: ordinarietenta den 22 oktober 2009.
För att få skriva tentan måste man presentera inlämningsuppgiften muntligt före tentan.
Föreläsningar: 40 timmar.
Labbar: 12 timmar.
Inga övningar.
Kursledare: Ola Knutsson
Huvudföreläsare: Ola Knutsson, Viggo Kann, Martin Hassel (DSV), Magnus Rosell
Gästföreläsare: Anders Green (CSC), Hercules Dalianis (Euroling), Sumithra Vellupilai (DSV), Peter Svanberg (TNC, Terminologicentrum) och Joakim Gustafsson (TMH).
Antal studenter: 49 som har redovisat åtminstone ett helt moment.

Kurslitteratur:

Jurafsky & Martin: Speech and Language Processing, Prentice Hall 2008, ny upplaga/version + diverse artiklar, se kurshemsidan

Avklarade moment en månad efter kursens slut:

Ordinarietentamen: 35 av 47 (74 % godkända)

Betygsfördelning: 8 x A, 8 x B, 7 x C, 8 x D, 4 x E, 10 x Fx och 2 x F
Omtentamen; 1 x A Komplettering: 10 st. Labbkurs: 46 (94 %)
Inlämningsuppgiften: 44 (90 %)
Prestationsgrad: 93 % (273/294 poäng, förra året 96 %) antal presterade poäng av antalet möjliga poäng för de registrerade studenterna.
Examinationsgrad: 86 % (42/49 helt klara studenter, förra året 89 %) antal studenter som klarat alla kurskrav av alla registrerade studenter.

Mål

  • Kursens mål är att ge:

    kännedom om lingvistiska och statistiska metoder
    för språkanalys och språkgenerering,
    baskunskaper för lingvistisk och statistisk analys
    av texter t.ex. för indexering av texter på Internet
    samt exempel på ett antal verkliga tillämpningar.

  • för att studenterna ska:

    kunna implementera, analysera och utvärdera enkla språkteknologiska system
    inse språkteknologins möjligheter och begränsningar. Mer specifika lärandemål finns på kurssidan

Förändringar inför denna kursomgång

Detta var trettonde året kursen gick.
Vi gjorde inga stora förändringar av själva innehållet i kursen. Den största förändringen var att antalet studenter fördubblades.

Nya betygsättningen

Kraven på målrelaterade betyg och en ny betygsskala medförde en del arbete men också stora förbättringar av examinationen. Ett stort arbete med detta utfördes under 2007, och nu var det mest att njuta frukterna av detta arbete. Den svåraste gränsen för studenterna är godkäntsnivån (betyg E). Hur uppnår man den? Här finns det utvecklingsarbete att göra. Det var enklare att använda den nya betygsskalan på tentan än på inlämningsuppgiften eftersom alla studenter löser samma problem på tentan. Att tentan är uppdelad i två delar gör att studenten inte kan misslyckas med att uppnå ett lärandemål men ändå bli godkänd, vilket annars är risken med en tenta. Att ytterligare arbeta med tentautformningen för att få den att följa lärandemålen och betygsstegen är ett viktigt mål för framtiden. Bedömningen av inlämningsuppgifterna är svårare, och möjligen skulle en ännu mer utvecklad rättningsmall kunna förenkla arbetet för den som rättar. Det kräver också ett noggrant förarbete genom bättre designade inlämningsuppgifter. Risken är att inlämningsuppgifterna blir för likartade för att de skall kunna bedömas efter samma mall, men med tydliga betygskriterier kan nog en del av problemen undvikas.

Sammanfattning

Ola Knutsson var kursledare för sjätte gången. Kursen är väl inkörd och har ett bra skelett, de mycket små förändringar som gjordes inför denna kursomgång har från lärarnas synvinkel fungerat väl.

Det gick ungefär lika bra detta år med avseende på prestations- och examinationsgrad i år jämfört med förra året. Det var en fördubbling av antalet studenter detta år, vilket påverkade en del, men på det stora hela gick allt bra. Alla som skrev ordinarietentan denna gång klarade inte den, men 10 av 10 studenter med Fx fick godkänt efter komplettering. Två fick F även efter omtentan. Antalet Fx tror jag denna gång beror mest på att vi hade betydligt fler studenter än tidigare år, och en del av dessa hinner inte riktigt med att följa kursen.

Faktiskt innehåll på kursen

Kursen följde det ursprungliga upplägget enligt kursplanschemat. Alla lärare och gästföreläsare höll sig friska detta år.

kursens hemsida finns mer information om kursen.

Elevernas synpunkter och kursledarens kommentarer

En enkät (13 svar, 26 % av totalt deltagande 49 personer på kursen, förra året svarade 30 % på enkäten) gjordes med ACE.
Här följer en sammanfattning av enkätsvaren.
Studenternas kommentarer är kursiverade.
Några utdrag:

Om innehållet


  • Vad tycker du om kursens innehåll? (lingvistiska och statistiska metoder, tillämpningar)

    1. 23% (3 st) Mycket bra.
    2. 62% (8 st) Bra.
    3. 15% (2 st) Hyfsat.
    4. 0% (0 st) Mindre bra.
    5. 0% (0 st) Dåligt.

    Om kursens form


    1. 31% (4 st) Mycket bra.
    2. 62% (8 st) Bra.
    3. 0% (0 st) Hyfsad.
    4. 0% (0 st) Mindre bra.
    5. 0% (0 st) Dålig.

    Ev. allmänna kommentarer om formen:

    Mycket bra med olika föreläsare. Väldigt bra och känns som om man fick många väldigt bra föreläsningar.
    ---
    Labbarna bra. Vissa föreläsnignar kändes som att samma sak upprepades om och om igen.
    ---
    Väldigt bra föreläsningar och otroligt givande labbar! Skulle dock kännas bättre om man hade tillgång till alla "lab.programmen" själv, t.ex. för Stava kan man peta runt i källkoden och kompilera på sitt eget system medan Granska känns ganska stängt (p.g.a. web-interface). Bra med riktig lab varje vecka och att det inte var bara en mindre inlämningsuppgift utan stöd/dialog från/med lärare.
    ---
    Kändes som att att schemat var tight. Mycket teori och föreläsningar på kort tid.

    Kursboken


  • Vad tycker du om kursboken av Jurafsky & Martin?

    1. 8% (1 st) Mycket bra.
    2. 0% (0 st) Bra.
    3. 23% (3 st) Hyfsad.
    4. 15% (2 st) Mindre bra.
    5. 0% (0 st) Dålig.
    6. 54% (7 st) Har inte läst den.

    Ev. kommentar om boken:

    För omfattande och torr.
    ---
    Bra komplement till alla föreläsningar men föreläsningarna gav tillräckligt många gånger.
    ---
    Väldigt mycket text i förhållande till faktiskt användbart innehåll.
    ---
    Köpte den, men sålde den direkt efter tentan. Man får mycket information på föreläsningarna och känns som att det är bättre att lägga energin på att renskriva föreläsningsanteckningar än att läsa boken.
    ---
    Användes mest för att slå upp vissa saker. Det jag väl läste i den var väl bra men vet inte om det var ett så motiverat köp.

    Om kursbunten


  • Vad tycker du om artiklarna i kursbunten?

    1. 0% (0 st) Mycket bra.
    2. 23% (3 st) Bra.
    3. 15% (2 st) Hyfsade.
    4. 0% (0 st) Mindre bra.
    5. 0% (0 st) Dåliga.
    6. 62% (8 st) Har inte läst dem.

    Ev. kommentar om kursbunten:

    Jättebra med så mycket extramaterial men svårt att veta vad som är extra intressant.
    ---
    Läste inte ihjäl mig direkt men de jag kikade på var relevanta och av hög kvalitet


    Om examinationsformerna

  • Vad tycker du om kursens examinationsform? (mindre labbar, avslutande uppgift, tenta)
    1. 23% (3 st) Mycket bra.
    2. 54% (7 st) Bra.
    3. 23% (3 st) Hyfsat.
    4. 0% (0 st) Mindre bra.
    5. 0% (0 st) Dåligt.

    Ev. kommentarer om examinationsformen:

    Man känner att det är en del att göra men labbar och uppgifter gör att man klarar sig bättre så väldigt bra upplägg.
    ---
    Väldigt bra med labbar som inte antar att man inte har något liv utanför skolan. Tentan lagom, även om jag har svårt för konceptet med tentor som är uppdelade på det här sättet.

    Dåligt att det krävs en redovisning av projektet för att få gå upp på tentan. Olika examinationsmoment borde inte bero av varandra på det sättet.

    ---
    Tycker kanske att en hemtenta skulle vara ett bättre alternativ än tenta men det blir ju mer jobb för er...
    ---
    Mycket bra labbar. Borde lagt mer tid på den avslutande rapporten, men vi hade mycket annat att göra också. För betygets skull hade det varit värt att lägga ner en extra dags arbete på den.
    ---
    Även om jag inte förstod förens halvvägs genom kursen att det fanns en inlämningsuppgift...

    Om tentan


  • Hur tycker du att tentan speglade kursinnehållet?

    1. 15% (2 st) Mycket bra.
    2. 46% (6 st) Bra.
    3. 23% (3 st) Hyfsat.
    4. 15% (2 st) Mindre bra.
    5. 0% (0 st) Dåligt.
    6. 0% (0 st) Tentade inte.

    Ev. kommentarer om tentan:

    Bra tenta!
    ---
    Väldigt rolig tenta! Bra med teoridel och en givande problemdel -- man har verkligen lyckats med en tenta om även den känns givande!
    ---
    Lite för hårda gränser för att bli godkänd på a-delen.

    Om det egna lärandet


  • Tycker du att du har lärt dig något på kursen?

    1. 31% (4 st) Mycket.
    2. 46% (6 st) En hel del.
    3. 23% (3 st) Ganska mycket.
    4. 0% (0 st) Lite grann.
    5. 0% (0 st) Nästan inget - kunde ha läst materialet på egen hand.
    6. 0% (0 st) Svårt att svara på.

    Ev. kommentarer om lärandet och kursen:

    Jag tycker dock att jag är betydligt bättre på ämnet än mitt studieresultat antyder...

    För höga krav eller dålig självbild...?


  • Vilken del av kursen tycker du har gett dig mest/lärt dig mest?

    1. 15% (2 st) Föreläsningarna.
    2. 54% (7 st) Laborationerna.
    3. 8% (1 st) Inlämningsuppgiften.
    4. 8% (1 st) Tentan.
    5. 8% (1 st) Självstudierna.
    6. 0% (0 st) Ingen speciell del.
    7. 8% (1 st) Svårt att svara på.

    Ev. kommentarer om kursens lärmoment:

    Jättebra laborationer
    ---
    Självstudier har kopplingar till allt annat men inlämningsuppgiften gav möjlighet att pröva något språkteknologiskt vilket gav väldigt mycket och förebereda varje labb gjorde att man lärde sig.
    ---
    Självstudierna inför tentan...

    Om inlämningsuppgiften


  • Vad tyckte du om inlämningsuppgiften som redovisades sist i kursen?

    1. 23% (3 st) Mycket intressant
    2. 23% (3 st) Intressant.
    3. 15% (2 st) Okej.
    4. 8% (1 st) Ointressant.
    5. 15% (2 st) Tog för mycket tid.
    6. 0% (0 st) Borde få ta mera tid.

    Synpunkter på extrauppgiften/uppsatsen, t.ex. redovisningsformen:

    Kul att få göra något större på egen hand. Tyvärr blir det inte alltför nyrevolutionerande när det är så kort tid, men det var ändå lagom med tid avsatt för den.
    ---
    Väldigt mycket kodande för väldigt lite resultat... Men det var intressant.

    Ytterligare kommentarer om kursen

    Det finns en lång personlig kommentar om att kursen handlar för mycket om KTH:s egna verktyg. Personen som kommenterar tycker att det blir för mycket fokus på dessa.

    Kursledarens kommentarer om studenternas svar i enkäten samt egna tankar om kursen

    Det var dubbelt så många studenter på kursen detta år som förra året. Som vanligt finns det en del studenter som verkligen gillar språkteknologi men alla dessa verkar inte ha svarat på kursenkäten. Intressant är att så pass många tycker att kursen är medel/ganska svår. En del tycker att det ställs för höga examinationskrav.Det finns flera positiva kommentarer om tentan - sådant är roligt.

    Jag tycker fortfarande att boken är bra, speciellt i avsaknad av en på svenska, ganska många verkar också skaffa sig tillgång till boken. Varje år klagar flera på att det är för många språkliga begrepp att lära sig, i år finns det enbart ett klagomål om att det blir för detaljerat ibland. Jag tror dock att det är för få enkätsvar för att vi skall kunna hoppas att verklig förändring skett på detta viktiga område.Eventuellt skulle en tidig examination av kursens teoridel (som nu finns i tentan) ligga mycket tidigare i kursen.

    Angående studenternas lärande är det en svår fråga att svara på som jag dock tycker är mycket relevant. Tentan och labbarna verkar i viss mån fungera som en hjälp att bedöma det egna lärandet. Frågan är hur vi hittar andra sätt att få studenterna att känna att de behärskar området.En tänkbar effekt av att kursen nu har tydligare lärandemål och bedömningsmall för t.ex. inlämningsuppgiften gör eventuellt att studenterna också börjar fundera över detta.

    Nytt från förrförra året var att inlämningsuppgiften skulle vara antingen ett rent "utvecklingsprojekt" eller också ett utvärderingsprojekt. Det var de mer utförliga och mer genomtänkta lärandemålen som ledde fram till detta. När jag har talat med en del studenter så märker jag att detta upplägg fortfarande inte är helt optimalt. Det är stor skillnad, inte minst i risktagandet, att försöka sig på ett tidigare olöst problem mot att utvärdera något redan färdigt program. För språkteknologin som ämne är dock båda spåren viktiga, och eftersom studenterna som går kursen kommer från olika håll så känns det bra att fortsätta att två huvudalternativ för inlämningsuppgiften. Att ge tydligare riktlinjer för hur mycket språkligt material som skall användas vid utvärderingarna bör utvecklas. Det är dock svårt på ett generellt plan, och blir uppgiftsspecifikt. Om studenterna dessutom vill veta hur mycket de måste utvärdera för specifika betyg blir det ett än mer omfattande arbete för den som designar de olika utvärderingsuppgifterna.Tydliga betygskriterier kan vara till hjälp här.

    Planerade förändringar

    Revision av ämnen för inlämningsuppgifter bör alltid göras, och det är en rekommendation till nästa kursomgång. Vi lyckades detta år få flera att hålla sig inom ramarna för både den övre och den nedre ambitionsnivån. En del inlämningsuppgifter var dock så bra att jag gärna sett en utveckling av dessa. Kursledaren anno 2010 bör tillsammans med andra lärare utveckla den tidiga examinationen av de teoretsiak kunskaperna. Om studenterna tidigt har ett språk för att beskriva mänskliga språk kan de enklare få hjälp, samt lyckas bättre både på tenta och med inlämningsuppgiftens rapport. Min rekommendation till framtida kursledare är att arbeta med lärandemål och betygskriterierna. I nuvarande form är lärandemål kanske lite för många, även om det är tydligt vad för kunskaper som efterfrågas. Att tydligt få fram vad som krävs för godkänt på de olika momenten är också mycket viktigt för att öka studenternas lärande. Med en tydlig bild av vad som krävs för att åtminstone nå betyg E tror jag att fler också kommer att nå detta betyg eller över detta betyg.



  • Copyright © Sidansvarig: Ola Knutsson <knutsson@csc.kth.se>
    Uppdaterad 2010-05-20