bild
Skolan för
elektroteknik
och datavetenskap

Kursanalys för DH2418, Språkteknologi, hösten 2008

Kursdata

Tid: period 1 läsåret 2008/2009 dvs sept-okt 2008.
Poängantal: 6 högskolepoäng (varav 1,5 poäng på labbar, 1,5 poäng för inlämningsuppgift och 3 poäng på tenta).
Tenta: ordinarietenta den 28 oktober 2008. .
För att få skriva tentan måste man presentera inlämningsuppgiften muntligt före tentan.
Föreläsningar: 40 timmar.
Labbar: 12 timmar.
Inga övningar.
Kursledare: Ola Knutsson
Huvudföreläsare: Ola Knutsson, Viggo Kann, Martin Hassel (DSV), Magnus Rosell
Gästföreläsare: Anders Green (CSC), Hercules Dalianis (Euroling), Sumithra Vellupilai (DSV), Peter Svanberg (TNC, Terminologicentrum) och Joakim Gustafsson (TMH).
Antal studenter: 27 som har redovisat åtminstone ett helt moment (27 totalt i res).

Kurslitteratur:

Jurafsky & Martin: Speech and Language Processing, Prentice Hall 2008, ny upplaga/version + diverse artiklar, se kurshemsidan

Avklarade moment en månad efter kursens slut:

Ordinarietentamen: 20 av 27 (74 % godkända)

Betygsfördelning: 4 x A, 7 x B, 6 x C, 1 x D, 2 x E och 7 x Fx
Labbkurs: 25 (92 %)
Inlämningsuppgiften: 27 (100 %)
Prestationsgrad: 96 % (156/162 poäng, förra året 94 %) antal presterade poäng av antalet möjliga poäng för de registrerade studenterna.
Examinationsgrad: 89 % (24/27 helt klara studenter, förra året 85 %) antal studenter som klarat alla kurskrav av alla registrerade studenter.
Omtentamen: 6 kompletteringar gjordes, samtliga godkändes.

Mål

  • Kursens mål är att ge:

    kännedom om lingvistiska och statistiska metoder
    för språkanalys och språkgenerering,
    baskunskaper för lingvistisk och statistisk analys
    av texter t.ex. för indexering av texter på Internet
    samt exempel på ett antal verkliga tillämpningar.

  • för att studenterna ska:

    kunna implementera, analysera och utvärdera enkla språkteknologiska system
    inse språkteknologins möjligheter och begränsningar. Mer specifika lärandemål finns på kurssidan

Förändringar inför denna kursomgång

Detta var tolfte året kursen gick.
Vi gjorde inga stora förändringar av själva innehållet i kursen. Den största förändringen var att kursboken kom precis före kursstart i en ny utvidgad upplaga.

Nya betygsättningen

Kraven på målrelaterade betyg och en ny betygsskala medförde en del arbete men också stora förbättringar av examinationen. Detta arbete utfördes under 2007, och nu var det mest att njuta frukterna av detta arbete. En utförlig rättningsmall användes för inlämningsuppgiften. De olika kriterierna i denna offentliggjordes. Tentan utformades så att den innehöll två delar, en del som man måste nå en viss nivå på för att bli godkänd på hela tentan (15 av 20 poäng krävdes). Denna del var mer teoretisk, och vi har under åren funnit ett allt större behov av teoretiska kunskaper inom kursen för att på ett mer avancerat sätt diskutera ämnet. Detta är viktigt inte minst om studenten tänker sig att göra exjobb inom språkteknologi. Se nedan för en redovisning av resultaten på tentan. Det var enklare att använda den nya betygsskalan på tentan än på inlämningsuppgiften eftersom alla studenter löser samma problem på tentan. Bedömningen av inlämningsuppgifterna är svårare, och möjligen skulle en ännu mer utvecklad rättningsmall kunna förenkla arbetet för den som rättar. Det kräver också ett noggrannt förarbete genom bättre designade inlämningsuppgifter. Risken är att inlämningsuppgifterna blir för likartade för att de skall kunna bedömas efter samma mall.

Sammanfattning

Ola Knutsson var kursledare för femte gången. Kursen är väl inkörd och har ett bra skelett, de mycket små förändringar som gjordes inför denna kursomgång har från lärarnas synvinkel fungerat väl.

Det gick bättre detta år med avseende på prestations- och examinationsgrad i år jämfört med förra året. Alla som skrev ordinarietentan denna gång klarade inte den, men 6 av 7 studenter med Fx fick godkänt efter komplettering. Jag tror att den ganska låga närvaron på föreläsningarna avspeglade sig med betydligt lägre betyg detta år med hela 7 Fx på tentan.

Faktiskt innehåll på kursen

Kursen följde det ursprungliga upplägget enligt kursplanschemat. Alla lärare och gästföreläsare höll sig friska detta år.

kursens hemsida finns mer information om kursen.

Elevernas synpunkter och kursledarens kommentarer

En enkät (8 svar, 30 % av totalt deltagande 27 personer på kursen, förra året svarade 44 % på enkäten) gjordes med ACE.
Här följer en sammanfattning av enkätsvaren.
Studenternas kommentarer är kursiverade.
Några utdrag:

Om innehållet


  • Vad tycker du om kursens innehåll? (lingvistiska och statistiska metoder, tillämpningar)

    1. 65% (5 st) Mycket bra.
    2. 25% (2 st) Bra.
    3. 13% (1 st) Hyfsat.
    4. 0% (0 st) Mindre bra.
    5. 0% (0 st) Dåligt.

    Ev. allmänna kommentarer om kursinnehållet:

    kursen gav en bred överblick
    ---
    Täcker ett brett område, vilket har sina fördelar och nackdelar.
    ---

    Om kursens form


  • Vad tycker du om kursens form? (föreläsningar av experter på varje område, såväl teori som tillämpning och labb varje vecka)

    1. 50% (4 st) Mycket bra.
    2. 50% (4 st) Bra.
    3. 0% (0 st) Hyfsad.
    4. 0% (0 st) Mindre bra.
    5. 0% (0 st) Dålig.

    Ev. allmänna kommentarer om formen:

    Kursboken


  • Vad tycker du om kursboken av Jurafsky & Martin?

    1. 0% (0 st) Mycket bra.
    2. 63% (5 st) Bra.
    3. 13% (1 st) Hyfsad.
    4. 0% (0 st) Mindre bra.
    5. 0% (0 st) Dålig.
    6. 25% (2 st) Har inte läst den.

    Ev. kommentar om boken:

    Inte nödvändig för kursen men bra som extramaterial vid sidan om.
    ---

    Om kursbunten


  • Vad tycker du om artiklarna i kursbunten?

    1. 0% (0 st) Mycket bra.
    2. 25% (2 st) Bra.
    3. 25% (2 st) Hyfsade.
    4. 0% (0 st) Mindre bra.
    5. 0% (0 st) Dåliga.
    6. 50% (4 st) Har inte läst dem.

    Ev. kommentar om kursbunten:

    Om examinationsformerna

  • Vad tycker du om kursens examinationsform? (mindre labbar, avslutande uppgift, tenta)

    1. 50% (4 st) Mycket bra.
    2. 50% (4 st) Bra.
    3. 0% (0 st) Hyfsat.
    4. 0% (0 st) Mindre bra.
    5. 0% (0 st) Dåligt.

    Ev. kommentarer om examinationsformen:

    Om tentan


  • Hur tycker du att tentan speglade kursinnehållet?

    1. 38% (3 st) Mycket bra.
    2. 63% (5 st) Bra.
    3. 0% (0 st) Hyfsat.
    4. 0% (0 st) Mindre bra.
    5. 0% (0 st) Dåligt.
    6. 0% (0 st) Tentade inte.

    Ev. kommentarer om tentan:

    Om det egna lärandet


  • Tycker du att du har lärt dig något på kursen?

    1. 50% (4 st) Mycket.
    2. 38% (3 st) En hel del.
    3. 13% (1 st) Ganska mycket.
    4. 0% (0 st) Lite grann.
    5. 0% (0 st) Nästan inget - kunde ha läst materialet på egen hand.
    6. 0% (0 st) Svårt att svara på.

    Ev. kommentarer om lärandet och kursen:


  • Vilken del av kursen tycker du har gett dig mest/lärt dig mest?

    1. 25% (2 st) Föreläsningarna.
    2. 38% (3 st) Laborationerna.
    3. 13% (1 st) Inlämningsuppgiften.
    4. 0% (0 st) Tentan.
    5. 0% (0 st) Självstudierna.
    6. 0% (0 st) Ingen speciell del.
    7. 25% (2 st) Svårt att svara på.

    Ev. kommentarer om kursens lärmoment:

    Laborationerna också.

    Om inlämningsuppgiften


  • Vad tyckte du om inlämningsuppgiften som redovisades sist i kursen?

    1. 50% (4 st) Mycket intressant
    2. 13% (1 st) Intressant.
    3. 13% (1 st) Okej.
    4. 0% (0 st) Ointressant.
    5. 0% (0 st) Tog för mycket tid.
    6. 0% (0 st) Borde få ta mera tid.

    Synpunkter på extrauppgiften/uppsatsen, t.ex. redovisningsformen:

    Inga synpunkter.

    Ytterligare kommentarer om kursen

    Inga ytterligare kommentarer.

    Kursledarens kommentarer om studenternas svar i enkäten samt egna tankar om kursen

    Det var lika många studenter på kursen detta år som förra året, men deltagandet i sal mycket lägre. Som vanligt finns det en del studenter som verkligen gillar språkteknologi men alla dessa verkar inte ha svarat på kursenkäten. Intresaant är att 50 % svarar att kursen är ganska svår. Det är nog flera än vanligt, men antalet svarande detta år var tyvärr lågt. Jag tycker fortfarande att boken är bra, speciellt i avsaknad av en på svenska. På de större konferenserna inom språkteknologi förekommer det ibland workshops om undervisning i språkteknologi.I dessa workshops diskuteras ibland det här med lämplig kursbok. Vad jag läst hittills så verkar det svårt att hitta någon bok som är väsentligt bättre än Jurafsky och Martin.Varje år klagar flera på att det är för många språkliga begrepp att lära sig. Det är säkert sant, men hur skall man kunna tala om ett ämne utan använda termer för de olika koncepten? Det är också så att begreppen bygger på varandra, så fungerar ju för övrigt våra mänskliga språk. Vi är ju också trots allt på ett universitet. Ett förslag som kommer fram från flera personer som deltagit i de senaste årens kursenkäter är att ge ut ett litet material som beskriver de olika språkteknologiska termerna. Det är ett bra förslag, men samtidigt finns kursboken där samtliga för kursen nödvändiga termer finns med. Ett problem är att dessa är på engelska och det finns vissa skillnader mot de svenska. Kursledaren för 2009 bör fundera över hur studenterna kan få hjälp med att lära sig kursens diskurs. Ett förslag från mig är att bygga in dynamisk kunskapskontroll (ej examination, engelska termen är Dynamic assessment) i föreläsningarna, istället för att försöka sig på att bygga upp en ordlista. Man lär sig inte ordklasserna genom att lära sig definitionerna, utan man lär sig dem genom att analysera språkligt material. Dynamisk kunskapskontroll kommer också leda till mer interaktiva föreläsningar. Jag vet av erfarenhet att ställa lite frågor då och då inte räcker, utan studenterna måste känna att nu kontolleras kunskaperna. Det kommer också att bli ett verktyg för mig att förklara de begrepp som är svåra. Angående studenternas lärande är det en svår fråga att svara på som jag dock tycker är mycket relevant. Tentan och labbarna verkar i viss mån fungera som en hjälp att bedöma det egna lärandet. Frågan är hur vi hittar andra sätt att få studenterna att känna att de behärskar området.En tänkbar effekt av att kursen nu har tydligare lärandemål och bedömningsmall för t.ex. inlämningsuppgiften gör eventuellt att studenterna också börjar fundera över detta. Nytt från förra året var att inlämningsuppgiften skulle vara antingen ett rent "utvecklingsprojekt" eller också ett utvärderingsprojekt. Det var de mer utförliga och mer genomtänkta lärandemålen som ledde fram till detta. När jag har talat med en del studenter så märker jag att detta upplägg fortfarande inte är helt optimalt. Det är stor skillnad, inte minst i risktagandet, att försöka sig på ett tidigare olöst problem mot att utvärdera något redan färdigt program. För språkteknologin som ämne är dock båda spåren viktiga, och eftersom studenterna som går kursen kommer från olika håll så känns det bra att fortsätta att två huvudalternativ för inlämningsuppgiften. Att ge tydligare riktlinjer för hur mycket språkligt material som skall användas vid utvärderingarna bör utvecklas. Det är dock svårt på ett generellt plan, och blir uppgiftsspecifikt. Om studenterna dessutom vill veta hur mycket de måste utvärdera för specifika betyg blir det ett än mer omfattande arbete för den som designar de olika utvärderingsuppgifterna.

    Planerade förändringar

    Revision av ämnen för inlämningsuppgifter bör alltid göras, och det är en rekommendation till nästa kursomgång. Vi lyckades detta år få flera att hålla sig inom ramarna för både den övre och den nedre ambitionsnivån. En del inlämningsuppgifter var dock så bra att jag gärna sett en utveckling av dessa. Kursledaren anno 2009 bör tillsammans med andra lärare utveckla detta spår. En del inlämningsuppgifter är så pass bra att de säkert skulle gå att publicera på olika "Student tracks" på de större konferenserna inom språkteknologin. Uppgiften med talsyntes tror jag att studenterna lär sig mycket av men den har dels "lösts" av många nu, dels drar den lite väl mycket åt det talteknologiska. Min rekommendation till framtida kursledare att denna nu har spelat ut sin roll som uppgift. Balansen mellan programmering och språkligt innehåll var medelgod i år bland inlämningsuppgifterna. Det är en rekommendation att balansera detta när uppgifterna formuleras.



  • Copyright © Sidansvarig: Ola Knutsson <knutsson@csc.kth.se>
    Uppdaterad 2009-06-04