bild
Skolan för
elektroteknik
och datavetenskap

Språkteknologi

Laboration 6

Utvärdering

Ola Knutsson

Introduktion

KTH extraktkorpus är en korpus bestående av meningar utvalda ur texter av testpersoner (informanter) och inlagda som statistik i en databas. Denna statistik kan bl.a. användas för att utvärdera extraktionsbaserade automatiska textsammanfattare (t.ex. SweSum), ett exempel på en sådan utvärdering beskrivs i artikeln Exploitation of Named Entities in Automatic Text Summarization for Swedish (NODALIDA'03). Utvärdering i sig är en minst lika viktig fas som implementering, detta för att veta att det man implementerar faktiskt är användbart eller ger en förbättring gentemot tidigare implementationer/versioner. Det du/ni nu skall utföra är en nedskalad version av ett sådant utvärderingförfarande, dvs gemensamt bidra till en statistikinsamling och utföra en miniutvärdering med fem texter. Statistiken kommer att raderas efter kursslut, men den som skulle vilja bidra med urvalsstatistik till vår databas är välkommen att kontakta Martin (xmartin@nada.kth.se).

Tanken är att se om SweSum, som också väljer ut meningar ur en text för att bygga upp en sammanfattning av denna text, kan fås att välja ut de meningar som flest personer också har valt ut. För att åstadkomma detta behöver vi god statistik och hjälp med urval från många personer. Varje text bör endast sammanfattas av en, eller en samarbetande grupp av, person(er). Att sammanfatta en text tar ca 3-5 min. Observera att ingen inlämnad data kan knytas till dig personligen.

För dig/er som aldrig har testat att manuellt sammanfatta texter med detta eller liknande system så finns det en avdelning med två övningstexter att prova systemet på. Dessa ingår inte i statistiken så lek på och bekanta er med systemet och metoden. När du/ni känner er redo att börja så finns slumpvis utvald text att sammanfatta på: http://www.nada.kth.se/iplab/hlt/kthxc/index.php?language=svenska&texttype=evalueringslab

Note: If you are not a native Swedish speaker and not fairly proficient in written Swedish, it is adviced that you co-operate on this lab task with a native Swedish speaker as it concerns understanding of texts in written Swedish.


Uppgift i korthet

Förberedelse: Placera er i grupper om 1-3 personer. Läs igenom hela instruktionstexten noga från början till slut.

Steg 1: Gå till http://www.nada.kth.se/iplab/hlt/kthxc/index.php?language=svenska&texttype=evalueringslab. Du bör få upp en text uppdelad i meningar med en kryssruta framför varje mening. Markera de meningar i texten som du/ni tycker bör finnas med i en sammanfattning av texten genom att bocka för kryssrutorna framför respektive mening.

Steg 2: Klicka [Visa sammanfattning] och läs igenom den sammanfattning som visas i det nya fönstret. Om du/ni tycker att sammanfattningen på ett kort och koncist sätt sammanfattar det centrala innehållet i texten så klipp-och-klistra in sammanfattningen (inklusive statistik) i en textfil och klicka sedan på [Godkänn sammanfattning]. Efter att du har skickat in din sammanfattning så får du även veta lite om hur ditt urval av meningar svarade mot de urval som gjorts hitintills för den aktuella texten. Se inte detta som en uppmaning att lyckas bättre nästa gång utan mer som lite kuriosa och skojigt grädde på moset. Klipp-och-klistra in även denna "kuriosa" under din sammanfattning i tidigare nämnda textfil.

Upprepa steg 1-2 för fem olika texter. Om slumpen skulle ge dig samma text två gånger, klicka [Ny text] tills du/ni fått en text du/ni inte sammanfattat ännu (risken är stor då det i den aktuella gruppen av texter endast finns fem texter, se nedan).

Steg 3: Gå till extraktdatabasen och klicka på den första texten av de fem du/ni sammanfattade i steg 1-2. Gå till nedre delen av sidan och notera vad medellängden på de representerade extrakten är för den aktuella texten, mata sedan in det värdet i "Visa sammanfattning på [xxx] procent" och tryck retur. Dvs om det står att "Kortaste extraktet representerat ovan är 19 %, längsta är 55 % och medellängden är 36 %.", då matar du in 36 % i fältet och trycker retur. Jämför denna sammanfattning (framtagen genom majoritetsbeslut) med din sammanfattning. Är det stora skillnader och vad skiljer dem isf åt? Varför tror du att du gjort annorlunda val än majoriteten när du gjort det?

Steg 4: Klicka på Visa originaltext och klipp-och-klistra in HTML-koden i textrutan i det avancerade gränssnittet i SweSum. Ställ in procentgraden på samma som medellängden i steg 3 och klicka [Sammanfatta]. Jämför denna sammanfattning med de två tidigare sammanfattningarna. Vad skiljer dessa åt och vad tror du dessa skillnader beror på?

Upprepa steg 3-4 för alla fem texter du/ni sammanfattade i steg 1-2.

Steg 5: Beskriv vilka problem du/ni ser som de främsta med sammanfattningen gjord med SweSum jämfört med urvalen gjorda av människor. Ange möjliga angreppssätt för att tackla dessa problem. Om du/ni hinner, prova gärna att ändra en del inställningar i SweSum (t.ex. vikter, pronomenresolution, generisk etc.) och se hur det påverkar sammanfattningen i förhållande till de "mänskliga" extrakten.


Redovisning

Redovisa skriftligt de extrakt (och statistik+kuriosa) du/ni gjorde i steg 1-2 tillsammans med de observationer och reflektioner du/ni gjort i steg 3-5. Funderingar och frågor ställs lämpligast till labbhandledaren vid labbtillfället. Redovisning kan ske antingen genom att du/ni lämnar in skriftligt under labbtillfället eller via e-post till knutsson@csc.kth.se, det tidigare är att föredra om möjligt. Observera att redovisning av laborationen är obligatorisk för godkänt på kursen.


Observera!

Om ni är flera personer som delar rum/dator och som vill bidra med extrakt till korpusen så titta inte på när någon annan gör sina urval eftersom detta troligen i hög grad påverkar hur ditt urval då kommer att se ut.

När du sammanfattat klart en text dyker en (förhoppningsvis) ny text upp. Du väljer själv i detta läge om du vill sammanfatta fler texter eller bryta, men jag skulle vara tacksam om du/ni ville sammanfatta åtminstone fem sex stycken texter (man behöver inte sammanfatta alla texter i en sittning). Kommer det upp en text som du redan sammanfattat, eller en som du av någon anledning känner att du inte kan sammanfatta, så kan du få en ny slumpvis utvald text genom att ladda om sidan eller genom att klicka på knappen [Ny text].

De nu femton aktuella texterna som finns inlagda så här långt finns även att nå direkt på:
http://www.nada.kth.se/iplab/hlt/kthxc/index.php?fileid=svenska->evalueringslab->text001.htm
http://www.nada.kth.se/iplab/hlt/kthxc/index.php?fileid=svenska->evalueringslab->text002.htm
http://www.nada.kth.se/iplab/hlt/kthxc/index.php?fileid=svenska->evalueringslab->text003.htm
http://www.nada.kth.se/iplab/hlt/kthxc/index.php?fileid=svenska->evalueringslab->text004.htm
http://www.nada.kth.se/iplab/hlt/kthxc/index.php?fileid=svenska->evalueringslab->text005.htm
http://www.nada.kth.se/iplab/hlt/kthxc/index.php?fileid=svenska->evalueringslab->text006.htm
http://www.nada.kth.se/iplab/hlt/kthxc/index.php?fileid=svenska->evalueringslab->text007.htm
http://www.nada.kth.se/iplab/hlt/kthxc/index.php?fileid=svenska->evalueringslab->text008.htm
http://www.nada.kth.se/iplab/hlt/kthxc/index.php?fileid=svenska->evalueringslab->text009.htm
http://www.nada.kth.se/iplab/hlt/kthxc/index.php?fileid=svenska->evalueringslab->text010.htm
http://www.nada.kth.se/iplab/hlt/kthxc/index.php?fileid=svenska->evalueringslab->text011.htm
http://www.nada.kth.se/iplab/hlt/kthxc/index.php?fileid=svenska->evalueringslab->text012.htm
http://www.nada.kth.se/iplab/hlt/kthxc/index.php?fileid=svenska->evalueringslab->text013.htm
http://www.nada.kth.se/iplab/hlt/kthxc/index.php?fileid=svenska->evalueringslab->text014.htm
http://www.nada.kth.se/iplab/hlt/kthxc/index.php?fileid=svenska->evalueringslab->text015.htm

Copyright © Sidansvarig: Ola Knutsson <knutsson@csc.kth.se>
Uppdaterad 2009-08-16