Spr�kteknologiLaboration 6Utv�rderingIntroduktionKTH extraktkorpus �r en korpus best�ende av meningar utvalda ur texter av testpersoner (informanter) och inlagda som statistik i en databas. Denna statistik kan bl.a. anv�ndas f�r att utv�rdera extraktionsbaserade automatiska textsammanfattare (t.ex. SweSum), ett exempel p� en s�dan utv�rdering beskrivs i artikeln Exploitation of Named Entities in Automatic Text Summarization for Swedish (NODALIDA'03). Utv�rdering i sig �r en minst lika viktig fas som implementering, detta f�r att veta att det man implementerar faktiskt �r anv�ndbart eller ger en f�rb�ttring gentemot tidigare implementationer/versioner. Det du/ni nu skall utf�ra �r en nedskalad version av ett s�dant utv�rderingf�rfarande, dvs gemensamt bidra till en statistikinsamling och utf�ra en miniutv�rdering med fem texter. Tanken �r att se om SweSum, som ocks� v�ljer ut meningar ur en text f�r att bygga upp en sammanfattning av denna text, kan f�s att v�lja ut de meningar som flest personer ocks� har valt ut. F�r att �stadkomma detta beh�ver vi god statistik och hj�lp med urval fr�n m�nga personer. Varje text b�r endast sammanfattas av en, eller en samarbetande grupp av, person(er). Att sammanfatta en text tar ca 3-5 min. Observera att ingen inl�mnad data kan knytas till dig personligen. F�r dig/er som aldrig har testat att manuellt sammanfatta texter med detta eller liknande system s� finns det en avdelning med tv� �vningstexter att prova systemet p�. Dessa ing�r inte i statistiken s� lek p� och bekanta er med systemet och metoden. N�r du/ni k�nner er redo att b�rja s� finns slumpvis utvald text att sammanfatta p�: http://www.nada.kth.se/iplab/hlt/kthxc/index.php?language=svenska&texttype=evalueringslab Note: If you are not a native Swedish speaker and not fairly proficient in written Swedish, it is adviced that you co-operate on this lab task with a native Swedish speaker as it concerns understanding of texts in written Swedish. Uppgift i korthetF�rberedelse: L�s igenom hela instruktionstexten noga fr�n b�rjan till slut. Steg 1: G� till http://www.nada.kth.se/iplab/hlt/kthxc/index.php?language=svenska&texttype=evalueringslab. Du b�r f� upp en text uppdelad i meningar med en kryssruta framf�r varje mening. Markera de meningar i texten som du/ni tycker b�r finnas med i en sammanfattning av texten genom att bocka f�r kryssrutorna framf�r respektive mening. Steg 2: Klicka [Visa sammanfattning] och l�s igenom den sammanfattning som visas i det nya f�nstret. Om du/ni tycker att sammanfattningen p� ett kort och koncist s�tt sammanfattar det centrala inneh�llet i texten s� klipp-och-klistra in sammanfattningen (inklusive statistik) i en textfil och klicka sedan p� [Godk�nn sammanfattning]. Efter att du har skickat in din sammanfattning s� f�r du �ven veta lite om hur ditt urval av meningar svarade mot de urval som gjorts hitintills f�r den aktuella texten. Se inte detta som en uppmaning att lyckas b�ttre n�sta g�ng utan mer som lite kuriosa och skojigt gr�dde p� moset. Klipp-och-klistra in �ven denna "kuriosa" under din sammanfattning i tidigare n�mnda textfil. Upprepa steg 1-2 f�r fem olika texter. Om slumpen skulle ge dig samma text tv� g�nger, klicka [Ny text] tills du/ni f�tt en text du/ni inte sammanfattat �nnu (risken �r stor d� det i den aktuella gruppen av texter endast finns fem texter, se nedan). Steg 3: G� till extraktdatabasen och klicka p� den f�rsta texten av de fem du/ni sammanfattade i steg 1-2. G� till nedre delen av sidan och notera vad medell�ngden p� de representerade extrakten �r f�r den aktuella texten, mata sedan in det v�rdet i "Visa sammanfattning p� [xxx] procent" och tryck retur. Dvs om det st�r att "Kortaste extraktet representerat ovan �r 19 %, l�ngsta �r 55 % och medell�ngden �r 36 %.", d� matar du in 36 % i f�ltet och trycker retur. J�mf�r denna sammanfattning (framtagen genom majoritetsbeslut) med din sammanfattning. �r det stora skillnader och vad skiljer dem isf �t? Varf�r tror du att du gjort annorlunda val �n majoriteten n�r du gjort det? Steg 4: Klicka p� Visa originaltext och klipp-och-klistra in HTML-koden i textrutan i det avancerade gr�nssnittet i SweSum. St�ll in procentgraden p� samma som medell�ngden i steg 3 och klicka [Sammanfatta]. J�mf�r denna sammanfattning med de tv� tidigare sammanfattningarna. Vad skiljer dessa �t och vad tror du dessa skillnader beror p�? Upprepa steg 3-4 f�r alla fem texter du/ni sammanfattade i steg 1-2. Steg 5: Beskriv vilka problem du/ni ser som de fr�msta med sammanfattningen gjord med SweSum j�mf�rt med urvalen gjorda av m�nniskor. Ange m�jliga angreppss�tt f�r att tackla dessa problem. Om du/ni hinner, prova g�rna att �ndra en del inst�llningar i SweSum (t.ex. vikter, pronomenresolution, generisk etc.) och se hur det p�verkar sammanfattningen i f�rh�llande till de "m�nskliga" extrakten. RedovisningRedovisa skriftligt de extrakt (och statistik+kuriosa) du/ni gjorde i steg 1-2 tillsammans med de observationer och reflektioner du/ni gjort i steg 3-5. Funderingar och fr�gor st�lls l�mpligast till labbhandledaren vid labbtillf�llet. Redovisning kan ske antingen genom att du/ni l�mnar in skriftligt under labbtillf�llet eller via e-post till jboye@csc.kth.se, det tidigare �r att f�redra om m�jligt. Observera att redovisning av laborationen �r obligatorisk f�r godk�nt p� kursen. Observera!Om ni �r flera personer som delar rum/dator och som vill bidra med extrakt till korpusen s� titta inte p� n�r n�gon annan g�r sina urval eftersom detta troligen i h�g grad p�verkar hur ditt urval d� kommer att se ut. N�r du sammanfattat klart en text dyker en (f�rhoppningsvis) ny text upp. Du v�ljer sj�lv i detta l�ge om du vill sammanfatta fler texter eller bryta, men jag skulle vara tacksam om du/ni ville sammanfatta �tminstone fem sex stycken texter (man beh�ver inte sammanfatta alla texter i en sittning). Kommer det upp en text som du redan sammanfattat, eller en som du av n�gon anledning k�nner att du inte kan sammanfatta, s� kan du f� en ny slumpvis utvald text genom att ladda om sidan eller genom att klicka p� knappen [Ny text]. De nu femton aktuella texterna som finns inlagda s� h�r l�ngt finns �ven att n� direkt p�: Teoretisk uppgiftTill varje laboration finns en teoriuppgift knuten. Syftet är att uppmuntra till tidigare inläsning av stoffet. Varje teoriuppgift skall redovisas på papper (ca. 100 ord) vid aktuellt labbtillfälle. Hur bonuspoängen fungerar beskrivs i KursPM. Teoriuppgifterna är inte obligatoriska utan skall ses som ett stöd för att utveckla de teoretiska kunskaperna i språkteknologi. Fr�ga: Definiera begreppen t�ckning och precision f�r n�gon spr�kteknologitill�mpning som skall utv�rderas. |