Disclaimer: Dieser Thread wurde aus dem alten Forum importiert. Daher werden eventuell nicht alle Formatierungen richtig angezeigt. Der ursprüngliche Thread beginnt im zweiten Post dieses Threads.
Interpretation der flair scores (mehrere Klassen pro entity?)
Hallo, bei meinen flair scores kommt zu einer named entity “foo” meist nicht nur der score für “foo”, sondern auch für “L-foo” und “U-foo” (s. Anhang). Ich dachte erst das wäre auf http://www.davidsbatista.net/blog/2018/05/09/Named_Entity_Evaluation/ Szenarien IV-VI zurückzuführen, aber für “U-foo” käme dann eigentlich nur type confusion in Betracht (also “U-foo” als “U-bar” erkannt).
Kann sich da jemand einen Reim drauf machen?
Mein Plan wäre, die F1-scores der Klassen ohne BILOU-Präfix zu übernehmen, und davon das macro-average zu berechnen. In der Hoffnung, dass ich damit die CoNLL-2003 Metrik abbilde. Von den Klassen wie “L-foo” und “U-foo” würde ich die Ergebnisse ignorieren (ebenso von der “-” Klasse). Mich stört es aber, dass mir deren Unterschied zu “foo” nicht so ganz klar ist.
Attachment:
scores.png: https://fsi.cs.fau.de/unb-attachments/post_160849/scores.png
