{"id":777,"date":"2019-11-02T08:00:08","date_gmt":"2019-11-02T07:00:08","guid":{"rendered":"https:\/\/rechtsprechung-im-ostseeraum.archiv.uni-greifswald.de\/?p=777"},"modified":"2019-09-14T10:07:36","modified_gmt":"2019-09-14T08:07:36","slug":"how-to-create-test-sets-and-why-they-are-important-1","status":"publish","type":"post","link":"https:\/\/rechtsprechung-im-ostseeraum.archiv.uni-greifswald.de\/de\/how-to-create-test-sets-and-why-they-are-important-1\/","title":{"rendered":"Warum Testsets wichtig sind und wie man sie anlegt, #1"},"content":{"rendered":"

Release 1.7.1<\/em><\/span><\/p>\n

Wenn wir \u00fcberpr\u00fcfen wollen, wieviel ein Modell im Training gelernt hat, m\u00fcssen wir es auf die Probe stellen. Das tun wir mit Hilfe von m\u00f6glichst genau definierten Testsets. Testsets enthalten \u2013 wie das Trainingsset \u2013 ausschlie\u00dflich GT. Allerdings stellen wir sicher, dass dieser GT niemals f\u00fcr das Training des Modells verwendet wurde. Das Modell \u201ekennt\u201c dieses Material also nicht. Das ist die wichtigste Eigenschaft von Testsets. Denn eine Textseite, die schon einmal als Trainingsmaterial diente, wird vom Modell immer besser gelesen werden, als eine, mit der es noch nicht \u201evertraut\u201c ist. Das kann man experimentell leicht \u00fcberpr\u00fcfen. Will man also valide Aussagen \u00fcber die CER und WER<\/a> erhalten, ben\u00f6tigt man \u201enicht korrumpierte\u201c Testsets.<\/p>\n

Fast genauso wichtig ist, dass ein Testset repr\u00e4sentativ ist. Solange man ein HTR-Modell f\u00fcr einen einzigen Schreiber oder eine individuelle Handschrift trainiert, ist das nicht schwer \u2013 es ist ja schlie\u00dflich immer dieselbe Hand. Sobald mehrere Schreiber im Spiel sind, muss darauf geachtet werden, dass m\u00f6glichst alle individuellen Handschriften die im Trainingsmaterial verwendet werden, auch im Testset enthalten sind. Je mehr unterschiedliche Handschriften in einem Modell trainiert werden desto gr\u00f6\u00dfer werden die Testsets.<\/p>\n

Der Umfang des Testsets ist ein weiterer Faktor, der die Repr\u00e4sentativit\u00e4t beeinflusst. In der Regel sollte ein Testset 5-10% des Umfangs des Trainingsmaterials enthalten. Diese Faustregel sollte aber immer an die spezifischen Anforderungen des Materials und der Trainingsziele angepasst werden.<\/p>\n

Um das einmal an zwei Beispielen zu erl\u00e4utern: Unser Modell f\u00fcr die Spruchakten von 1580 bis 1627 wurde mit einem Trainingsset von fast 200.000 W\u00f6rtern trainiert. Das Testset beinhaltet 44.000 W\u00f6rter. Das ist nat\u00fcrlich ein sehr hoher Anteil von fast 20%. Er ist darauf zur\u00fcckzuf\u00fchren, dass in diesem Modell etwa 300 unterschiedliche Schreiberh\u00e4nde trainiert wurden, die im Testset auch repr\u00e4sentiert sein m\u00fcssen. \u2013 In unserem Modell f\u00fcr die Assessorenvoten des Wismarer Tribunals sind etwa 46.000 W\u00f6rter im Trainingsset enthalten, das Testset umfasst lediglich 2.500 W\u00f6rter, also ein Anteil von etwa 5%. Wir haben es hier allerdings auch nur mit 5 verschiedenen Schreiberh\u00e4nden zu tun. F\u00fcr die Repr\u00e4sentativit\u00e4t des Testsets gen\u00fcgt das Material also.<\/p>\n","protected":false},"excerpt":{"rendered":"

Release 1.7.1 Wenn wir \u00fcberpr\u00fcfen wollen, wieviel ein Modell im Training gelernt hat, m\u00fcssen wir es auf die Probe stellen. Das tun wir mit Hilfe von m\u00f6glichst genau definierten Testsets. Testsets enthalten \u2013 wie das Trainingsset \u2013 ausschlie\u00dflich GT. Allerdings stellen wir sicher, dass dieser GT niemals f\u00fcr das Training des Modells verwendet wurde. Das […]<\/p>\n","protected":false},"author":5,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[6,10],"tags":[],"class_list":["post-777","post","type-post","status-publish","format-standard","hentry","category-transkribus-in-practice","category-wege-zum-htr-modell"],"translation":{"provider":"WPGlobus","version":"3.0.2","language":"de","enabled_languages":["gb","de"],"languages":{"gb":{"title":true,"content":true,"excerpt":false},"de":{"title":true,"content":true,"excerpt":false}}},"_links":{"self":[{"href":"https:\/\/rechtsprechung-im-ostseeraum.archiv.uni-greifswald.de\/de\/wp-json\/wp\/v2\/posts\/777","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/rechtsprechung-im-ostseeraum.archiv.uni-greifswald.de\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/rechtsprechung-im-ostseeraum.archiv.uni-greifswald.de\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/rechtsprechung-im-ostseeraum.archiv.uni-greifswald.de\/de\/wp-json\/wp\/v2\/users\/5"}],"replies":[{"embeddable":true,"href":"https:\/\/rechtsprechung-im-ostseeraum.archiv.uni-greifswald.de\/de\/wp-json\/wp\/v2\/comments?post=777"}],"version-history":[{"count":7,"href":"https:\/\/rechtsprechung-im-ostseeraum.archiv.uni-greifswald.de\/de\/wp-json\/wp\/v2\/posts\/777\/revisions"}],"predecessor-version":[{"id":981,"href":"https:\/\/rechtsprechung-im-ostseeraum.archiv.uni-greifswald.de\/de\/wp-json\/wp\/v2\/posts\/777\/revisions\/981"}],"wp:attachment":[{"href":"https:\/\/rechtsprechung-im-ostseeraum.archiv.uni-greifswald.de\/de\/wp-json\/wp\/v2\/media?parent=777"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/rechtsprechung-im-ostseeraum.archiv.uni-greifswald.de\/de\/wp-json\/wp\/v2\/categories?post=777"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/rechtsprechung-im-ostseeraum.archiv.uni-greifswald.de\/de\/wp-json\/wp\/v2\/tags?post=777"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}