Software Tests und Benchmarks
Wir sind bestrebt, die bestmöglichen Lösungen für Aufgabenstellungen der natürlichen Sprachverarbeitung zu entwickeln und damit unseren Kunden solide Produkte bieten zu können, die sowohl einfach zu integrieren sind, als auch mit einem hohen Maß an Qualität aufwarten können. Daher legen wir einen besonderen Schwerpunkt auf akribische Software Tests und Benchmarks: unsere Software muss unseren hohen Ansprüchen an Robustheit, Sicherheit, Performanz und Ergebnisqualität genügen können, bevor wir sie dem Markt zur Verfügung stellen.
Wir testen jeden Releasekandidaten an tausenden von Dokumenten. Wir wählen Dokumente, von denen wir denken, dass sie repräsentativ für die jeweiligen Sprachen sind. Des Weiteren schließen wir Dokumente ein, die bekannte Angriffsmuster enthalten. Nur auf diese Weise lässt sich eine größtmögliche Gewissheit erzielen, dass unsere Softwareprodukte sowohl qualitativen, als auch sicherheitsrelevanten Maßstäben genüge leisten können.
Im Folgenden möchten wir Ihnen unsere Benchmarkserie für die aktuelle Version von lid vorstellen, damit Sie sich ein Bild von unserer Arbeitsweise und den Ergebnissen machen können, die wir während unserer Tests beobachtet haben.
Den folgenden Darstellungen liegen 3425 Sprachdokumente zu Grunde, die wir regelmäßig auf einem unserer Entwicklungsrechner durchführen und ständig erweitern.
Obwohl wir die verwendeten Dokumenten mit der größten Sorgfalt ausgewählt haben und selbst davon überzeugt sind, dass wir eine repräsentative Auswahl für die jeweiligen Sprachen getroffen haben, darf aus dieser Darstellung nicht der Eindruck erwachsen, als könnten wir diese Ergebnisse auch für jede beliebige, andere Auswahl an Dokumenten garantieren. Es handelt sich bei den im Nachfolgenden beschriebenen Ergebnissen um die konkreten Resultate unserer Qualitätssicherung - es ist nicht auszuschließen, dass sich Konstellationen an Dokumenten finden lassen, bei denen die Ergebnisse abweichen können.
Ergebnisgenauigkeit
Das nebenstehende Diagramm fasst die erzielten Ergebnisse unserer Genauigkeitstests der aktuellen lid Version anschaulich zusammen.
Im Schnitt wurde bei der Identifizierung der Sprache einer Eingabe eine Quote von 99.55% erzielt - bei der Erkennung der Zeichenkodierung belief sich die Quote auf 99.48%.
Generell belief sich die Quote der korrekt identifizierten Sprachen auf Werte zwischen 96.32% und 100% - bei den Zeichenkodierungen zwischen 97.87% und 100%. Die vereinzelt unter 98% liegenden Ergebnisse bei einigen Sprachen und/oder Zeichenkodierungen werden durch gezielte Sprachanalysen und daraus resultierendem Knownledge-Engineering fortlaufend verbessert.
Performance
Die Performance von lid haben wir ebenfalls unter möglichst realen Bedingungen an 3425 Tests gemessen. Auf einem zeitgemäßen Rechner (Core2Duo, 3.33GHZ, 4GB RAM - Linux 2.6) verarbeitete lid pro Sekunde bei Verwendung eines einzelnen Threads 357.38 Dokumente. Mit 4 Threads stieg die Anzahl der verarbeiteten Dokumente pro Sekunde auf 693.25. Dies entspricht einer Rate von etwa 21442.80 / 41595.00 Dokumenten pro Minute.
