Volltextsuche und Metadatenextraktion als getrennte Prüfziele festlegen
Für die DMS-Auswahl sind Volltextsuche und Metadatenextraktion getrennt zu betrachten: Ein lesbarer OCR-Text ist noch kein Nachweis für korrekt befüllte Dokumentenfelder. Die Volltextsuche soll Dokumente anhand ihres Inhalts auffindbar machen. Metadatenextraktion muss dagegen bestimmte Angaben erkennen, ihrer fachlichen Bedeutung zuordnen und im vorgesehenen Feld bereitstellen. So kann eine Rechnungsnummer im Suchindex stehen, während das DMS sie fälschlich als Bestellnummer übernimmt. Umgekehrt kann ein korrekt extrahierter Rechnungskopf darüber hinwegtäuschen, dass Text auf Folgeseiten nicht durchsuchbar ist.
Für die Volltextsuche sollte das Prüfziel deshalb konkrete Suchhandlungen beschreiben: Müssen Beschäftigte Dokumente über exakte Aktenzeichen, einzelne Fachbegriffe oder Wortfolgen finden können? Dabei ist zwischen Texterkennung und Suchfunktion zu unterscheiden. Liefert eine Suche keinen Treffer, kann die Ursache auch in der Indexierung, der Behandlung von Trennzeichen oder den Suchregeln liegen. Für Metadaten ist je Dokumentart festzulegen, welche Angaben als Dokumentfelder und welche gegebenenfalls als Positionsdaten benötigt werden. Ebenso gehört dazu, ob Originalschreibweisen erhalten bleiben oder Werte normalisiert werden sollen, etwa ein ausgeschriebenes Datum in ein einheitliches Datumsformat.
Die Leistungsbeschreibung sollte außerdem sichtbar machen, welche Verarbeitungsschritte das angebotene System tatsächlich übernimmt. Texterkennung, Dokumentklassifikation, Feldzuordnung und Formatprüfung sind unterschiedliche Funktionen, auch wenn sie in der Oberfläche als ein Vorgang erscheinen. Eine Formatprüfung kann beispielsweise erkennen, dass eine Datumsangabe formal gültig ist, aber nicht, ob sie das Rechnungs- oder das Lieferdatum bezeichnet. Getrennte Prüfziele verhindern, dass eine überzeugende Suchdemonstration als Beleg für verlässliche Metadatenübernahme gilt – oder eine gute Felderkennung als Nachweis vollständiger Durchsuchbarkeit.
Einen Testbestand aus typischen Belegen und schwierigen Fällen aufbauen
Ein belastbarer Testbestand bildet den tatsächlichen Dokumenteneingang ab, nicht nur die sauber gescannten Standardbelege. Stellen Sie dafür Dokumente aus den relevanten Fachbereichen und Eingangskanälen zusammen: etwa direkt erzeugte PDFs, eingescannte Papierbelege und per E-Mail eingehende Bilddateien. Berücksichtigen Sie unterschiedliche Absender, Layouts, Sprachen und Seitenumfänge, soweit diese im Alltag vorkommen. Die Auswahl sollte auch saisonale oder seltenere Vorgänge einschließen, wenn deren Verarbeitung betrieblich wichtig ist. Viele nahezu identische Belege eines einzigen Absenders liefern dagegen wenig zusätzliche Aussagekraft.
Ergänzen Sie diesen Praxisquerschnitt um eine separat gekennzeichnete Sammlung schwieriger Fälle. Dazu gehören beispielsweise schiefe Scans, schwacher Kontrast, Stempel über Text, kleine Schrift oder Tabellen mit Zeilenumbrüchen. Nehmen Sie außerdem mehrseitige Dokumente und Dateien mit mehreren enthaltenen Belegen auf, sofern diese tatsächlich eingehen. Halten Sie typische und schwierige Fälle unterscheidbar: Ein überproportional großer Anteil schlechter Vorlagen würde den Alltag ebenso verzerren wie eine Auswahl ausschließlich makelloser Dokumente. Bewahren Sie die Eingangsdateien unverändert auf und dokumentieren Sie, welche Qualitätsmerkmale und Varianten der Bestand abdeckt.
Klären Sie vor der Weitergabe, welche Dokumente in einer Testumgebung verarbeitet werden dürfen. Entfernen oder ersetzen Sie vertrauliche Inhalte nur mit einem Verfahren, das keine verdeckten Originaldaten in Textschichten, Kommentaren oder Dateimetadaten zurücklässt. Prüfen Sie zugleich, ob die Bearbeitung den Test verfälscht: Großflächige Schwärzungen beseitigen gerade jene Textbereiche, deren Erkennung untersucht werden soll; neu erzeugte PDFs können ursprüngliche Scanmängel verlieren. Wenn aussagekräftige Originalbelege erforderlich sind, sollten Zugriff, Verarbeitungsort und Löschung für die Testumgebung vorab geregelt sein.
Geprüfte Sollwerte definieren und Fehler nach Prozessfolgen gewichten
Für jeden zu prüfenden Beleg wird ein verbindlicher Soll-Datensatz angelegt: Welche Zeichenfolge steht im Dokument, welcher Wert soll im DMS-Feld landen und welche Abweichungen sind zulässig? Dabei sind Lesefehler und erlaubte Normalisierung zu trennen. Ein Datum kann in ein einheitliches Format überführt werden; führende Nullen einer Belegnummer dürfen dagegen nicht ohne fachliche Freigabe entfallen. Die Sollwerte sollten am Original geprüft und bei prozesskritischen Feldern durch eine zweite Person bestätigt werden. Nicht eindeutig lesbare Angaben werden als unklar gekennzeichnet, statt einen vermeintlich richtigen Wert vorzugeben.
Bewerten Sie Fehler nach ihrer Wirkung im vorgesehenen Prozess, nicht allein nach der Zahl falsch erkannter Zeichen. Ein falsches Zahlungsziel kann eine Friststeuerung beeinträchtigen, eine verwechselte Belegnummer die Zuordnung verhindern. Ein Erkennungsfehler in einem für die Recherche unwichtigen Textabschnitt hat andere Folgen. Halten Sie deshalb je Feld fest, welche Fehlerklasse gilt und warum. Fehlende Werte, falsch befüllte Felder und erfundene Inhalte bei tatsächlich leeren Feldern sind getrennt auszuweisen. Eine hohe Gesamtquote darf kritische Fehler nicht verdecken; berichten Sie Ergebnisse zusätzlich je Feld und Fehlerklasse.
- Sollwerte versionieren und jede nachträgliche Berichtigung begründen, damit sich das Bewertungsmaß nicht unbemerkt verändert.
- Vergleichsregeln je Feld festlegen: etwa zulässige Leerzeichen, Datumsformate und unverändert zu erhaltende Sonderzeichen.
- Kritische Fehler an konkreten Folgen festmachen, beispielsweise falscher Zuordnung, fehlerhaften Zahlbeträgen oder versäumten Fristen.
- Für jede Auswertung den Nenner dokumentieren: tatsächlich vorhandene Werte und leere Felder getrennt betrachten.
Prüfaussteuerung und manuellen Korrekturaufwand im Arbeitsablauf messen
Für den Praxistest zählt nicht nur, welche Werte die OCR liefert, sondern auch, welche Dokumente das DMS zur Prüfung vorlegt. Beobachten Sie, ob unsichere Ergebnisse in einer zugeordneten Arbeitsliste landen und ob die prüfende Person den betroffenen Wert samt Belegstelle unmittelbar sieht. Ein Konfidenzwert allein ist kein ausreichender Aussteuerungsmechanismus: Auch formal plausible Angaben können falsch sein. Erfassen Sie deshalb getrennt, welche Fehler unbemerkt weiterlaufen, welche gezielt zur Prüfung gelangen und welche korrekten Ergebnisse unnötig kontrolliert werden müssen.
Messen Sie den manuellen Aufwand vom Öffnen des Prüffalls bis zur bestätigten Übergabe an den nächsten Prozessschritt. Dazu gehören das Auffinden der Belegstelle, das Ändern eines Werts, gegebenenfalls eine Stammdatensuche sowie das Speichern und erneute Freigeben. Notieren Sie neben der Bearbeitungszeit auch Rückfragen, Maskenwechsel und wiederholte Eingaben. Wartezeiten in der Prüfwarteschlange sollten separat ausgewiesen werden: Sie zeigen organisatorische Engpässe, sind aber keine aktive Korrekturzeit. Lassen Sie die vorgesehenen Sachbearbeitenden nach einer dokumentierten Einweisung selbst arbeiten, statt nur einen vorbereiteten Bedienablauf vorführen zu lassen.
Prüfen Sie außerdem, was nach einer Korrektur geschieht. Der bestätigte Wert muss im weiteren Ablauf tatsächlich verwendet werden; eine erneute Erkennung darf ihn nicht unbemerkt überschreiben. Bei delegierten Prüffällen sollten Zuständigkeit und Bearbeitungsstatus nachvollziehbar bleiben. Für die Auswahlentscheidung sind sowohl der Aufwand je Prüffall als auch der gesamte manuelle Aufwand bezogen auf alle verarbeiteten Dokumente relevant. Ein kurzer Korrekturdialog gleicht eine hohe Zahl unnötiger Prüffälle nicht automatisch aus.
- Prüfaussteuerung: Auslöser, zuständige Rolle und sichtbare Belegstelle je Prüffall protokollieren.
- Bedienaufwand: aktive Bearbeitungszeit, Maskenwechsel, Rückfragen und Mehrfacheingaben erfassen.
- Wartezeit: Liegezeiten und Übergaben zwischen Zuständigkeiten getrennt von Korrekturzeiten auswerten.
- Weiterverarbeitung: Übernahme bestätigter Werte und Schutz vor unbemerktem Überschreiben kontrollieren.
Abnahmekriterien mit unbekannten Belegen unter gleichen Bedingungen prüfen
Für die Abnahme bleibt ein Teil der eigenen Belege bis zum Prüftermin unter Verschluss. Diese Dokumente dürfen weder für die Einrichtung noch für Vorführungen oder die Anpassung von Erkennungsregeln verwendet worden sein. Sie müssen zu den vereinbarten Einsatzfällen passen: Unbekannt bedeutet nicht, neue Anforderungen nachzureichen. Vor dem Lauf werden Konfiguration, Erkennungsregeln und Freigabeschwellen festgeschrieben. So lässt sich prüfen, ob die eingerichtete Lösung auch außerhalb der zur Einrichtung verwendeten Beispiele die vereinbarte Leistung erreicht.
Alle Kandidaten erhalten dieselben Quelldateien und dieselben Aufgaben. Festzuhalten sind zudem Produktversion, gebuchte Erkennungskomponenten, Verarbeitungseinstellungen und verfügbare Ressourcen. Zum angebotenen Leistungsumfang gehörende Bildverbesserungen dürfen eingesetzt werden, müssen aber dokumentiert sein. Nicht vergleichbar wäre ein regulärer Import bei einem Kandidaten mit einer verdeckten manuellen Aufbereitung beim anderen. Auch Wiederholungsversuche brauchen eine einheitliche Regel: Maßgeblich ist der vorab vereinbarte Lauf, nicht nachträglich das beste Ergebnis mehrerer Durchgänge.
Die Abnahmeentscheidung folgt den zuvor festgelegten Kriterien je Einsatzfall; ein guter Gesamtdurchschnitt darf das Verfehlen einer zwingenden Anforderung nicht ausgleichen. Das Ergebnisprotokoll hält erfüllte, verfehlte und nicht prüfbare Kriterien getrennt fest. Werden anschließend Regeln nachgebessert, gilt das ursprüngliche Ergebnis nicht rückwirkend als bestanden. Eine erneute Abnahme erfolgt mit einem weiteren, bislang nicht verwendeten Belegsatz unter denselben vereinbarten Bedingungen. Bleiben Einschränkungen bestehen, müssen sie vor der Auswahl ausdrücklich als akzeptierte Einsatzgrenzen festgehalten werden.
- Abnahmebestand bis zum Prüftermin von Einrichtung, Schulung und Regeloptimierung getrennt halten.
- Konfiguration und zulässige Verarbeitungsschritte vor dem Lauf verbindlich dokumentieren.
- Für alle Kandidaten identische Eingabedateien, Aufgaben und Wiederholungsregeln verwenden.
- Nachbesserungen nur durch einen neuen Abnahmelauf mit weiteren unbekannten Belegen bestätigen.
Den Testbestand für Qualitätsprüfungen nach Updates weiterverwenden
Nach der Auswahl sollte der geprüfte Testbestand als versionierte Referenz für den laufenden DMS-Betrieb erhalten bleiben. Dazu gehören unveränderte Originaldateien, freigegebene Sollwerte und die zuletzt akzeptierten Verarbeitungsergebnisse. Dokumentieren Sie außerdem den Stand von OCR-Komponente, Extraktionsregeln und relevanten Einstellungen. So lassen sich spätere Abweichungen einer Änderung zuordnen, statt sie mit wechselnden Testdaten zu vermischen. Enthält der Bestand personenbezogene oder vertrauliche Informationen, braucht auch diese Referenzablage geregelte Zugriffe und eine festgelegte Nutzungsdauer.
Wiederholen Sie den Referenzlauf vor der produktiven Freigabe von Änderungen, die die Erkennung beeinflussen können: etwa nach einem OCR-Update, einem Wechsel des Extraktionsmodells oder Anpassungen der Bildvorverarbeitung. Vergleichen Sie die Ergebnisse mit dem freigegebenen Stand und untersuchen Sie insbesondere zuvor korrekt verarbeitete Dokumente, die nun Fehler zeigen. Bei gehosteten Diensten sollte geklärt sein, wie Änderungen angekündigt werden und welche Testmöglichkeiten bestehen. Lassen sich Modellstände nicht festhalten, helfen regelmäßige Referenzläufe, Qualitätsverschiebungen auch ohne sichtbares DMS-Update zu erkennen.
Neue Dokumentlayouts und im Betrieb entdeckte Fehlerfälle ergänzen den Bestand kontrolliert; sie ersetzen nicht stillschweigend die bisherige Referenz. Halten Sie deshalb einen stabilen Kern und getrennt versionierte Erweiterungen vor. Geänderte Sollwerte benötigen eine fachliche Begründung und Freigabe, damit eine Verschlechterung nicht durch angepasste Erwartungen verschwindet. Das Ergebnis jedes Prüflaufs sollte in eine dokumentierte Entscheidung münden: Änderung freigeben, gezielt nachbessern oder die betroffene Automatisierung vorübergehend aussetzen.
KOSTENLOSES KI-RANKING
Passende DMS-Anbieter finden
Starten Sie den neutralen Vergleich in wenigen Minuten – kostenlos und unverbindlich.
Unverbindlich & schnell