Zwanzig Minuten Suche werden zu einer Frage.

Ein verallgemeinerter Ablauf aus unserer Arbeit, ohne Bezug auf ein einzelnes Haus: interne Regelwerke zugänglich machen, ohne dass ein Dokument das Unternehmen verlässt.

Dieser Ablauf ist verallgemeinert und lässt sich keinem einzelnen Auftraggeber zuordnen. Benannte Referenzen nennen wir nur mit schriftlicher Freigabe des Kunden — und im Gespräch, nicht auf der Website.

Ausgangslage

Tausende Seiten Handbücher, Verfahrensanweisungen und Prozessbeschreibungen, verteilt über mehrere Systeme. Wer eine Frist sucht, sucht lange — und ist danach nicht sicher, die gültige Fassung gefunden zu haben.

Die vorhandene Suche fand Stichworte. Sie fand also „Meldefrist“ nicht in dem Kapitel, in dem von „unverzüglich anzuzeigen“ die Rede ist. Für die Fachbereiche hieß das: fragen statt suchen. Erfahrene Kollegen wurden zum Nadelöhr, ihr Wissen war nirgends festgehalten.

Was wir gemacht haben

Zuerst werden die Bestände gesichtet und mit dem Fachbereich sortiert, welche Dokumente tatsächlich gebraucht werden — nicht alles, was existiert, ist es wert, erschlossen zu werden. Aus rund einem Drittel des Materials entstand die Wissensbasis.

Darauf haben wir eine Suche gesetzt, die nach Bedeutung arbeitet statt nach Wortgleichheit, und einen Assistenten, der ausschließlich aus diesen Dokumenten antwortet. Jede Antwort nennt ihre Quelle mit Kapitel und Seite. Findet er nichts, sagt er das — er formuliert nicht drumherum.

Berechtigungen wirken bereits bei der Suche. Wer ein Dokument nicht öffnen darf, bekommt daraus keine Antwort und erfährt auch nicht, dass es existiert. Das Sprachmodell läuft in der Umgebung des Kunden.

Vor der Freigabe sind dreihundert echte Fachfragen durchgelaufen, bewertet von Fachbereich und Revision. Erst danach ging der Assistent in Betrieb.

Woran sich der Erfolg messen lässt

Wir halten nichts von Prozentzahlen, die niemand nachrechnen kann. Was wir stattdessen vor dem Start festlegen und danach belegen:

Trefferqualität heißt: Ein vorab gesammelter Satz echter Fachfragen mit erwarteten Antworten wird gegen den Assistenten gefahren und von Fachbereich und Revision bewertet. Diese Menge wächst über die Betriebszeit und wird zum Prüfstand für jede spätere Änderung, auch für einen Modellwechsel.

Belegquote heißt: Wie oft nennt der Assistent eine Quelle, die die Antwort tatsächlich trägt — und wie oft sagt er zu Recht, dass er nichts gefunden hat. Letzteres ist die unterschätzte Kennzahl. Ein System, das immer antwortet, ist kein gutes System.

Nutzung heißt: Kommen die Leute wieder. Ein Assistent, den der Fachbereich nach kurzer Zeit nicht mehr aufruft, hat sein Ziel verfehlt, unabhängig von jeder Messung.

Ein Nebeneffekt, der in solchen Vorhaben regelmäßig auftritt und den niemand plant: Bei der Auswertung der gestellten Fragen kommen widersprüchliche Stellen in den Regelwerken zum Vorschein, die seit Jahren nebeneinander standen.

Andreas Baudisch

Führt Vorhaben dieser Art vom ersten Termin bis zur Übergabe. Erreichbar für Rückfragen.