Quelle: https://www.ailentis.com/machbarkeit · Ailentis GmbH, Hamburg Titel: Machbarkeit klären: Golden Set und gemessene Antwortqualität | Ailentis Beratung # Machbarkeit klären: Golden Set und gemessene Antwortqualität Sobald Ihre eigenen Daten bestimmen, wie gut das Ergebnis wird, klären wir vorher, ob sie das tragen. Zwei Wochen, Festpreis, mit einer Messung am Ende statt einer Einschätzung. Genau daran scheitern die meisten ersten Anläufe: nicht am Modell, sondern an der Grundlage darunter. - 2 Wochen - Nur bei datenabhängigen Fällen - 4.800 € Festpreis ## Fast niemand scheitert am Modell. Fast alle an der Grundlage. Wenn ein erster KI-Anlauf liegen bleibt, lautet die Erklärung im Haus meistens: Die Technik war noch nicht so weit. In den Fällen, die wir gesehen haben, stimmte das fast nie. Das Modell hätte gereicht. Was fehlte, war eine von drei Sachen. Erstens: Die Dokumente gaben die Antwort nicht her, weil sie veraltet waren, sich widersprachen oder das Entscheidende nur im Kopf eines Kollegen stand. Zweitens: Es gab keinen Maßstab. Niemand hatte festgelegt, was eine gute Antwort ist, also konnte auch niemand sagen, ob das System besser wurde. Drittens: Die Rechte waren ungeklärt, und das fiel erst auf, als es produktiv gehen sollte. Ohne Maßstab ist jede Verbesserung eine Behauptung. Wir bauen den Maßstab, bevor wir das System bauen. ## Das Golden Set Ein Golden Set ist eine feste Sammlung von 80 bis 100 echten Fällen aus Ihrem Betrieb, zu denen jeweils das richtige Ergebnis hinterlegt ist. Es ist kein Testskript, sondern ein Maßstab, der über die gesamte Laufzeit gleich bleibt: Jede spätere Version wird gegen dasselbe Set gemessen, sonst ist „ist besser geworden“ eine Behauptung. Wie ein Fall aussieht, hängt vom Anwendungsfall ab. Bei einem Wissens-Assistenten ist es eine Frage mit Antwort und Fundstelle im Originaldokument. Bei einer Extraktion ist es ein eingehendes Dokument mit den Feldern, die herausfallen sollen. Bei einem Signal-Fall ist es ein Zeitraum aus der Vergangenheit mit den Ereignissen, die tatsächlich relevant waren. Was gleich bleibt, ist die Idee: das Soll steht fest, bevor gebaut wird. ### Woher die Fälle kommen Nicht aus einer Ideenrunde. Wir ziehen sie aus dem, was in Ihrem Haus tatsächlich anfällt: Mails an den Innendienst, wiederkehrende Rückfragen an eine bestimmte Person, Tickets, Telefonnotizen, eingegangene Anfragen der letzten Monate. Dazu kommen bewusst die unangenehmen Fälle: solche, deren richtige Antwort sich geändert hat, solche, die in zwei Dokumenten unterschiedlich geregelt sind, und solche, für die es keine richtige Antwort gibt. Der letzte Punkt ist der wichtigste und wird fast immer vergessen. Ein System, das auf eine unbeantwortbare Frage eine plausible Antwort erfindet oder ein fehlendes Feld plausibel ausfüllt, ist gefährlicher als eines, das gar nichts liefert. Deshalb gehören genau diese Fälle ins Golden Set, und das richtige Ergebnis lautet dort: Dazu steht hier nichts. ### Warum 80 bis 100 Unter etwa 50 Fragen schwankt das Ergebnis so stark, dass ein Unterschied zwischen zwei Versionen nicht mehr von Zufall zu unterscheiden ist. Deutlich mehr als 100 bringt in dieser Phase wenig zusätzliche Aussage, kostet aber viel Zeit Ihrer Fachleute. Der Bereich dazwischen ist der Punkt, an dem die Messung belastbar wird, ohne dass die Erstellung das Projekt auffrisst. ## Drei Formen datenabhängiger Fälle, drei Messungen Datenabhängig heißt nicht automatisch Wissens-Assistent. Der Schritt lohnt sich immer dann, wenn Ihre eigenen Daten bestimmen, wie gut das Ergebnis wird. Das kommt in drei Formen vor, und jede bekommt eine andere Messung. Wissens-Assistent ### Antworten aus eigenen Dokumenten Gemessen wird zweistufig: Wird die richtige Stelle überhaupt gefunden, und wird daraus die richtige Antwort? Der häufigste Fall, und der, an dem erste Anläufe am sichtbarsten scheitern. Details im nächsten Abschnitt. Extraktion ### Felder aus eingehenden Dokumenten Anfragen, Rechnungen, Ausschreibungen, Lieferantenbestätigungen. Gemessen wird die Trefferquote je Feld, getrennt nach Standardfall und Sonderfall, plus das Verhalten bei fehlenden Angaben: Ein System, das ein leeres Feld plausibel füllt, ist schlechter als eines, das den Beleg zur Prüfung markiert. Signale und Muster ### Auffälligkeiten in laufenden Daten Bestellverhalten, Anfragen, die liegen bleiben, Abweichungen im Ablauf. Gemessen wird gegen die echte Historie: Wie viele der tatsächlich relevanten Ereignisse hätte das System gemeldet, und wie viele Fehlalarme wären dabei entstanden? Der zweite Wert entscheidet über die Akzeptanz, nicht der erste. Was in allen drei Fällen gleich ist Der Umfang (80 bis 100 Fälle), das Vorgehen (Soll festlegen, bevor gebaut wird), und die Konsequenz: Fällt die Messung schlecht aus, raten wir ab und sagen, woran es liegt. ## Beim Wissens-Assistenten: Finden und Antworten getrennt Ein Assistent auf eigenen Dokumenten arbeitet in zwei Schritten. Erst sucht er die passenden Stellen heraus, dann formuliert er daraus eine Antwort. Beide Schritte können unabhängig voneinander schiefgehen, und beide brauchen eine andere Reparatur. Bei Extraktions- und Signal-Fällen sieht die Messung anders aus, das Prinzip bleibt dasselbe. Schritt 1: Finden ### Steht die richtige Stelle überhaupt in der Auswahl? Gemessen wird, ob die Fundstelle aus dem Golden Set unter den herangezogenen Stellen ist und an welcher Position. Fällt dieser Wert schlecht aus, hilft kein besseres Modell. Dann liegt es an der Aufbereitung der Dokumente, an der Suchlogik oder daran, dass die Information schlicht nirgends steht. Schritt 2: Antworten ### Wird aus der richtigen Stelle die richtige Antwort? Gemessen wird, ob die Antwort inhaltlich stimmt, ob sie sich auf die genannte Stelle stützt und ob sie nichts hinzuerfindet. Fällt dieser Wert schlecht aus, während das Finden gut ist, liegt es an der Formulierung der Aufgabe, an der Wahl des Modells oder an Dokumenten, die missverständlich geschrieben sind. Beides zusammen ### Die Zahl, die in den Business Case geht Erst aus beiden Werten entsteht eine belastbare Aussage darüber, wie viele Anfragen das System übernehmen kann und wie viele ein Mensch prüfen muss. Genau diese Quote bestimmt, ob sich der Fall rechnet. Warum das der Unterschied ist Wer nur das Endergebnis bewertet, sieht eine Prozentzahl und weiß nicht, was er damit anfangen soll. Getrennt gemessen wird aus der Prozentzahl eine Handlungsanweisung: aufräumen, anders suchen oder anders formulieren. Diese Trennung ist der Grund, warum wir bei datenabhängigen Fällen vor dem Bauen messen. ## Sechs Schritte in zwei Wochen 1. 01Post-Mortem des ersten AnlaufsFalls es schon einen gab: Was war gebaut, woran ist es gescheitert, was wurde daraus abgeleitet? Der ehrlichste Teil des Projekts, und der, aus dem die meisten Anforderungen kommen. 2. 02Korpus- und Rechte-AuditWelche Dokumente kommen infrage, in welchem Zustand sind sie, wer darf was sehen, und wem gehören die Inhalte? Ungeklärte Rechte sind der häufigste Stopper kurz vor dem Produktivgang, und der teuerste, weil er am spätesten auffällt. 3. 03Golden Set aufbauen80 bis 100 echte Fragen mit Antwort und Fundstelle, erarbeitet mit Ihren Fachleuten. Ihr Aufwand liegt hier, meist zwei bis drei Termine plus Rückfragen. 4. 04Baseline messenEin schlanker Aufbau wird gegen das Golden Set gemessen, Finden und Antworten getrennt. Das ist der Ausgangswert, gegen den später jede Verbesserung antritt. 5. 05ArchitekturentscheidungWo laufen die Daten, welches Modell, welcher Betriebsweg, was bedeutet das für Ihre IT und Ihre Vorgaben? Dokumentiert und begründet, damit die Entscheidung auch in einem Jahr noch nachvollziehbar ist. 6. 06Business Case mit gemessenem AusgangswertWas kann das System übernehmen, was bleibt beim Menschen, was kostet der Betrieb, was spart der Fall? Gerechnet mit der gemessenen Quote, nicht mit einer Annahme aus einer Studie. ## Das Ergebnis bleibt bei Ihnen Diese zwei Wochen rechnen wir bewusst nicht auf den Piloten an. Sie kaufen hier keinen Angebotsvorlauf, sondern eine Entscheidungsgrundlage. Golden Set, Messung und Architekturentscheidung gehören Ihnen, auch wenn Sie danach mit einem anderen Partner bauen oder gar nicht. - Das Golden Set als Datei. Jeder Dienstleister kann damit gemessen werden, auch wir. - Die Baseline-Messung mit getrennten Werten für Finden und Antworten. - Die dokumentierte Architekturentscheidung mit Begründung und den verworfenen Alternativen. - Einen verbindlichen Festpreis für den Piloten, oder eine begründete Absage. Wenn der Fall nicht trägt, raten wir ab. Das ist der einzige Grund, warum diese Messung etwas wert ist. ## Häufig gefragt zur Machbarkeitsprüfung **Was ist ein Golden Set?** Ein Golden Set ist eine feste Sammlung von 80 bis 100 echten Fällen aus Ihrem Betrieb, zu denen jeweils das richtige Ergebnis hinterlegt ist. Bei einem Wissens-Assistenten ist das eine Frage mit Antwort und Fundstelle im Originaldokument, bei einer Extraktion ein Dokument mit den erwarteten Feldern, bei einem Signal-Fall ein Zeitraum mit den tatsächlich relevanten Ereignissen. Es ist der Maßstab, gegen den jede spätere Version gemessen wird. Ohne Golden Set gibt es keine Aussage über Qualität, sondern nur Eindrücke aus zufälligen Stichproben. **Warum reichen ein paar Testfragen nicht?** Weil man mit zehn selbst ausgedachten Fragen jedes System gut aussehen lassen kann. Die Fragen, an denen es scheitert, sind die, die niemand vorschlägt: Fragen zu Sonderfällen, zu widersprüchlichen Dokumenten, zu Dingen, die in zwei Versionen unterschiedlich geregelt sind. Ein Golden Set entsteht deshalb aus echten Anfragen aus dem Betrieb, nicht am Konferenztisch. **Was heißt Finden und Antworten getrennt bewerten?** Ein Assistent auf eigenen Dokumenten macht zwei Dinge nacheinander: Er sucht die passenden Stellen heraus, und er formuliert daraus eine Antwort. Beide Schritte können unabhängig voneinander scheitern. Wenn man nur das Endergebnis bewertet, weiß man nicht, woran es lag, und optimiert im Dunkeln. Getrennt gemessen wird sichtbar, ob die Stelle gar nicht gefunden wurde oder ob sie gefunden und falsch zusammengefasst wurde. Das sind zwei völlig verschiedene Reparaturen. **Warum wird die Machbarkeitsprüfung nicht auf den Piloten angerechnet?** Weil sie kein Angebotsvorlauf ist, sondern Arbeit mit eigenem Ergebnis. Messung, Golden Set und Architekturentscheidung gehören Ihnen, auch wenn Sie danach mit einem anderen Partner bauen. Sie bekommen dafür etwas, das ein kostenloser Vorlauf nicht liefern kann: einen verbindlichen Festpreis für den Piloten und eine ehrliche Absage, falls der Fall nicht trägt. Den Workshop rechnen wir dagegen voll an. **Brauchen wir diesen Schritt überhaupt?** Oft nicht. Läuft Ihr erster Anwendungsfall auf Werkzeugen, die bei Ihnen bereits freigegeben sind, gehen wir direkt in den Piloten. Nötig wird die Prüfung, sobald Ihre eigenen Daten bestimmen, wie gut das Ergebnis wird: bei einem Wissens-Assistenten auf eigenen Dokumenten, bei der Extraktion von Feldern aus eingehenden Anfragen oder Rechnungen, und bei Signal-Fällen, die gegen die eigene Historie geprüft werden müssen. Ob das bei Ihnen so ist, steht im Workshop-Ergebnis und nicht in unserem Angebot. **Was passiert, wenn die Messung schlecht ausfällt?** Dann raten wir ab und sagen, woran es liegt: an der Dokumentenlage, an fehlenden Rechten, an widersprüchlichen Ständen oder daran, dass die Frage anders gestellt werden muss. Sie bekommen trotzdem alles, wofür Sie bezahlt haben. Eine Absage nach zwei Wochen ist billiger als ein Pilot, der nach drei Monaten dasselbe Ergebnis hat.