Die Demo ist der Anfang der Prüfung.
Eine vorbereitete Frage kann einen Ablauf anschaulich zeigen. Sie sagt wenig darüber aus, wie ein Wissenssystem mit den alltäglichen Fragen einer Organisation umgeht. Für einen belastbaren Pilot brauchen wir deshalb einen abgegrenzten Bestand und Fragen, die nicht nur aus der Entwicklung selbst stammen.
Ein geeigneter Startpunkt ist eine Sammlung freigegebener Unterlagen aus einem Fachbereich: etwa technische Handbücher, Methodenbeschreibungen oder allgemeine Forschungsinformationen. Fachkundige Personen legen fest, welche Angaben daraus ableitbar sind und welche Fragen unbeantwortet bleiben müssen.
Vier Dinge getrennt bewerten.
Erstens: Hat das System die Frage richtig verstanden? Zweitens: Hat es den richtigen Gegenstand und Quellenstand gefunden? Drittens: Trägt der Beleg die ausgegebene Aussage? Viertens: Hat es bei fehlenden oder widersprüchlichen Angaben angemessen zurückgefragt oder die Antwort verweigert?
Antwortgeschwindigkeit und Verständlichkeit kommen hinzu. Eine geringe Wartezeit ist wertvoll, darf aber nicht dazu führen, dass eine unsichere Zuordnung als Gewissheit erscheint. Ebenso sollte eine vorsichtige Engine nicht jede einfache Frage unnötig abweisen.
Eine richtige Rückfrage kann das bessere Ergebnis sein.
Auch die unbequemen Fälle gehören hinein.
Ein Prüfbestand sollte ähnliche Produktnamen, aktualisierte Dokumente, veraltete Fakten, unbekannte Kennungen und fehlende Eigenschaften enthalten. Sprachliche Varianten derselben Frage helfen dabei, einzelne gelernte Formulierungen von einem belastbaren Ablauf zu unterscheiden.
Trainings- und Entwicklungsfragen bleiben von den abschließenden Prüfbeispielen getrennt. Ergebnisse müssen an eine konkrete Softwareversion, einen Quellenstand und die eingesetzte Hardware gebunden werden. Kleine interne Regressionstests sind nützlich für die Entwicklung; sie ersetzen keine unabhängige Bewertung im Zielbereich.
Der aktuelle Rahmen.
Sacretus ist ein Forschungsprojekt in der Pilotphase. Die gehostete App nutzt einen gemeinsamen Wissensbestand mit persönlichen Zugängen. Mandantentrennung, Dokumentrechte pro Nutzer und klinische Validierung sind noch nicht umgesetzt. Medizinische Piloten beginnen deshalb mit allgemeinen Fachinformationen und geeigneten Beständen ohne Patientendaten.
Wir suchen Partner, die ihre Anforderungen konkret machen und Ergebnisse mit uns prüfen möchten. Ein sinnvoller Pilot endet mit einer nachvollziehbaren Einschätzung: Welche Fragen funktionieren zuverlässig? Wo fehlen Daten? Und welche Fähigkeiten muss die Engine als Nächstes gewinnen?
Eine Pilotpartnerschaft besprechen ↗