Ein interner KI-Chatbot soll präzise Antworten auf einer vorgegebenen Wissensgrundlage beantworten. Wie bei jedem KI-Chatbot besteht jedoch die Gefahr halluzinierter Antworten oder nicht ganz in den Zusammenhang passender Antworten. Um zu verstehen, wie sie dabei unterstützen können das Antwortverhalten Ihres Bots zu optimieren, hilft es zu verstehen wie genau die Antworten einer KI überhaupt zustande kommen.
Wie kommen die Antworten einer KI zustande?
Damit eine KI auf Wissen zugreifen kann, füttern wir sie mit Dokumenten. Eine KI liest Dokumente jedoch nicht wie ein Mensch, sondern zerlegt lange Texte in kleine, verdauliche Informationseinheiten. Diese Einheiten nennen sich Chunks.
Stellen Sie sich ein dickes Regelbuch vor. Die KI schneidet dieses Buch virtuell in einzelne Absätze. Sucht ein Nutzer nach „Meldefrist Damen 40“, greift die KI gezielt nach den Chunks, die diese Info enthalten.
Wenn unsere Entwickler in einem Kundenprojekt nachvollziehen wollen, wie die Antworten der KI generiert werden, können sie genau überprüfen, welche Chunks für die jeweilige Reaktion herangezogen wurden. Das macht das Verhalten des Chatbots kontrollierbar und bietet den Ansatzpunkt, um das Antwortverhalten zu optimieren.
Der Optimierungs-Kreislauf
Das perfekte Antwortverhalten entsteht nicht von heute auf morgen. Es ist ein iterativer Prozess, bei dem wir als Digitalagentur unsere Kunden eng begleiten. Wir analysieren im Hintergrund, wann die KI welche Chunks auswählt. Passt eine Antwort nicht optimal, justieren wir nach.
Dazu schauen wir uns die Metadaten der Dokumente an, die die Wissensbasis bilden. Für jede Datei können wir genau einsehen, wie viele Chunks daraus entstanden sind und was für Metadaten hinterlegt sind.
Wie sind diese Metadaten aufgebaut?
- Die Dokumenten-Zusammenfassung: Sie liefert den globalen Rahmen für das Gesamtdokument, sodass jeder einzelne Chunk immer seinen Kontext behält.
- Die Schlagworte: Diese sind spezifisch für jeden Chunk und beschreiben den konkreten Inhalt des jeweiligen Abschnitts mit prägnanten Stichworten.
Wenn der Bot jetzt eine ungenaue oder falsche Antwort liefert, schauen wir zuerst auf Basis welcher Chunks der Bot geantwortet hat. Dann schauen wir uns die Metadaten der entsprechenden Chunks an und können diese ergänzen.
Danach wird neu getestet: Das geht nur über die Nutzung. Sowohl wir als auch unsere Kunden versuchen über Gespräche mit dem Bot zu testen, wie gefestigt das Wissen ist. Wenn wir mit den gegebenen Antworten noch nicht zufrieden sind, prüfen wir die ausgewählten Chunks erneut und nehmen weitere Verbesserungen vor, bis die Antwortqualität stimmt.
Was Sie selbst für die Chatbot-Qualität tun können
Sie sind der Schlüssel für präzise Antworten des Chatbots. Was können Sie tun?
- Aktiv testen: Sie kennen Ihren Fachbereich und Ihre Kunden am besten. Ihr Feedback während der Testphase ist der wertvollste Input für ein fehlerfreies Antwortverhalten Ihres Chatbots.
- In sich geschlossene Absätze: Formulieren Sie Absätze so, dass sie auch isoliert Sinn ergeben. Das sichert den Kontext beim Aufteilen in Chunks.
- Verzicht auf Pronomen am Absatzanfang: Phrasen wie „Hierbei ist zu beachten...“ führen nach dem Zerschneiden zu Kontextverlust. Die KI weiß dann nicht mehr, was mit „Hierbei“ gemeint war.
Möchten Sie das Wissen Ihres Unternehmens rund um die Uhr nutzbar machen?
Lassen Sie uns gemeinsam prüfen, wie wir Ihre Daten optimal über einen digitalen KI-Assistenten zur Verfügung stellen können.
