Verbesserungspotential mithilfe von Analytics erkennen und verstehen
Ein Chatbot ist kein fertiges Produkt – auf lange Sicht lebt er von stetiger Weiterentwicklung und Optimierung. Deshalb lautet eine der am häufigsten gestellten Fragen an uns: Wie lernt der Chatbot? Grundlage hierfür ist die qualitative wie quantitative Auswertung und Analyse der geführten Konversationen. Alle Konversationen lassen sich detailliert nachvollziehen, wobei an kritischen Stellen Verbesserungen (Korrekturen oder Erweiterungen) für den Bot abgeleitet werden. Die Analyse einzelner Konversationen ist allerdings zeitaufwändig und führt nur bedingt zu einem Gesamtverständnis über das Verbesserungspotential und effektive Ansatzpunkte zur Optimierung.
Unser neu aufbereitetes Analytics-Dashboard liefert umfassende Insights zum Chatbot und zur Chatbotnutzung. Dabei geht es nicht nur darum, die Qualität des Chatbots zu messen und Schwachpunkte zu identifizieren, sondern auch darum, das Nutzungsverhalten insgesamt besser zu verstehen und zu erkennen, wie der Chatbot die Nutzer*innen noch besser unterstützen und einen Mehrwert bieten kann.
Welche Informationen enthält das Dashboard?
Neben Basisinformationen wie der Anzahl an Konversationen und Events sowie der Chatdauer (gesamt sowie durchschnittlich pro Konversation) gibt es Widgets für spezifische Kategorien.
1. Themen
Welche Themen werden besonders häufig angesprochen, was sind die Top-Antworten des Chatbots und welche Links werden am meisten geklickt? Die Widgets zeigen effektiv, in welchen Themengebieten besonderer Bedarf besteht, Nutzer*innen mit einer tiefen Themenabdeckung und ggf. Dialogplänen zu unterstützen.
2. Qualität
Es gibt einige Metriken, die Aufschluss darüber geben, wie gut der Chatbot performt. Dazu zählt in erster Linie das Userfeedback im Chat für einzelne Chatbotantworten (in Form von Daumen hoch/runter) oder für die gesamte Konversation. Werden Chatbotantworten durch Redakteur*innen im Reporting bewertet, liefert dies in der Regel die aussagekräftigste Statistik über die Performance des Chatbots. Darüber hinaus nimmt der Bot standardmäßig eine Selbsteinschätzung der gefundenen Antwort vor.
3. Aktivität
Wann und wo wird der Chatbot genutzt? Aufgeschlüsselt nach Uhrzeit und Wochentagen ist auf einen Blick sichtbar, wann die Last auf dem Bot besonders groß ist. Diese Information kann für strategische Entscheidungen, z.B. in Bezug auf den Betrieb des Bots, relevant sein. Ist der Chatbot in mehrere Websites integriert, wird in einem weiteren Chart angezeigt, wie intensiv die Nutzung auf den einzelnen Seiten ist.
4. Nutzer
Nicht zuletzt ist es von Bedeutung, die Nutzer*innen des Chatbot zu kennen und einordnen zu können. Einen Anhaltspunkt stellt die gewählte Kommunikationssprache dar. Werden im Chatbot Nutzergruppen unterschieden (z.B. um unterschiedliche Antwortvarianten auszugeben), wird ebenfalls statistisch erfasst, welcher Gruppe wie viele Nutzer*innen angehören.
Stetiger Ausbau des Dashboards durch Entwicklung neuer Widgets
Das Analytics-Dashboard wird Kundenwünschen entsprechend und gemäß der im Chatbot unterstützten Features konfiguriert und angepasst. Abgerundet wird die Nutzung des Dashboards durch umfassende Filtermöglichkeiten. So lassen sich beispielsweise Konversationsdaten für einen bestimmten Zeitraum oder für eine bestimmte Websiteeinbettung (Referrer) des Chatbots betrachten. Mit Hilfe erweiterter Filter können gezielt negativ bewertete Konversationen oder Antworten betrachtet werden usw.
In den nächsten Monaten werden wir weitere Widgets bereitstellen, mit denen noch genauere Analysen möglich sind, z.B. zur Abbruchquote von Dialogplänen, zu häufigen Ausstiegspunkten oder unzureichend abgedeckten Themen. Außerdem geht es um die automatische Erkennung von Korrelationen. Schon jetzt werden viele Daten erfasst, die uns wertvolle Erkenntnisse ermöglichen – diese gilt es zu nutzen und auszubauen, um unsere Chatbots immer gezielter zu optimieren.