In letzter Zeit liest man in Verbindung mit KI oft von GPT-3. Die Software wird von OpenAI entwickelt und wird als die Zukunft für künstliche Intelligenz betrachtet, sie soll ein Durchbruch in Richtung allgemeiner KI sein. Doch was kann GPT-3 wirklich? Thomas Rüdel, Gründer und CEO von Kauz, hat die AI im Bezug auf Chatbots getestet!
Ist GPT-3 ein Durchbruch für die Welt der KI?
Eine Software mit dem etwas sperrigen Namen „GPT-3“ sorgt zurzeit sowohl in der Blogsphäre als auch in der realen Welt für Furore. „Der neue Textgenerator GPT-3 kann Shakespeare nachahmen, Programmcode schreiben und Fremdsprachen sowie Rechtsparagrafen übersetzen. Aber versteht er auch, was er tut?“, schreibt das Wissenschaftsmagazin spektrum.de.
„I can say with no irony or hyperbole that GPT-3 is the most important technical object I’ve seen since the internet itself.”, so der Blogger Thomas Smith. Aber es gibt auch skeptischere Statements: “GPT-3 Is Amazing—And Overhyped“, hält Forbes dagegen. Und „Als Chatbot ungeeignet: GPT-3 gibt fiktiven Patienten verheerende Ratschläge“, so ein Beitrag im t3n Magazin.
Entwickelt von der Stiftung Open AI in San Francisco, öffnet sie ein neues Kapitel in der Geschichte der Machine-Learning-basierten KI. Manche sprechen bereits von einem Durchbruch in Richtung allgemeiner KI. Was ist GPT-3, was kann die Software, und was kann sie nicht?
GPT-3 ist zurzeit nur in einer Private-beta-Fassung zugänglich. Kauz ist Mitglied dieses Programms. Wir wollen untersuchen, inwieweit wir GPT-3 oder ähnliche Entwicklungen in unsere Chatbots einbauen können. Über unsere Erfahrungen werden wir in regelmäßigen Abständen berichten. Dieser Beitrag enthält eine kurze Einführung dazu, was GPT-3 ist und was es so bemerkenswert macht.
Was ist GPT-3?
Technisch betrachtet ist GPT-3 ein Sprachmodell („Language Model“). Sprachmodelle sind – vereinfacht gesagt – Software, die bei einer gegebenen Liste von Wörtern das wahrscheinlichste nächste Wort anfügt. Das klingt vielleicht etwas prosaisch, aber wenn dies gut gemacht wird, können daraus komplette sinnvolle Sätze und sogar komplette sinnvolle Kurzgeschichten entstehen. Ein Beispiel: Ich habe GPT-3 mit dem Input „Es gibt 2 Arten von KI, symbolische KI und konnektionistische KI.“ gefüttert. Hier ist die Fortsetzung: „Beides hat seine Vor- und Nachteile. Oft entstehen die besten Ergebnisse aus Kombinationen von beiden.“ Hätte ich nicht besser sagen können. (Allerdings schweift es in der weiteren Fortsetzung vom Thema ab, so dass ich das hier nicht wiedergebe.)
GPT-3 ist jedoch nicht irgendein Sprachmodell, sondern es wurde praktisch mit dem ganzen Internet „gefüttert“, um seine Wahrscheinlichkeiten zu berechnen. Nach Angaben der Hersteller enthält es ca. 175 Milliarden(!) Parameter und eine Trainingsrunde braucht Rechenzeit für ca. 5 Mio. Dollar. Offensichtlich werden sich nur sehr große oder reiche Firmen die Entwicklung solcher Modelle leisten können. Allerdings ist Open AI eine Stiftung – die u.a. von Elon Musk und Microsoft finanziert wird – und stellt GPT-3 mit einer (kostenpflichtigen) API zur Verfügung. Damit wird es auf Dauer breit nutzbar sein. Zurzeit befindet sich das Projekt allerdings noch in einer „private beta“-Phase. Kauz gehört zu den Unternehmen, die daran beteiligt sind.
Kauz meets GPT-3!
Als Partner des OpenAI Beta-Programms testet Kauz die Software GPT-3. Um herauszufinden, inwiefern GPT-3 für den Einbau in Chatbots geeignet ist, hat Kauz den Horoskop-Bot entwickelt. Der Chatbot ist ein hybrides Modell und vereint die Funktionalitäten eines Chatbots mit der Software GPT-3.
Jetzt Horoskop-Bot mit GPT-3 Software ausprobieren!
Was kann GPT-3?
GPT-3 kann Sätze und sogar ganze Geschichten ergänzen. Dies fällt in das Gebiet der „Natural Language Generation“ und die Qualität, mit der es das macht, stellt in diesem Gebiet zweifellos einen Durchbruch dar. Die eigentliche Ursache, warum um dieses System gerade ein solcher Hype entsteht, liegt jedoch in einer anderen Eigenschaft. Man kann ihm nämlich verschiedene Aufgaben beibringen und es lernt, was es tun soll, aus ein paar Beispielen. Diese Fähigkeit nennt man „few-shot-learning“ und sie ist im Bereich der KI revolutionär.
Was ist „Few-Shot-Learning” und was ist daran so Besonderes?
Normalerweise ist Machine-Learning gleichbedeutend mit der Verarbeitung großer Datenmengen. Wenn eine Software etwas lernen soll, benötigt sie dazu sehr viele Daten. Das liegt daran, dass Machine-Learning-Verfahren im Kern statistische Verfahren sind, und Statistiken sind umso zuverlässiger, je größer die ihnen zugrundeliegende Menge an Daten ist. Diese Art zu lernen ist jedoch ganz anders als das menschliche Lernen. Wenn ein Mensch etwas lernen möchte, bittet er nicht darum, dass man ihm Tausende oder Millionen von Daten gibt, sondern dass man ihm mit ein paar Sätzen erklärt oder anhand von Beispielen zeigt, worum es geht. Oft genügt uns ein Beispiel, um den Grundgedanken zu verstehen. Das nennt man „one-shot-learning“. Wenn mehrere, aber immer noch sehr wenige, Beispiele erforderlich sind, spricht man analog von „few-shot-learning.“ Und genau das ist das Neue und Faszinierende an GPT-3. Wenn man ihm eine neue Aufgabe erklären will, gibt man ein paar Beispiele vor und danach tut es (meistens, ungefähr) das, was man sich vorgestellt hat. Wenn sich diese Fähigkeit breit und gut genug einsetzen ließe, stellte sie in der Tat einen Durchbruch in Richtung allgemeiner, menschenähnlicher KI dar.
Allerdings sind die Entwickler selbst nicht sicher, ob man in diesem Zusammenhang wirklich sinnvoll von „Lernen“ sprechen kann, oder ob es sich nicht eher um Wiedererkennung eines bereits gesehenen Musters handelt. Das Modell wird durch neue Daten nicht upgedated, es sucht eher einen Teilbereich seines Wissens zur Lösung der Aufgabe heraus. Bezogen auf den Menschen entspricht dies ungefähr dem Unterschied zwischen Auswendiglernen und neue Lösungen finden.
Beispiele für GPT-3
Hier ist ein Beispiel, wie man GPT-3 mitteilen kann, dass es die Hauptstadt eines Landes sagen soll. Zuerst sagt der Nutzer, was die Software tun soll. Dann gibt man ein paar Beispiele an. Der blau markierte Text ist meine Eingabe.
Nach der ersten Eingabe von beispielhaften Erklärdaten bekommt man vom GPT-3 Antworten. Auch bei diesem Beispiel sind die blau makierten Eingaben von mir, die restlichen Antworten sind vom GPT-3. Wie man sieht, kommen manchmal noch ein paar andere Tokens mit. Aber die gesuchte Hauptstadt kommt immer als erstes.
Auf ähnliche Art und Weise kann GPT-3 auch viele andere Aufgaben erledigen, z.B. einen Text zusammenfassen oder eine Konversation führen.
Schauen wir uns ein weiteres Beispiel an:
Der Input bis einschließlich Frankreich kam von mir, der Rest von GPT-3. Wie man an diesem Beispiel sieht, nimmt GPT-3 einem die Arbeit, die nächste Frage zu stellen, gleich mit ab. Man kann das durch die Angabe einer maximalen Tokenzahl und die Eingabe von Stoppwörtern kontrollieren, aber das ist gar nicht so einfach. Wie man an diesen Beispielen sieht, scheint GPT-3 tatsächlich zu verstehen, was man von ihm will. Allerdings ist es nicht ganz leicht, die Rahmenbedingungen so festzulegen, dass es rechtzeitig auch wieder aufhört.
„Versteht“ GPT-3 den Menschen?
Nein, zumindest nicht in dem gleichen Sinne, wie wir verstehen, was unser Gesprächspartner meint. Es setzt nur Wörter hintereinander, die an der jeweiligen Stelle wahrscheinlich sind. Das kann jedoch unter Umständen den gleichen Effekt haben! Wenn es auf eine Frage eine richtige Antwort gibt, so ist diese Antwort möglicherweise auch die wahrscheinlichste Wortfolge nach der Frage. Deshalb kann GPT-3 Faktenfragen zum Teil erstaunlich gut beantworten. Andererseits wird es auf eine Frage, die ein Verständnis des Kontextes benötigt, wie „Wie wird das Wetter morgen?“ eine vielleicht gut klingende Antwort geben, die aber völlig unabhängig von der tatsächlichen Wetterlage ist.
Was sind die Grenzen von GPT-3?
Viele Grenzen fallen sofort ins Auge. Nicht immer ist das, was GPT-3 sagt, sinnvoll. Die Beispiele in diesem Artikel und auch in vielen anderen Artikeln, die man zurzeit in der Presse lesen kann, sind immer ein bisschen „frisiert“, d.h. man probiert einige Male und nimmt dann den besten Output, den man vielleicht noch etwas kürzt. Bei längeren Texten kommt es relativ schnell vom Thema ab. Oft klingt das, was es sagt, gut, aber man wird das Gefühl nicht los, dass da jemand doch nur intelligent plappert. Und im Grunde ist es ja auch so. Die Tatsache, dass es nur mit Wahrscheinlichkeiten, aber ohne echtes Verständnis, agiert, wird die Nützlichkeit vermutlich dauerhaft begrenzen. Es hat auch kein Gespür für die Angemessenheit dessen was es sagt. Aus diesem Grunde legen die Entwickler von Open AI auch großen Wert darauf, dass der Einsatz nur sehr kontrolliert erfolgt. Jede Verwendung wird geprüft und muss einzeln freigegeben werden.
Kann GPT-3 Chatbots, die mit den bisherigen Techniken erstellt wurden, ersetzen?
In einigen Bereichen wahrscheinlich ja, in anderen sicher nicht. Mit GPT-3 kann man sehr gut belanglos chatten. Es kann auch Fragen beantworten, wenn in seinen Milliarden von Trainingsdaten die richtigen Antworten in den richtigen Kontexten mit der richtigen Häufigkeit vorgekommen sind. Wie oben bereits gesagt: die richtige Antwort ist die wahrscheinlichste Fortsetzung eines Textes. Wenn es allerdings darum geht, z.B. in einem Unternehmenskontext ganz spezifische Fragen für einen ganz spezifischen Kontext zu beantworten, helfen diese allgemeinen Wahrscheinlichkeiten nicht.
Auch interessant: Blogbeitrag. GPT-3 für Chatbots mit Datenbank-Anbindung.
GPT-3 ist bemerkenswert, aber ist es auch schon nützlich?
Es ist vielleicht noch zu früh, diese Frage zu beantworten. Sicher hat es in der heutigen Form noch klare Grenzen. Wir halten die Entwicklung jedoch für relevant genug, dass wir schon jetzt damit experimentieren, GPT-3 in unsere Chatbots als Zusatzfunktionalität einzubauen. Hier haben wir den ersten Chatbot mit GPT-3 Funktionalität zum Testen veröffentlicht.
Die besten Chatbots heute haben eine starke linguistisch basierte NLU-Komponente und setzen Machine-Learning nur für bestimmte Aufgaben (z.B. Autokorrektur, maschinelle Übersetzung) ein, nicht jedoch für die Kernfunktion des Sprachverständnisses. Wir glauben nicht, dass sich im Unternehmenskontext daran durch GPT-3 etwas ändern wird, aber möglicherweise wird GPT-3 die Gewichte in diesem Zusammenspiel etwas verschieben. Wir werden es ausprobieren und darüber berichten. Stay tuned!