Die Geheimnisse von ChatGPT

Am 30. November 2022 startete die in San Francisco ansässige Firma OpenAI die Internet-Seite chat.openai.com. In fünf Tagen wurde sie von einer Million Menschen aufgerufen, mittlerweile sollen es über hundert Millionen sein. Sie bietet einen Chatbot an, der oft die Unwahrheit sagt, doch stets verblüffend intelligent wirkt. Was steckt hinter den Leistungen des Programms ChatGPT?

Die Künstliche Intelligenz, kurz KI, gibt es unter diesem Namen seit 1956. Das Fachgebiet erlebte eine Karriere mit guten und mit schlechten Zeiten; letztere wurden auch KI-Winter genannt. Im 21. Jahrhundert setzte dank der Technik des maschinellen Lernens eine bis heute andauernde Schönwetterphase ein. Vor einem halben Jahr kam die KI in der Mitte der Gesellschaft an und machte Schlagzeilen.

Der Grund heißt ChatGPT. Die drei großen Buchstaben stehen für „Generative Pre-trained Transformer“, was wir nicht weiter aufschlüsseln möchten. ChatGPT ist ein Programm, das die Firma OpenAI aus San Francisco am 30. November 2022 ins Internet setzte. Wer sich bei der zugehörigen Adresse angemeldet hat, kann mit ihm Dialoge führen. Nach Eingabe von einer Frage oder einer Anweisung, dem Prompt, erscheint eine Reaktion, ein Beispiel steht oben im Eingangsbild. Inzwischen wird ChatGPT von Millionen Menschen benutzt.

Die Software verfasst Texte in mehreren Sprachen, und sie kann auf eine lange Ahnenreihe zurückblicken. Den ersten Algorithmus zur Textproduktion entwarf 1948 der Informatiker Claude Shannon; wir finden ihn in seiner Theorie der Kommunikation auf PDF-Seite 7. Die Passage ganz unten in Großbuchstaben entstand durch simples Aneinanderfügen; zu jedem Wort wurde dasjenige als Nachfolger gewählt, das im realen Englisch am häufigsten auf das Ausgangswort folgte. Shannons Verfahren nutzte also schon existierende Äußerungen von menschlichen Sprechern und Schreibern.

„ChatHNF“: Im 2. Obergeschoss können die Besucher mit der Software ALICE sprechen.

Eine andere Technik wandte 1952 der englische Forscher Christopher Strachey an. Für den Elektronenrechner der Universität Manchester schrieb er ein Programm, das Liebesbriefe erzeugte. Wie man leicht erkennt, verwendete es Satzmuster, die mit passenden Worten gefüllt wurden. Ähnlich arbeiteten einige Jahre später die Poesieprogramme von Theo Lutz und Gerhard Stickel; ihre Outputs haben wir schon im Blog geschildert. Dichtende Software ging dann auch ins Internet, in deutscher wie in englischer Sprache.

Einen Meilenstein bedeutete 1966 das Programm ELIZA von Joseph Weizenbaum. Es reagierte auf Eingaben der User und trat als Psychologe auf; hier lässt sich eine neuere Version durchspielen. ELIZA war der erste Chatbot, technisch stützte er sich ebenfalls auf Satzmuster, außerdem griff er die eingetippten Inputs auf. Von 1990 bis 2019 konnte man Beiträge für den Loebner-Preis einreichen. Der Urheber des sich am menschlichsten gebenden Chat-Programm gewann zwischen 2.000 und 3.000 Dollar.

Mit dem Auftritt von ChatGPT begann ein neues Zeitalter des künstlichen Schreibens. Die Software knüpfte an Claude Shannons Idee an, vorhandenes Material auszuwerten, stützte sich jedoch auf Terabytes von Daten. Statt mit simplen Wahrscheinlichkeitsberechnungen operiert ChatGPT mit neuronalen Netzwerken, die die Verteilung eines Worts und seine Beziehungen zu Nachbarworten erkennen. Jeder Aufruf liefert einen inhaltlich sinnvollen und grammatisch korrekten Text. Da das Programm aber nicht die logische Ebene erreicht, macht es oft haarsträubende sachliche Fehler.

Ludwig Wittgenstein, aufgenommen im Jahr 1930

Abgesehen davon leistet ChatGPT das Gleiche wie seine Dialogpartner. Das Programm simuliert oder imitiert nicht, sondern produziert sprachliche Äußerungen, wie es ein Mensch tut. Denn das Sprechen und ebenso das Schreiben von Hand oder auf einer Tastatur sind keine geistigen, sondern körperliche Tätigkeiten, die ohne die Beteiligung des Denkens ablaufen. Sie lassen sich deshalb durch ein KI-Programm ausführen. Die nötige Intelligenz finden wir bereits bei ELIZA und bei der Software von Gerhard Stickel, die zur selben Zeit ihre Autopoeme zu Papier brachte.

Die Äquivalenz von Mensch und Maschine und die Trennung von Denken und Sprechen mag manchen verblüffen. Beim letzten Punkt können wir aber auf einen großen Philosophen des 20. Jahrhunderts verweisen, auf den Österreicher Ludwig Wittgenstein (1889 bis 1951). In den posthum erschienenen Philosophischen Untersuchungen legte er eine nicht-geistige Sprachtheorie vor. Er erkannte zudem, dass eine Sprache aus der Gemeinschaft der Sprechenden entsteht. Das Training von ChatGPT mit Textmaterial liegt also gar nicht weit weg von der Art und Weise, wie wir Menschen unsere Muttersprache lernen.

Die Theorie Ludwig Wittgensteins formulierte auch der Volksmund: „Denke nie, du denkst! Denn wenn du denkst, du denkst, so denkst du nur, du denkst.“ Die Sentenz brachte es in den 1970er-Jahren bis an die Spitze der Hitparade. Es folgt nun noch eine gute Nachricht vom Ministerium für Schule und Bildung des Landes Nordrhein-Westfalen. Es erstellte im Februar 2023 einen Leitfaden zum Umgang mit textgenerierenden KI-Systemen, den man hier herunterladen kann. NRW tut eben etwas gegen den drohenden AI Takeover.