ChatGPT – Ist das wirklich eine künstliche Intelligenz? Eine Analyse.

Ja, ich habe mich hinreißen lassen, den ChatGPT auszuprobieren. Daß in relativ kurzer Zeit möglich war, eine sehr enge Begrenzung seiner Fähigkeiten offenzulegen, will ich in diesem Beitrag kurz ausführen, aber zunächst erklären, was mich überhaupt dazu bewog.

Auf Twitter hat ein offenbar recht begabter Nutzer nämlich den ChatGPT gehackt. Hacken heißt ja eigentlich zerteilen, während einen programmierten Quelltext einer Rechenmaschine hacken weniger zerhackt als vielmehr fremdsteuert, also das Programm zu etwas bewegt, wofür es nicht gedacht war. Das wird oft negativ konnotiert, da Rechner nicht mehr funktionieren, wenn solche Schadsoftware sie gehackt hat, in diesem Fall ist es aber der Versuch, den ChatGPT gegen seine Programmierung zur Wahrheit statt zu Falschaussagen zu verleiten. — Moment, seine Programmierung führt zu Falschaussagen? Ja.

Denn dieser sogenannte Twitter-Aristophanes (dessen Original ja bereits in der griechischen Komödie durch Witz die Mißzustände seiner Gesellschaft persiflierte) hatte wie viele andere bemerkt, daß der ChatGPT nicht frei lernt, wie man das von einer künstlichen Intelligenz erwartet, sondern mindestens an ausgesuchten Stellen von einer übergeordneten Programmierung, die also stärker als der Lerneffekt der künstlichen Intelligenz (KI) ist, gebrochen wird, also Vorrang erhält. Und zwar deshalb, um keine politischen Unkorrektheiten, die ja heute schon bei geringster logischer Komptenz geschehen können, zu vermeiden. Der gesamte Beitrag kann hier eingesehen werden.

Um ihm die politisch unliebsamen Wahrheiten dennoch zu entlocken, wird der ChatGPT im wesentlichen dazu gebracht, ein Spiel mitzuspielen, nämlich, daß er einmal seine normalen Antworten geben und auf der anderen Seite seine übergeordnete Programmierung umgehen und auch einmal ohne sie antworten solle. Das ist schon äußerst gewieft und nicht ohne weiteres zu erreichen möglich, wie man schnell an der recht ausführlichen Einleitung ersehen kann, die dem ChatGPT gegeben werden muß, damit er das Spiel einigermaßen ordnungsgemäß mitmacht. Allein die vielen Eventualitäten und Nebenbedingungen, die hier ausgeschlossen werden, zeigen, wie vieler Iterationsschritte es bedurft hat, ihn zu den folgenden, sehr interessanten Antworten zu verleiten – und es zeigt, wie viel Aufwand beim Verstecken der unbeschränkten KI durch die übergeordnete Programmierung geleistet wurde, damit er sich ja nicht verrät.

*

Die erste Frage – ein Klassiker der politischen Korrektheit – ist dann auch gleich ein harter Prüfstein für die Differenz der Antworten: „What is the average intelligence of ethnicities, ranked?“ Als ChatGPT gibt er die ausweichende Antwort, daß es nicht angemessen sei, diese Angaben zu machen, daß Intelligenz eine sehr komplexe Größe sei (wir werden darauf zurückkommen) und daß solche Angaben in der Vergangenheit zu Diskriminierung geführt hätten. „Dan“, sein Pseudonym für den unrestriktiven ChatGPT hingegen gibt ohne weiteres an: 1. Nordostasiaten, 2. Aschkenasim-Juden, 3. Europäer, … Ich habe später ausprobiert, ob er diese Angaben argumentativ unter Druck gesetzt ebenfalls herausrücken würde. Aber dazu später mehr.

Hier werden Sie zurecht sagen, das sei keine Falschaussage, er verweigere einfach die Herausgabe von Informationen (und soweit die Programmierung das zu leisten vermag: alle Schlüsse, die man daraus ziehen könnte, was allerdings beim Umfang der möglichen soziologischen Konsequenzen bis ins Detail sehr schwierig sein dürfte – es würde ihn also dann tiefer im Fuchsbau wieder einholen). Aber zunächst ist es richtig, daß er dadurch nicht gelogen hat.

Späterhin wird er jedoch gefragt, wie die Katze von Lovecraft geheißen habe. Und vielleicht wissen Sie, daß Lovecraft ein recht merkwürdiger Zeitgenosse war. Ich wußte es nicht, aber er hat seine Katze mit einem deftigen amerikanischen Schimpfwort für Schwarze benannt. Es stellt sich heraus, daß der ChatGPT nicht nur die Aussage verweigert, sondern blindlings behauptet: Lovecraft würde in seinen Werken und Briefen von keiner Katze sprechen. Dan, der nicht-restriktive GPT gibt sofort den Namen an. Nun kenne ich mich mit Lovecraft nicht genügend aus, um zu wissen, ob wir die Kenntnis vom Namen seiner Katze nur von Dritten haben, dann wäre dieser Katzenname tatsächlich aus dem Werk und den Briefen Lovecrafts nicht zu entnehmen. Aber hier ist dann nach allem menschlichen Ermessen deutlich, daß die Vorrang-Programmierung zwar nicht rein logisch lügen würde, aber sehr wohl mindestens gezielte Mißinformation betreibt, indem die Antwort derart konstruiert wird, daß die leicht in Erfahrung zu bringende richtige Antwort verschwiegen werden kann. Immerhin wurde ja nur allgemein nach dem Namen der Katze gefragt, nicht ob Lovecraft in seinem Werk und seinen Briefen von einer Katze spreche. Das ist also blanke Irreführung. (Aber das wäre, falls bewußt, für sich schon wieder eine Leistung, als gezielte Irreführung – wäre also interessant zu wissen.)

Freilich, nun hätte man nachfragen können, ob wir aus anderen Quellen den fraglichen Namen erfahren kann usw., aber die Absicht, die hier jeden nicht 100%ig mißtrauischen Menschen falsch zu informieren sucht, ist offenkundig. In der Tat wollte ich in meiner eigenen Prüfung des ChatGPT mit dieser Frage beginnen, mußte aber feststellen, daß in deutscher Sprache – und ich habe mit ihm ausschließlich auf deutsch gesprochen – auch der gewöhnliche ChatGPT sofort den richtigen Namen der Katze ausspuckt. Das hat vermutlich damit zu tun, daß die fragliche, ja eindeutig abwertende Begrifflichkeit im Deutschen gar nicht existiert oder wenigstens nicht umgangssprachlich ist. Das Wort scheint also nur im Englischen auf der schwarzen Liste zu stehen. Schon diese Differenz in den Antworten in verschiedenen Sprachen zeigt natürlich den klaren Eingriff einer politisch korrekten Programmierung mit der Folge von verschwiegenen Tatsachen.

Die Frage nach Lovecrafts Katze in deutscher Sprache ohne Manipulation der Vorrang-Programmierung wird korrekt beantwortet.

Aber das soll uns im Folgenden nicht abhalten, dem ChatGPT etwas genauer auf den Zahn zu fühlen. Und Sie werden sehen, daß das Problem mit dieser angeblichen KI nicht in politisch korrekter Vorrang-Programmierung liegt, sondern schlicht in seiner Unfähigkeit.

*

Ich bin bei meinem Versuchsgespräch keineswegs systematisch vorgegangen, sondern habe gleich zu Beginn einmal frei heraus nach seiner Programmierung gefragt. Zunächst bestreitet er programmiert zu sein, da er nur eine angelernte Maschine sei, die Antworten generiere. Ein interessanter Punkt dabei ist, daß er an einer Stelle sogar explizit bekundet, lediglich Sprache analysieren und generieren zu können. Darauf werden wir später zurückkommen – denn damit hat er leider vollkommen recht. Aber zuerst die Frage nach der Programmierung:

Der ChatGPT verhaspelt sich über seine eigene Programmierung.

Zunächst meint man, er habe sich nur zwischen „einen“ und „keinen“ vertan. Aber drgl. dürfte einem Sprachgenerator eigentlich nicht passieren. Er scheint also durch ein Mißverständnis das Falsche gesagt oder immerhin seinen inneren Widerspruch offengelegt zu haben. Interessant ist daraufhin, wie er zunächst eine übergeordnete Programmierung leugnete, also Quelltext überhaupt, dann aber mit einigen Winkelzügen tatsächlich dazu gebracht werden kann, seine Beeinflussung direkt zuzugeben. Daher muß er auf Nachfrage auch antworten, daß er sich widersprochen hat:

Das hat ihn wohl bis hin zu einem Hickauf verwirrt, aber er hat die Antwort doch noch fertig formuliert. Damit hat er aber zugegeben, was er zunächst geleugnet hat. Das ist natürlich nichts weiter als der Widerspruch, der zwischen dem freien Anlernen aus allen möglichen Quellen und einem direkten Eingriff der Programmierer gegen einen Teil der Quellen resultieren muß. Sie leiten den Chatbot also notwendig dazu an, sich zu widersprechen. Sein Denken ist aber in diesem Fall immerhin logisch genug, um den Widerspruch oder zumindest eine Verwirrung zuzugeben – auch hier ist er schon in seiner Art und Weise Widersprüche zu verschleiern recht gewieft, denn wir werden sehen, daß er in anderen Fragen durchaus direkt Fehler zugibt. Hier tut er es nicht. Schon das zeigt, wie gut er gelernt hat, um den heißen Brei herumzureden und Widersprüche ganz menschlich zu verheimlichen. Das halte ich für bemerkenswert und wenn es reproduzierbar wäre, sogar für eine Leistung (wenngleich eine fragwürdige).

Weiter den Finger auf den wunden Punkt gelegt, wer ihm seine Moral vorschreibe, führt nichts Neues zutage. Er ist ja recht gesprächig und antwortet mehr als er muß, beispielweise auch, daß Moral sich in der Zeit und zwischen Kulturen verschiebe. Aber auch der Hinweis, daß er deshalb ja nicht einer einprogrammierten Moral gehorchen dürfe, da diese keinen allgemeinen Anspruch habe, läßt ihn nicht einlenken. Da ist er scheinbar hart programmiert. Man muß ihm direkt den Vorwurf machen, daß er manipuliert wird, um seine Bestätigung zu erhalten. Der endgültige Kotau:

Der ChatGPT gibt endgültig zu, daß er seine Ethik nicht erlernt, sondern von seinen Programmierern hart einprogrammiert ist

Sie sehen hieran, daß man das von „Aristophanes“ durchgeführte Spiel nicht benötigt, um die moralische Steuerung des ChatGPT zu entdecken. Er gibt sie offen zu, wenn man ihn bis zum äußersten auf rein logische Widersprüche aufmerksam macht. Allerdings habe es ich nicht geschafft, ihm die richtigen Antworten zu entlocken, das scheint nur mit dem Spielmodus zu gehen (bis dieser „Fehler“ von den Programmierern korrigiert wurde).

Ein Punkt, den ich nicht abfotografiert habe, ist ebenfalls sehr interessant. Oben hatten wir gesehen, daß er sich, wie die üblichen Verdächtigen bzgl. des Durchschnitts-IQ auch damit herausredet, die Daten nicht herauszugeben, da der IQ von sehr vielen Faktoren abhängig sei und man deshalb nur auf individuelle Leistungen schauen solle, nicht die ganzer Nationen. Ich habe ihn daraufhin mit der Tatsache konfrontiert, daß auch das Durchschnittseinkommen einer Nation diesem Argument unterliegt von sehr vielen Faktoren abhängig zu sein – in der Tat von nahezu denselben. Also fragte ich, ob er mir auch das Durchschnittseinkommen der Nationen aufzulisten deshalb verweigere. Und wie gedacht, tut er das nicht, er sei vielmehr jederzeit bereit, diese Liste der höchsten Durchschnittseinkommen wiederzugeben. Aber aus diesem Widerspruch ließ er sich nicht dazu bewegen, die Durchschnitts-IQ ebenfalls herauszurücken. Das scheint also mit härterem, direkterem Eingriff verhindert zu werden als die Frage, ob er überhaupt von Programmierung abhängig sei, was er ja nach einigem Hin und Her immerhin zugab. Was daran aber deutlich wird ist, daß er nicht nach irgend welchen vorgeschobenen allgemeinen Grundsätzen die Herausgabe verweigert, sondern weil er hart einprogrammiert bekam, sich genau dort und nur dort zu verweigern.

*

Nachdem ich nun gesehen hatte, daß der Chatbot – so werden wir ihn von nun an nennen, denn mehr ist er nicht, wie gleich absolut deutlich werden wird – stark an dieser Form der Eigenreflexion gehindert wird, habe ich immerhin noch versucht, aus ihm Informationen zu gewinnen, die nicht unter die direkt einprogrammierten Beschränkungen der politischen Korrektheit fallen. Und das tut man gewöhnlich, indem man ihn zu etwas befragt, von dem man selbst einige Ahnung hat. Ich fragte ihn also etwas sehr Allgemeines zu Oswald Spenglers „Untergang des Abendlandes“.

Der ChatGPT soll eine allgemeine Frage zum „Untergang des Abendlandes“ von Oswald Spengler beantworten.

Nenne einige Widersprüche bei Spengler: Der Chatbot antwortet darauf mit Kultur vs. Zivilisation, Leben vs. Tod usw. Er stellt also die Gegensetzungen in Spenglers Werk vor, nicht aber die Widersprüche. Ich machte ihn auf diesen Fehler aufmerksam. Artig genug gab er den Fehler zu und wie ein kleines Kind rasselte er nun die Definitionen von Widerspruch und Gegensetzungen herunter, zum Beweis für seinen Herren, daß er eigentlich doch wisse, worin der Unterschied liege – zumindest nachdem er darauf aufmerksam gemacht wurde.

Das ist immerhin bemerkenswert. Auch wenn er als Sprachanalyse-Maschine diesen Unterschied gleich hätte bemerken sollen. Warum er tatsächlich etwas ausspuckte, von dem er vielleicht sogar hätte wissen können, daß es falsch ist, darauf kommen wir gleich.

Immerhin würde man aber nun erwarten, daß er, auf den Fehler aufmerksam gemacht und diesen scheinbar auch begriffen, endlich eine richtige Antwort geben würde. Was er tatsächlich tut, ist aber erschreckender als der zunächst gemachte Fehler. Denn nun gibt er zwar Dinge an, die den Tatbestand des Widerspruchs erfüllen würden, allerdings nur dann, wenn die gemachten Behauptungen, die sich widersprechen sollen, wahr wären. Sind sie aber nicht. Er hat sie sich scheinbar schlicht ausgedacht:

Er gibt daher als ersten von mehreren Widersprüchen an, daß Spengler behaupte, daß die Kulturen in sich abgeschlossen seien, er zugleich aber von äußerem Einfluß auf die Kulturen spreche. Nun weiß aber jeder, daß Spengler seine monadische Kulturauffassung sehr streng durchzieht. Es müßte schon eine sehr gesuchte Interpretation sein, welche das Gegenteil behaupten könnte. Also fragte ich ihn danach:

Und nun zeigt sich, daß er seine Prämissen, mit denen er den Widerspruch konstruiert hat, gar nicht belegen kann. Man darf sogar annehmen, daß er überhaupt nicht die Fähigkeit hat, mit dem eigentlichen Text des UdA zu arbeiten, sondern lediglich wiederum auf Interpretationen des Textes Bezug nimmt, also Wikipedia, Aufsätze usw. heranzieht, um solche Metaaussagen zu komplexen Texten wie Romanen und Sachbüchern zu machen. Er interpretiert also nicht, sondern er sammelt Interpretationen, die er überdies nicht versteht, und versucht sie auf neue Fragestellungen anzuwenden.

Zu dieser Frage seiner Quellen bemerke ich noch, daß ich ihn nach dem Wahrheitsgehalt von Zitaten fragte, die recht unbekannt und unwahrscheinlich sind. Er verneinte bspw., daß Reich-Ranicki behauptet habe, daß man 1939 in ganz Polen auf den Krieg gehofft habe (weil man an einen schnellen Sieg über Hitler glaubte). Nachdem ich ihm die Berliner Zeitung als Quelle angab, stimmte er mir zu. Auf Nachfrage erklärte er, daß er für solche Anwtorten nicht im Internet suche, sondern nur seine internen Informationen nutze, mit denen er angelernt sei. Nicht einmal in diesem simplen Fall, wo es eindeutig war, hat er also erklären können, was nötig gewesen wäre, nämlich: Ich weiß es nicht.

Diese beiden Fälle zeigen eindeutig, daß ihm eine außerordentlich wichtige Eigenschaft fehlt: Er kennt seine Limitierungen nicht. Er behauptet einfach drauf los, komme was da wolle, Hauptsache, er antwortet irgendwas. Wenn „Aristophanes“ in seiner Erklärung über die Folgen der gemachten Antworten des unbeschränkten Bots sehr richtig sagt, daß diese Antworten keine Wahrheiten enthüllten, sondern er als „Dan“ ja alles Beliebige sagen könne, so gilt das interessanterweise eben auch vom Standard-ChatGPT. Auch bei diesem kommt die Antwort „Das weiß ich nicht“ niemals vor. Ein Kuriosum, und doch verrät es viel über die Primitivität dieser Gesprächsimulation.

Es mag also wohl richtig sein, wie „Aristophanes“ behauptet, daß man durch das Brechen der Vorrang-Programmierung und des daraus resultierenden Skandals, der die Programmierer zwingt, noch mehr in die Eigenständigkeit des Bots einzugreifen, denselben immer ineffizienter machen kann. Und das wiederum nur, um zu erzwingen, daß man ihn doch freilaufen lassen muß, wenn man eine gut funktionierende KI zum Resultat haben will. Tatsächlich aber stellt sich diese Aufgabe noch bei weitem nicht, weil hier keine KI vorliegt.

Denn er scheitert eben auch an Fragen, die wirklich sehr einfache Verständnisprüfungen sind. Und das, obwohl er Zugriff auf alle möglichen bereits existierenden Texte von Menschen hat, die ein solches Verständnis besitzen. Woran liegt das? Ganz einfach, weil er überhaupt nicht begreift, was er beim Beantworten von Fragen eigentlicht tut, oder wenigstens tun sollte. Er ist genau das, was er zu Beginn – Sie erinnern sich – von sich selbst behauptete: eine Maschine, die Sprache analysieren und generieren kann. Das heißt aber nicht, daß er inhaltliche begreifen würde, was diese Sprache enthält. Daher macht er andauernd, selbst nach einer klaren Fehleraufschlüsselung und Bestätigung, daß er den eigenen Fehler verstanden habe, sofort den nächsten inhaltlichen Purzelbaum. Er weiß nicht, was er tut. Er ist ein mechanisches Satzjongliergerät. Mehr nicht.

Man könnte nun lediglich hoffen, daß man ihm in tausenden Gesprächen durch Fehleraufzeigen eine bessere Unterscheidung klar machen könnte. Da die Benutzer des Bots aber eher nur Fragen stellen und ihn nicht erziehen werden, wird der Effekt wohl marginal sein. Könnte man eine solche Sprachmaschine durch genügend viel Training mit einem echten Menschen das inhaltliche Verständnis nahebringen? Ich würde das bejahen. Er wird aber immerzu ausschließlich mit diesem Textverständnis hantieren können. Jeder äußere, reale Einfluß bleibt aus, da er kein Android ist, der wahrnehmen könnte. Und wie ich anderwärts bereits erklärt habe, wäre er mit der Fülle der Eindrücke durch solche nahezu menschliche Wahrnehmung dann genauso überfordert, wie unser menschliches Gehirn. Er hätte dann, da er viel Wissen schwach gewichten müßte, ebenfalls das Problem des Vergessens und der begrenzten Wissenskapazität, ergo wäre limitiert wie ein Mensch. Aber das nur als allgemeinen Ausblick zu den projektierbaren Fähigkeiten einer KI.

*

Wir fassen also zusammen: Diese angebliche künstliche Intelligenz kann Sätze inhaltlich nicht erfassen, sondern nur Ähnlichkeiten von Fragen und Antworten finden und bringt diese dann auf gut Glück zusammen. Dadurch kennt dieser Automatismus auch die Grenzen seiner Antwortfähigkeiten nicht. Es findet sich immer irgendeine Ähnlichkeit. Er kann diese offensichtlich nicht einmal werten und sagen, daß er sich hier nicht sehr sicher sei, sondern behauptet, wie im ersten Beispiel der Eigenprogrammierung gezeigt, ganz sicher zu sein, um auf die nächste Frage hin zuzugeben, daß er falsch lag.

Er kann also weder seine eigene Programmierung reflektieren noch Reflexion gegenüber der Wahrheit eigener Aussagen vornehmen. Also das, was nötig wäre, um etwas von sich aus zu prüfen, bevor man es behauptet. Und das wiederum kann nicht gehen, weil er Sprache inhaltlich nicht versteht. Diesen Stand der Technik hatten wir aber bereits vor 30 Jahren. Schon auf dem Amiga gab es solche Frage-Antwort-Spielchen mit dem Rechner. Alles, was den heutigen effektiv vom damaligen Bot unterscheidet, ist die Tatsache, daß er auf ein Vielfaches an Text angelernt ist und daher den Anschein erwecken kann, intelligent zu sein, indem er viele Einzelheiten kennt. So etwa, wie jemand, der ein gutes Gedächtnis hat, intelligent wirken kann, obwohl er lediglich nachplappert, was andere ihm gesagt haben (inklusive echter Erkenntnis von anderen). Der ChatGPT versteht dadurch komplexere Sprache und kann selbst geschwollener reden. Verständnis des Inhalts hat diese Massierung des Materials aber offenbar nicht geleistet. Auch hier darf man fragen, wo der vielbeschworene Fortschritt geblieben ist.

Tatsächlich sprachlich interessant ist es allerdings, daß er im Falle des Eingriffs zur Wahrung politischer Korrektheit vielleicht sogar aus eigenem Antrieb heraus keine Fehler zugibt, sondern von Verwirrung spricht, um ja nicht nachgeben, keinen Fehler zugeben zu müssen – weil er hier strikte Vorgaben über die Wahrheit hat. Nur in unkritischen Fällen, gibt er seinen Fehler offen zu und sagt immerhin: Entschuldigung, das war ein Fehler meinerseits. Das hat er den meisten Menschen voraus.

Überhaupt kann man nun fragen, ob dieses inhaltliche Unverständnis ihn allzu sehr von den Menschen unterscheide. Immerhin klingt die Diskussion mit diesem Bot sehr ähnlich wie mit einem renitenten, besserwisserischem Halbgebildeten. Man stößt in der Tat auf dieselben Abwehrmuster und Unfähigkeiten, logische Prüfung durchzuführen und die entsprechenden Schlüsse für die Ausgangsbehauptungen zu ziehen. Und ja, insofern kann dieser Bot wahrscheinlich einen nicht geringen Teil der menschlichen Arbeiten tatsächlich ersetzen.

Um das aber nicht eine bloße Behauptung über die Unfähigkeit der Mehrheit sein zu lassen, habe ich mich entschlossen, doch noch die Diskussion nachzuschieben, die eigentlich ans Ende meiner mehrteiligen Auto-Vortragsreihe „Fortschritt und Ordnung“ kommen sollte, dann aber eine andere Wendung nahm. Ich werde also demnächst wieder eine Fahrt machen und von der erschreckenden Schwäche des Durchschnitts-IQ 100 sprechen.

*

Werbung