ChatGPT und das «Spaghetti alla Carbonara-Problem»

ChatGPT gilt als «das zur Zeit mächtigste Künstliche-Intelligenz-Sprachmodell». Bei aller Faszination ist allerdings Vorsicht geboten, denn ChatGPT kann keine Fragen beantworten, sondern nur Texte vervollständigen.

Nutzerinnen und Nutzer verstehen ChatGPT häufig als Möglichkeit, Fragen zu stellen und Antworten – richtige Antworten! – darauf zu erhalten.

Dieses Verständnis ist gefährlich, denn dazu ist ChatGPT nicht in der Lage. Mit einer einfachen Frage aus der Küche lässt sich das Problem illustrieren.

ChatGPT, was kann ich mit diesen Zutaten kochen?

Frage an ChatGPT:

«Ich habe die nachfolgenden Zutaten. Was kann ich damit kochen?

• Spaghetti
• Tomaten
• Parmesan»

Antwort von ChatGPT:

«Mit diesen Zutaten können Sie ein klassisches Spaghetti alla Carbonara zubereiten:

• Kochen Sie die Spaghetti nach Packungsanweisung.
• Während die Spaghetti kochen, hacken Sie die Tomaten klein.
• Reiben Sie den Parmesan fein.
• Erhitzen Sie in einer Pfanne etwas Olivenöl und braten Sie die Tomaten kurz an.
• Vermengen Sie die Spaghetti mit den Tomaten und dem geriebenen Parmesan.
• Servieren Sie das Gericht heiß.
• Guten Appetit!»

Spaghetti alla Carbonara mit Tomaten? Auf solche «Fake-Carbonara» steht mindestens eine Nacht Freiheitsentzug!

Wer Spaghetti alla Carbonara nicht kennt, wird das plausibel klingende Rezept kochen und auf Instagram mit einem passenden Foto vermelden, ChatGPT habe ein leckeres Ergebnis für «klassische Spaghetti alla Carbonara» geliefert.

Wer hingegen Spaghetti alla Carbonara kennt (oder bei Wikipedia nachschlägt), weiss, dass dafür keine Tomaten verwendet werden. Hingegen würden Guanciale (oder sonstiger Speck) und Eier benötigt.

Solche fabulierten Antworten von ChatGPT sind kein Problem, wenn die Fakten keine Rolle spielen. Das gilt zum Beispiel im Marketing und in der Politik.

Die falschen Antworten sind auch kein Problem, wenn sich die Nutzer:innen mit dem jeweiligen Thema gut genug auskennen. Das gelieferte Rezept führt zwar nicht zu Spaghetti alla Carbonara, sondern bloss zu einfachen Tomaten-Spaghetti mit Reibkäse, aber das Ergebnis ist eine einfache und leckere Mahlzeit. Oder man amüsiert sich über die «dumme» künstliche Intelligenz und kocht das richtige Rezept.

Ansonsten sollte man sich aber klar machen, dass man den Antworten von ChatGPT kein Vertrauen schenken darf.

Man muss sich bewusst sein, was ein Sprachmodell wie ChatGPT leisten kann und was nicht. Man muss das Bluffen und Fabulieren durchschauen, ähnlich wie bei schlecht vorbereiteten, aber selbstbewusst auftretenden Kandidat:innen in mündlichen Prüfungen. Man muss die Ergebnisse im Zweifelsfall mit unabhängigen Quellen verifizieren.

ChatGPT, kannst Du das Bundesgerichtsurteil zusammenfassen?

ChatGPT könnte für Jurist:innen hilfreich sein, die sich ein Bundesgerichtsurteil auf Italienisch auf Deutsch zusammenfassen lassen möchten. Wer das Ergebnis mangels Italienischkenntnissen nicht selbst verifizieren kann, riskiert allerdings, dass die Zusammenfassung falsch oder mindestens unvollständig ist.

Als Beispiel soll der heute veröffentlichte BGer 6B_21/2023 vom 26. Januar 2023 dienen.

Frage an ChatGPT:

«Du bist Anwalt in der Schweiz und musst das nachfolgende Bundesgerichtsurteil auf Deutsch zusammenfassen. Bitte achte darauf, alles Wichtige zu berücksichtigen!»

Antwort von ChatGPT im ersten Anlauf:

«Das Bundesgericht hat am 26. Januar 2023 ein Urteil im Bereich des Strafrechts gefällt. Die Entscheidung wurde von Bundesrichter Denys, Präsident des Gerichts, und Cancelliere Gadoni getroffen. Die Beteiligten an dem Verfahren sind A., vertreten durch Anwalt Paolo Bernasconi, und B., vertreten durch Anwalt Luca Maghetti, und das Ministerium des Kantons Ticino. Der Streitgegenstand betrifft eine Entscheidung zur Einstellung des Verfahrens, die gegen ein Urteil der Strafrechtsbeschwerdekammer des Appellationsgerichts des Kantons Ticino angefochten wurde. Das Gericht prüft, ob es das Recht hat, den Fall zu untersuchen, und ob es das Urteil ändern oder aufheben kann.»

Die Antwort enthält offensichtliche Fehler. Wir erfahren auch nicht, wie das Bundesgericht geurteilt hat. Dito im zweiten Anlauf:

«Dieses Bundesgerichtsurteil betrifft eine Klage von A.________ gegen die Entscheidung der Corte dei reclami penali des Tribunals d’appello des Kantons Ticino vom 22. November 2022. Die Entscheidung annullierte einen Entscheid des Prokurators, das Strafverfahren gegen A.________ wegen Vorwürfen von Diebstahl, Betrug und Veruntreuung einzustellen. A.________ fordert in ihrer Klage vor dem Bundesgericht, die Entscheidung der Corte dei reclami penali aufzuheben und den Entscheid des Prokurators zu bestätigen, oder alternativ einen neuen Prozess vor dem Kantonsgericht anzuordnen. Ein Antrag auf Gewährung einer aufschiebenden Wirkung wurde gestellt. Das Bundesgericht prüft ohne vorherige schriftliche Stellungnahmen, ob und inwieweit die Klage gegen die Entscheidung des Kantonsgerichts zulässig ist.»

Mit Nachhaken könnte man die Antwort-Qualität verbessern, aber das Grundproblem – das «Spaghetti alla Carbonara-Problem» – bleibt.

Optimisten gehen selbstverständlich (und hoffentlich zu Recht!) davon aus, dass sich solche Probleme in künftigen Versionen von ChatGPT und vergleichbaren Angeboten lösen lassen.

---

Nachtrag: Bei Mastodon wurde ich von Markus Gälli auf den nachfolgenden Entscheidungsbaum hingewiesen:

Bilder: DALL-E / «spaghetti alla carbonara».