Nachrichten

KI-Modelle wie ChatGPT sind laut einer neuen Studie eines Teams um LOEWE-Spitzenprofessorin Iryna Gurevych der TU Darmstadt und Dr. Harish Tayyahr Madabushi von der University of Bath, Großbritannien, offenbar weniger selbstständig lernfähig als bisher angenommen. Es gebe keine Hinweise darauf, dass die sogenannten Large Language Models (LLMs) anfingen, ein allgemeines „intelligentes“ Verhalten zu entwickeln, das ihnen etwa ein planvolles oder intuitives Vorgehen oder komplexes Denken ermögliche, heißt es in der Untersuchung.

Im Mittelpunkt der Forschung stehen unvorhergesehene und plötzliche Leistungssprünge der Sprachmodelle, die als „emergente Fähigkeiten“ bezeichnet werden. Wissenschaftler:innen hatten nach Einführung der Modelle festgestellt, dass diese mit zunehmender Größe und der Menge an Daten, mit denen sie trainiert wurden (Skalierung), leistungsfähiger wurden. So konnten die Tools mit zunehmender Skalierung beispielsweise gefälschte Nachrichten erkennen oder logische Schlussfolgerungen ziehen. Das weckte die Hoffnung, dass eine weitere Skalierung die Modelle noch besser machen würde. Allerdings kam auch die Sorge auf, dass diese Fähigkeiten gefährlich werden könnten, da sich die LLMs quasi verselbständigen und der menschlichen Kontrolle womöglich entziehen. Als Reaktion wurden weltweit KI-Gesetze eingeführt, darunter in der Europäischen Union und in den USA.

Die Autor:innen der aktuellen Studie kommen nun allerdings zu dem Schluss, dass es für die mutmaßliche Entwicklung eines differenzierten Denkvermögens der Modelle keine Beweise gebe. Stattdessen erlangten die LLMs die oberflächliche Fertigkeit, relativ einfachen Anweisungen zu folgen, wie die Forschenden zeigten. Von dem, was Menschen können, seien die Systeme noch weit entfernt.

 „Unsere Ergebnisse bedeuten jedoch nicht, dass KI überhaupt keine Bedrohung darstellt“, betonte Gurevych. „Wir zeigen vielmehr, dass die angebliche Entstehung komplexer Denkfähigkeiten, die mit bestimmten Bedrohungen verbunden sind, nicht durch Beweise gestützt wird und dass wir den Lernprozess von LLMs doch gut steuern können. Daher sollte der Fokus künftiger Forschung auf weiteren Risiken liegen, die von den Modellen ausgehen, beispielsweise auf deren Potenzial, zur Generierung von Fake News genutzt zu werden.

Wichtig ist: Die Tendenz dieser Modelle, plausibel klingende, aber falsche Ergebnisse zu erzeugen – die sogenannte Konfabulation – wird wahrscheinlich weiter bestehen bleiben, auch wenn sich die Qualität der Modelle in jüngster Zeit drastisch verbessert hat.“

Die Studie wird im August auf der Jahrestagung der renommierten Association for Computational Linguistics (ACL) in Bangkok vorgestellt, der größten internationalen Konferenz zur Automatischen Sprachverarbeitung.

Kontakt:

Prof. Dr. Iryna Gurevych

Hochschulstraße 10, S2|02 B110, 64289 Darmstadt

Telefon: 06151/16-25290; E-Mail: iryna.gurevych@tu-darmstadt.de

 Link zur Studie:

https://arxiv.org/abs/2309.01809