Aktuelle Forschungsergebnisse deuten darauf hin, dass grundlegende Mängel in der Architektur der heute führenden Modelle der künstlichen Intelligenz (KI) – insbesondere der Large Language Models (LLMs) wie ChatGPT, Claude und Gemini – sie möglicherweise daran hindern, echte Intelligenz auf menschlicher Ebene zu erreichen. Diese Modelle sind zwar bei Aufgaben wie der Textgenerierung beeindruckend, neigen jedoch zu „Argumentationsfehlern“, die ihre Zuverlässigkeit bei der Lösung komplexer Probleme beeinträchtigen.
Das Kernproblem: Statistische Vorhersage, nicht Gedanke
LLMs funktionieren, indem sie das statistisch wahrscheinlichste nächste Wort oder die nächste Phrase auf der Grundlage umfangreicher Textdatensätze vorhersagen. Dieser Ansatz eignet sich hervorragend für Sprachaufgaben, es mangelt ihm jedoch an einer echten logischen Argumentation. Die Models denken nicht; Sie simulieren Gedanken, indem sie Token basierend auf erlernten Mustern aneinanderreihen.
Diese Unterscheidung ist wichtig, weil echtes Denken eine konsistente, zuverlässige Verarbeitung über mehrere Schritte hinweg erfordert, was LLMs häufig nicht leisten können. Sie können sich beispielsweise widersprechen, mit mehrstufigen Problemen zu kämpfen haben oder wiederholt identische (falsche) Antworten liefern. Dies ist kein Fehler, sondern eine Folge der Architektur selbst.
Warum Transformers mit der Logik zu kämpfen haben
Die dominierende Architektur hinter den meisten aktuellen LLMs ist das transformatorische neuronale Netzwerk. Selbstaufmerksamkeitsmechanismen innerhalb von Transformatoren ermöglichen es ihnen, Beziehungen zwischen Wörtern und Konzepten zu identifizieren. Allerdings sind diese Mechanismen nicht gleichbedeutend mit tatsächlichem Verständnis.
LLMs können das Denken überzeugend nachahmen, aber dabei kommt es oft darauf an, einfach eine plausible Gedankenkette auszugeben, anstatt echte logische Schlussfolgerungen zu ziehen. Forscher am Alan Turing Institute beschreiben dies als „Next-Token-Vorhersage, gekleidet als Gedankenkette.“
Diese Schwäche zeigt sich darin, wie LLMs mit Kompositionsaufgaben (wie der Überprüfung von Behauptungen über mehrere Fakten) oder sogar mit grundlegenden mathematischen Problemen umgehen. Bei längeren Sequenzen verlieren sie häufig den Überblick über wichtige Informationen, was zu vorhersehbaren Fehlern führt.
Die Mängel bei der Art und Weise, wie wir KI testen
Auch aktuelle KI-Benchmarks sind problematisch. Die Studie hebt drei kritische Probleme hervor:
- Prompte Sensibilität: Geringfügige Änderungen am Wortlaut einer Frage können die Antwort eines LLM drastisch verändern.
- Benchmark-Kontamination: Durch die wiederholte Verwendung von Benchmarks können LLMs lernen, sie „auszutricksen“.
- Ergebnisfokus: Benchmarks bewerten normalerweise nur das Ergebnis der Argumentation, nicht den Prozess selbst.
Diese Mängel führen dazu, dass die heutigen KI-Leistungsmetriken die tatsächlichen Fähigkeiten möglicherweise überschätzen.
Wie ein Forscher feststellte, dient der KI-Einsatz selbst mittlerweile als Testgelände und deckt Fehler auf, die bei herkömmlichen Benchmarks nicht möglich sind. Dieser Zyklus verstärkt den Bedarf an besseren Bewertungsmethoden, aber die Abhängigkeit von KI zum Testen von KI bleibt ein schwieriges Problem.
Jenseits der Skalierung: Was ist für echte AGI erforderlich?
Die Forschung schließt neuronale Netze nicht vollständig aus. Stattdessen wird argumentiert, dass eine einfache Erhöhung der Modellgröße oder der Trainingsdaten wahrscheinlich an eine Grenze stoßen wird. Echte künstliche allgemeine Intelligenz (AGI) erfordert möglicherweise architektonische Innovationen.
Die Studie legt nahe, dass der Fortschritt von Folgendem abhängt:
- Entwicklung von Modellen, die strukturiertes Denken mit verkörperter Interaktion verbinden können.
- Aufbau stärkerer „Weltmodelle“, die es der KI ermöglichen, reale Einschränkungen zu verstehen.
- Verbesserung des Robustheitstrainings, um die Abhängigkeit von statistischen Mustern zu verringern.
Letztendlich deuten die Einschränkungen aktueller LLMs darauf hin, dass das Erreichen von AGI möglicherweise ein grundlegendes Überdenken des Aufbaus von KI erfordert.
Ein Forscher stellte unverblümt fest: „Transformatoren sind nicht die Art und Weise, wie man einen digitalen Geist aufbaut.“ Obwohl sie leistungsstarke Sprachmodelle sind, fehlen ihnen die zugrunde liegenden kognitiven Mechanismen, die für zuverlässiges Denken auf menschlicher Ebene erforderlich sind. Der Weg nach vorne liegt wahrscheinlich in der Erforschung alternativer Architekturen und Ansätze für die KI-Entwicklung.
