Notiz zu kognitiven Prothesen und erwartbaren Folgen

Cognitive surrender ist das Phänomen des Verschwindens kritisch-logischen Denkens mit gewohnheitsmässiger AI-Nutzung.

“subjects were willing to accept faulty AI reasoning a whopping 73.2 percent of the time, while only overruling it 19.7 percent of the time. (…) this demonstrates that people readily incorporate AI-generated outputs into their decision-making processes, often with minimal friction or skepticism.” 

Wir halten also überwiegend für wahr, was flüssig und leicht lesbar serviert wird:

“fluent, confident outputs [are treated] as epistemically authoritative, lowering the threshold for scrutiny and attenuating the meta-cognitive signals that would ordinarily route a response to deliberation,”

Schon wenige Minuten mit einem KI-Chatbot verringern die Denkleistung deutlich. So entwickelt sich ein erhöhtes Autonomie-Erleben „(…) indem ich plötzlich Aufgaben übernehmen kann, bei denen ich vorher auf Hilfe angewiesen war.“ Mit zunehmender Autonomie und imaginierter Selbstwirksamkeit nimmt kritische Urteilsfähigkeit ab. So verschiebt sich der Referenzpunkt der realistischen Einschätzung eigener Fähigkeiten. Wer regelmäßig erlebt, dass Aufgaben mit AI in Sekunden erledigt sind, nimmt die gleiche Arbeit ohne Assistenten als unverhältnismäßig anstrengend wahr – nicht weil sie es ist, sondern weil der Maßstab verrutscht ist. Je öfter eigenes Denken und Anstrengung an AI delegiert wird, um so weiter geht die Schere auf. Intensive KI-Nutzung korreliert mit einem Rückgang an kritischem Denken und sinkender Problemlösungskompetenz. Je regelmäßiger KI im produktiven Handeln verwendet wird, um so mehr nimmt nicht nur die individuelle fachliche Kompetenz ab, sondern auch das Gespür dafür, was was man selbst tatsächlich kann. Wenn AI die Arbeit macht, wiegen wir uns in der Illusion, sie „assistiere” uns – in Wirklichkeit übernimmt sie die Aufgabe komplett selbst. „Wenn ich einem Installateur den Auftrag gebe, mein defektes Bad zu reparieren, käme ich nie auf die Idee zu sagen, ich kann ein Bad reparieren.“

George Clooney is an actor. Put him in the role of a surgeon in front of a camera, and he will do and say things the average non-surgeon viewer will agree are surgeonish. After an hour of that, we are, as average non-surgeon viewers, satisfied and entertained. Put him in an operating theatre, and the patient will fucking die because he's not a surgeon and knows nothing about really doing surgery.

This is a post about LLMs.

(die originale Quelle kann ich leider nicht beigeben, ich finde sie nicht eindeutig)

Diese Epistemische Autorität ist die Autorität des Wissenden als Person, die sich in einem Fachgebiet besonders gut auskennt. Oder etwas zuverlässig kann. Ihr Urteil hat Gewicht, ist Meisterschaft, Könnerschaft, craftsmanship. Mit unserer Gewöhnung an hinreichend plausible Antworten wird diese Autorität implizit der flugs reagierenden AI zugesprochen. Allerdings auch, wenn nicht einmal andeutungshalber die Evidenz des AI-output bekannt ist. Wir gewöhnen uns an das nicht weiter Nachfragen nach empirischen Nachweisen. Gleichzeitig kommt dazu das Phänomen erfundener Referenzen. Sie wirken als Brandbeschleuniger konzertierter enshittification. In 2,5 Millionen Papers mit 111 Millionen Referenzen ließen sich 146.900 Zitate keiner Quelle zuordnen. Diese waren KI-Halluzinationen, erschienen im Kontext aber ausreichend plausibel. Das verdickt die replication crisis. Rauschen oder Signal wird noch schwerer unterscheidbar als ohnehin. Behauptung, Meinung, Fakten verschmieren. Goldene Zeiten für Gurus und Schlangenölverkäufer.

Die Ethikerin Shannon Vallor spricht von einer „epistemische Enteignung“: nicht nur verlieren wir Fähigkeiten – wir verlieren auch die Maßstäbe, an denen wir Wissen und Kompetenz überhaupt messen. (…) Advait Sarkar nennt das den Verlust von Metakognition – der Fähigkeit, das eigene Denken zu beobachten und zu beurteilen. Zu wissen, was man kann und weiß und wozu man besser schweigen sollte. Transparenzhinweis: Sarkar forscht für Microsoft Research, die über geschickte Beteiligungen im Moment noch vom AI-Boom profitieren während ihr Copilot mehr nervt als ehedem Karl Klammer.
Je teurer nun absehbar AI-Nutzung werden muss (um die absurden Kosten des compute zu refinanzieren) um so mehr wird der output Autorität erlangen müssen. Das kann kaum gut ausgehen weil wir tendenziell fauler werden und auch nur scheinbar produktiver. Daron Acemoglu et al (Nobelpreis Ökonomie 2024) argumentieren im Februar ’26 dass AI die knowledge commons schrumpft, weil das ‘fluide Allgemeinwissen’, der ungeplante Beifang des sich-selbst-mit-etwas-intensiv-beschäftigen nicht weiter entsteht. Das ist ähnlich wenn man in einem Lexikon etwas nachschlägt und auf dem Weg zur gesuchten Information auch ganz andere Dinge wahrnimmt. Das fällt alles weg. Und mit dem Weg zum Ziel auch die Erinnerung: intensive KI-Nutzer zeigen reduzierte neuronale Konnektivität und können die per KI konfektionierten Inhalte kurz darauf nicht mehr korrekt reproduzieren. (MIT, pre-print). KI-Snacking macht also nicht satt sondern doofer. Dazu passt leider ein Artikel aus der ZEIT vom 30.4.25 »Ein Buch lesen? Ganz?!«: nur 17 % der Studierenden lesen täglich in Büchern (2002: 43 %). Und 20 % nutzen seltener als einmal im Monat ein Buch. 

Wird super.