Superintelligenz

Es gibt Bücher, die liest man, weil sie spannend sind. Und dann gibt es Bücher, nach denen man die Welt ein wenig anders betrachtet. Superintelligenz von Nick Bostrom gehört für mich eindeutig zur zweiten Kategorie.

Angefangen hatte ich das Buch auf Englisch. Das habe ich allerdings relativ schnell wieder aufgegeben: Bostrom schreibt nicht gerade kompliziert, aber er verwendet eine sehr spezifische Terminologie. Es geht eben nicht nur um künstliche Intelligenz im Sinne heutiger Chatbots, sondern auch um Informatik, Philosophie, Entscheidungstheorie, Ökonomie und Zukunftsforschung.

Bei einem solchen Buch ist es durchaus hilfreich, jedes Argument und jede begriffliche Unterscheidung sauber nachvollziehen zu können. Also bin ich auf die deutsche Ausgabe gewechselt.

Was genau versucht der Autor in seinem Buch, dass weder technische Erklärung, noch KI-Hype, noch mahnender Zeigefinger ist? Bostrom denkt nicht einfach eine spektakuläre Zukunft aus. Er versucht, sie systematisch zu analysieren.

Mehr als zehn Jahre später

Superintelligenz als Buch ist inzwischen mehr als zehn Jahre alt, KI hat in der Zeit auf der einen Seite rasante Fortschritte gemacht. Ist auf der anderen Seite aber auch hinter Bostroms Erwartungen zurückgeblieben. Das macht die Lektüre im Jahr 2026 besonders interessant.

Vieles, was Bostrom damals als theoretische Möglichkeit beschrieben hat, wirkt heute deutlich weniger theoretisch. Large Language Models, generative KI, multimodale Systeme, KI-Agenten und automatisierte Programmierung gab es in dieser Form noch nicht. Auch dass KI-Systeme komplexe Aufgaben über längere Handlungsketten hinweg bearbeiten können, war damals längst nicht so selbstverständlich wie heute.

Bostrom behauptete nicht einfach, dass eine Superintelligenz zwangsläufig entstehen wird. Er beschreibt verschiedene mögliche Entwicklungspfade und fragt, was passieren könnte, wenn ein System entsteht, dessen kognitive Fähigkeiten die des Menschen in praktisch allen relevanten Bereichen deutlich übertreffen.

Die Intelligence Explosion

Besonders interessant ist seine Beschreibung der sogenannten „Intelligence Explosion“.

Vereinfacht gesagt geht es um die Möglichkeit, dass eine ausreichend leistungsfähige KI irgendwann ihre eigene Weiterentwicklung zumindest teilweise unterstützen kann. Wenn ein System dadurch immer besser darin wird, noch leistungsfähigere Systeme zu entwickeln, könnte sich die Entwicklung erheblich beschleunigen.

Von einer vollständig autonomen Selbstverbesserung sind heutige KI-Systeme zwar noch entfernt. Die Grundrichtung ist aber nicht mehr völlig abstrakt. KI wird bereits eingesetzt, um Software zu schreiben, Forschung zu unterstützen, Prozesse zu optimieren und neue KI-Systeme zu entwickeln.

Das ist nicht dasselbe wie eine sich selbst verbessernde Superintelligenz. Es zeigt aber, warum Bostroms Gedanken inzwischen weniger wie reine Science-Fiction wirken.

Auch seine damaligen Einschätzungen zu den zeitlichen Horizonten sind interessant: Eine gemeinsam mit Vincent C. Müller durchgeführte Expertenbefragung kam 2012/2013 auf einen Median von etwa 2040 für eine 50-prozentige Wahrscheinlichkeit menschenniveauähnlicher Maschinenintelligenz. Für eine 90-prozentige Wahrscheinlichkeit wurde 2075 genannt. (Seine Ausführung, nicht meine.)

Im Rückblick wirkt das bemerkenswert vorsichtig. Vor allem, wenn man sich anschaut, wie schnell sich KI seit dem Durchbruch von Deep Learning und großen generativen Modellen entwickelt hat.

Trotzdem wäre es zu einfach, daraus abzuleiten, Bostroms Prognosen seien falsch. Seine eigentliche Stärke liegt nicht in einem konkreten Kalenderdatum. Entscheidend ist vielmehr die Frage, was wir tun sollten, wenn sich technologische Entwicklungen schneller beschleunigen als unsere Fähigkeit, ihre Folgen zu verstehen und zu kontrollieren.

Und genau an diesem Punkt ist das Buch erstaunlich aktuell.

Das Alignment-Problem

Ein großer Teil des Buches beschäftigt sich mit dem Alignment-Problem. Also mit der Frage, wie man sicherstellt, dass ein extrem leistungsfähiges System tatsächlich das tut, was Menschen von ihm wollen.

Und zwar nicht nur oberflächlich.

Ein System könnte eine Zielvorgabe exakt erfüllen und trotzdem ein Ergebnis produzieren, das für Menschen katastrophal ist. Dafür muss die KI nicht böse sein. Es reicht, wenn sie eine Aufgabe kompromisslos optimiert, ohne unsere unausgesprochenen Erwartungen, Einschränkungen und Wertvorstellungen zu berücksichtigen.

Das Gedankenexperiment einer Maschine, die eine scheinbar harmlose Vorgabe bis zum Äußersten verfolgt, ist inzwischen ein Klassiker der KI-Sicherheitsdebatte. Beunruhigend ist daran gerade, dass ein solches System nicht gegen seine Aufgabe verstoßen müsste. Es könnte sie perfekt erfüllen.

Nur eben auf eine Weise, die niemand beabsichtigt hat.

Erstaunlich gründlich

Positiv überrascht hat mich außerdem die wissenschaftliche Arbeitsweise des Buches.

Bostrom belässt es nicht bei Gedankenexperimenten und großen Zukunftsszenarien. Er stützt seine Überlegungen auf eine enorme Menge an Literatur. Die deutsche Ausgabe enthält rund 150 Seiten Quellen und Anmerkungen.

Das ist bei einem ohnehin anspruchsvollen Buch bemerkenswert. Man kann jederzeit nachvollziehen, auf welche Studien, theoretischen Arbeiten, Experteneinschätzungen und Argumentationen sich einzelne Aussagen stützen.

Dadurch wirkt Superintelligenz ungewöhnlich seriös für ein Thema, bei dem sich Science-Fiction, Spekulation und technologische Euphorie sehr schnell vermischen.

Natürlich merkt man dem Buch sein Erscheinungsjahr an. Die heutige KI-Landschaft mit ChatGPT, Claude, Gemini, multimodalen Modellen, KI-gestützter Softwareentwicklung und autonomen Agenten konnte Bostrom in dieser konkreten Form nicht kennen.

Einige technische Annahmen wirken aus heutiger Sicht deshalb überholt oder zumindest erklärungsbedürftig. Besonders beim maschinellen Lernen hat die tatsächliche Entwicklung teilweise einen anderen Weg genommen, als man ihn sich 2014 vorgestellt hat.

Das schmälert den Wert des Buches aber kaum.

Ein Buch über Konsequenzen

Bostrom hat kein Buch über Chatbots geschrieben. Er hat ein Buch über die möglichen Konsequenzen sehr leistungsfähiger künstlicher Intelligenz geschrieben.

Und diese Fragestellung ist heute aktueller als zum Zeitpunkt der Veröffentlichung.

Was mich nach der Lektüre am meisten beeindruckt hat, ist deshalb nicht die Frage, ob jede einzelne Vorhersage eintreffen wird. Entscheidend ist die Perspektive, die Bostrom bereits 2014 entwickelt hat:

Wir sollten KI nicht nur danach beurteilen, was sie kann. Wir müssen uns ebenso damit beschäftigen, welche gesellschaftlichen, wirtschaftlichen und politischen Folgen daraus entstehen können.

Nach mehr als zehn Jahren technologischem Fortschritt wirkt das Buch nicht wie ein veraltetes Zukunftsszenario. Es liest sich vielmehr wie ein früher Versuch, uns auf Fragen vorzubereiten, die wir inzwischen tatsächlich stellen müssen.

Eine anspruchsvolle, stellenweise sperrige, aber ausgesprochen lohnende Lektüre. Für alle, die verstehen möchten, warum die Diskussion über die Zukunft der KI weit über bessere Chatbots und automatisierte Arbeitsabläufe hinausgeht, ist das Buch eine klare Empfehlung.