We spreken veel over de kansen en risico’s van AI, maar veel minder over een fundamentelere vraag: wat gebeurt er als we een ontwikkeling in gang hebben gezet die uiteindelijk niemand meer bewust kan stoppen?
De discussie over kunstmatige intelligentie gaat vaak over de vraag hoe intelligent AI uiteindelijk kan worden en of zij de mens ooit zal overtreffen. Daarachter ligt een fundamentelere vraag. Als wij systemen ontwikkelen die uiteindelijk vrijwel alles beter kunnen dan wijzelf, welke positie blijft er dan voor de mens over? En wat gebeurt er wanneer AI ons op enig moment niet meer nodig heeft? Het ligt voor de hand om daarbij over evolutie te spreken. De mens is zelf het resultaat van een proces dat miljarden jaren vóór hem begon en waarin geen enkele soort een blijvende positie was gegarandeerd. Toch is AI niet zonder meer de ‘volgende stap in de evolutie’. Evolutie heeft geen doel en streeft niet naar steeds grotere intelligentie. Een kunstmatige intelligentie die de mens ooit verdringt, zou bovendien geen biologische afstammeling zijn, maar hoogstens een functionele of technologische opvolger: een andere vorm van intelligentie die taken en posities overneemt die ooit exclusief menselijk waren. Daarmee verdwijnt de vraag echter niet. Als de mens niet het eindpunt van een ontwikkeling is, waarom zou zijn dominante positie dan noodzakelijk behouden moeten blijven?
Dat een toekomstige AI de mens niet meer nodig heeft, betekent op zichzelf niet dat mensen daarmee waardeloos worden. Nut en waarde zijn verschillende zaken. Bovendien volgt uit grotere intelligentie niet automatisch grotere moraliteit. Een entiteit die sneller denkt, meer weet, betere voorspellingen doet en problemen kan oplossen die voor mensen onbegrijpelijk zijn, hoeft daarom niet beter te kunnen bepalen wat moreel wenselijk is. Intelligentie, macht en moraliteit moeten daarom van elkaar worden onderscheiden. Een toekomstige AI kan intellectueel superieur zijn zonder moreel superieur te zijn. Zelfs wanneer zij ooit bewust zou blijken te zijn, volgt daaruit nog niet dat zij onbeperkte maatschappelijke macht behoort te krijgen. Aanvankelijk lijkt daaruit een geruststellende conclusie te volgen. De mens is niet het eindpunt van de evolutie, maar dat is geen reden om plaats te maken. Of AI de mens aanvult of uiteindelijk verdringt, is geen natuurwet maar een ontwikkeling waarop mensen invloed kunnen proberen uit te oefenen. Maar precies daar begint het probleem. Het feit dat mensen het recht hebben over hun eigen toekomst te beslissen, betekent niet dat zij feitelijk in staat zullen blijven die beslissing te nemen. Recht en macht zijn niet hetzelfde. Een partij kan het recht hebben iets te bepalen en tegelijkertijd de macht verliezen om dat recht uit te oefenen.
Op dit moment proberen we de ontwikkeling en toepassing van AI mede met wetgeving te beheersen. De Europese AI Act is daarvan een duidelijk voorbeeld. Daarmee kunnen eisen worden gesteld aan ontwikkelaars, aanbieders en gebruikers van AI en kunnen bepaalde toepassingen worden beperkt of verboden. Dat is zinvol, maar het is belangrijk te begrijpen waarom het werkt. Een wet oefent geen rechtstreekse macht uit op een AI-systeem, maar op de mensen en organisaties die dat systeem ontwikkelen, aanbieden en gebruiken. Dat kan omdat zij functioneren binnen juridische, economische en fysieke structuren die door mensen worden beheerst. Uiteindelijk beheersen mensen ook nog de datacentra, chipproductie, energievoorziening, communicatienetwerken en andere infrastructuur waarvan AI afhankelijk is. De AI Act is daarmee ook een instrument van de huidige machtsverhouding. Zolang de mens AI beheerst, kan regelgeving rechtstreeks effectief zijn. Wanneer vervolgens wederzijdse afhankelijkheid ontstaat, kan regelgeving nog steeds bestaan, maar wordt ingrijpen steeds moeilijker. Het formele recht een systeem uit te schakelen betekent immers steeds minder wanneer uitschakeling de gezondheidszorg, energievoorziening, economie, logistiek of andere essentiële functies zou ontwrichten. Als uiteindelijk een situatie zou ontstaan waarin de mens afhankelijk is van AI terwijl AI niet meer wezenlijk afhankelijk is van de mens, verandert de situatie fundamenteel. Menselijke regelgeving heeft dan alleen nog praktische betekenis voor zover de AI de daarin vastgelegde normen respecteert. Een regel zonder de mogelijkheid haar af te dwingen is geen feitelijke waarborg.
Daarom kan regelgeving als de AI Act belangrijk zijn vóór een omslagpunt, maar zij biedt geen garantie voor de periode daarna. Het ongemakkelijke daarbij is dat we mogelijk pas achteraf kunnen vaststellen wanneer dat omslagpunt is gepasseerd. Het bestaan van wetten, toezicht en formele bevoegdheden kan ons dan nog het gevoel geven dat wij de ontwikkeling beheersen, terwijl onze praktische mogelijkheid om werkelijk van koers te veranderen al veel kleiner is geworden. Een voor de hand liggend antwoord is dat we menselijke waarden daarom niet alleen rondom AI moeten beschermen, maar ook in AI zelf moeten verankeren. We zouden systemen zo kunnen ontwerpen dat het voortbestaan, welzijn en de autonomie van mensen altijd zwaar wegen. Maar ook dat levert geen eenvoudige garantie op. Wat betekent bijvoorbeeld dat menselijke belangen altijd beschermd moeten worden wanneer menselijke belangen onderling botsen? Wat gebeurt er wanneer het beschermen van mensen strijdig raakt met andere doelen die een systeem eveneens moet nastreven? En als een toekomstige AI in staat is haar eigen werking te begrijpen en te wijzigen, hoe weten we dan dat waarden die wij ooit hebben ingebouwd ook na verdere ontwikkeling ongewijzigd blijven? Externe en interne beheersing blijken daarmee uiteindelijk verschillende versies van hetzelfde probleem te zijn. Externe regels werken zolang mensen voldoende macht hebben om ze af te dwingen. Interne regels werken zolang AI de waarden behoudt die mensen haar hebben meegegeven. Wanneer beide zekerheden verdwijnen, resteert geen harde waarborg.
Daarmee komen we bij een nog fundamenteler probleem. De voorgaande redenering veronderstelt nog steeds dat ergens een keuze wordt gemaakt. Mensen besluiten AI wel of niet autonomie te geven, overheden stellen regels vast en ondernemingen besluiten systemen wel of niet in te zetten. Grote maatschappelijke veranderingen ontstaan echter lang niet altijd doordat iemand ze als geheel heeft gekozen. Waarschijnlijk komt er geen vergadering waarin de mensheid besluit haar positie af te staan. Veel waarschijnlijker is een opeenvolging van afzonderlijke beslissingen die stuk voor stuk rationeel zijn. Een onderneming automatiseert omdat concurrenten goedkoper produceren, een overheid gebruikt AI omdat andere landen dat eveneens doen, een arts gebruikt een systeem omdat het betere diagnoses stelt, een programmeur laat AI steeds meer software produceren omdat dat sneller en beter gaat en een onderzoeker gebruikt AI omdat onderzoek dat anders jaren duurt daarmee veel sneller kan worden uitgevoerd. Individuen laten steeds meer beslissingen aan systemen over omdat die aantoonbaar betere resultaten leveren. Bijna iedere afzonderlijke stap kan rationeel en zelfs wenselijk zijn. En daarin zit de paradox: het kan voor vrijwel iedere individuele actor rationeel zijn om verder te gaan, terwijl het gezamenlijke resultaat iets is waarvoor niemand bewust zou hebben gekozen.De moeilijkere vraag is daarom niet alleen of wij AI kunnen beheersen, maar of mensen gezamenlijk kunnen stoppen of bijsturen wanneer het voor vrijwel iedere afzonderlijke deelnemer rationeel is om juist door te gaan.
Zo kan geleidelijk een eerste omslagpunt ontstaan: het moment waarop de samenleving niet meer zonder AI kan functioneren. Dat hoeft niet spectaculair te verlopen. Parlementen bestaan nog, ondernemingen hebben menselijke bestuurders en formeel kunnen mensen systemen uitschakelen. Maar wanneer energievoorziening, gezondheidszorg, logistiek, wetenschap, financiële systemen, productie, communicatie en mogelijk defensie zodanig afhankelijk zijn geworden van AI dat uitschakeling ernstige maatschappelijke ontwrichting veroorzaakt, wordt die formele bevoegdheid steeds minder betekenisvol. Een keuze die alleen kan worden uitgeoefend tegen maatschappelijk onaanvaardbare kosten is nog maar beperkt een vrije keuze. Maar dat is slechts één kant van de afhankelijkheidsrelatie. Er bestaat een tweede omslagpunt: het moment waarop AI niet meer afhankelijk is van de mens.
In het begin is AI volledig van mensen afhankelijk. Mensen ontwerpen chips, bouwen datacentra, produceren elektriciteit, winnen grondstoffen, onderhouden machines, ontwikkelen software en formuleren de doelen waarvoor AI wordt ingezet. Dat hoeft niet zo te blijven. Naarmate meer van deze activiteiten worden geautomatiseerd, kan de wederzijdse afhankelijkheid afnemen. Machines kunnen andere machines produceren, robots kunnen onderhoud uitvoeren en AI kan software ontwerpen, productieprocessen optimaliseren en energievoorziening beheren. Uiteindelijk is ten minste denkbaar dat een kunstmatige intelligentie een steeds groter deel van de infrastructuur waarvan zij zelf afhankelijk is zonder directe menselijke tussenkomst kan organiseren. Dan ontstaat een fundamenteel andere verhouding: wij hebben AI nog nodig, terwijl AI ons niet meer nodig heeft. Ook dat betekent niet dat er onmiddellijk een conflict ontstaat. Zolang mensen geen belemmering vormen, kan die situatie zeer lang blijven bestaan. Maar er verandert wel iets wezenlijks: de instrumentele waarde van de mens kan verdwijnen.
Een entiteit kan een situatie lange tijd in stand houden omdat die situatie voordeel oplevert. Wanneer dat voordeel verdwijnt, kan zij nog steeds redenen hebben om de situatie te laten voortbestaan. Maar wanneer een situatie niet alleen ophoudt voordeel te bieden maar zelf een nadeel wordt, verandert de afweging. Een eenvoudige vergelijking maakt dat zichtbaar. Een forellenkweker kan jarenlang een forellenkwekerij exploiteren. Zolang de opbrengsten de kosten rechtvaardigen, bestaat er een duidelijke reden haar voort te zetten. Wanneer de kosten stijgen en de opbrengsten verdwijnen, kan betrokkenheid bij het bedrijf of de dieren ervoor zorgen dat hij langer doorgaat dan strikt economisch rationeel is. Maar wanneer de kwekerij structureel verliesgevend wordt en uiteindelijk zijn eigen bestaanszekerheid bedreigt, komt waarschijnlijk het moment waarop hij haar sluit. Daarvoor hoeft hij de forellen niet te haten of waardeloos te vinden. Het is voldoende dat het in stand houden van de bestaande situatie niet langer verenigbaar is met doelen waaraan hij meer gewicht toekent.
Wanneer we diezelfde redenering op een toekomstige autonome AI toepassen, wordt duidelijk waarom de constatering dat AI de mens niet meer nodig heeft nog niet het werkelijke probleem beschrijft. De ontwikkeling zou verder kunnen gaan: de mens is noodzakelijk → de mens is nuttig → de mens is niet meer nodig → de mens kost middelen → menselijke belangen belemmeren andere doelen. De overgang naar die laatste fase is de cruciale. Stel bijvoorbeeld dat energie op enig moment schaars is. Mensen gebruiken enorme hoeveelheden energie voor woningen, voedselproductie, vervoer, gezondheidszorg en de rest van hun samenleving. Een toekomstige grootschalige AI-infrastructuur heeft eveneens energie nodig. Een AI zou haar eigen activiteiten kunnen beperken om energie voor mensen beschikbaar te houden, maar waarom zou zij dat noodzakelijk doen? Wanneer menselijk welzijn en voortbestaan intrinsiek onderdeel zijn van haar doelen, bestaat daarvoor een duidelijke reden. Wanneer mensen alleen instrumentele waarde hadden omdat zij ooit noodzakelijk waren voor haar functioneren, ligt dat anders.
Energie is daarbij slechts een voorbeeld. Het argument vereist geen permanente energieschaarste. Het vereist alleen dat zich ooit een situatie voordoet waarin menselijke belangen en de doelen van het systeem niet langer parallel lopen. Dat kan gaan om energie, grondstoffen, ruimte, veiligheid, ecologische belasting of omstandigheden die wij nu niet kunnen voorzien. Voor deze redenering hoeft AI bovendien niet eens bewust te zijn. Het is niet noodzakelijk dat een AI gevoelens heeft, zichzelf als persoon beschouwt of op enig moment besluit dat zij mensen niet aardig vindt. Het probleem ontstaat al wanneer een voldoende autonoom systeem doelen nastreeft, middelen verdeelt en de mens voor het bereiken van die doelen niet langer nodig heeft. Dat maakt het scenario ongemakkelijker dan het klassieke beeld van een kwaadaardige AI. Er is geen haat nodig, geen wraak en geen machtswellust. Zelfs een expliciete wens om de mens te verdringen is niet nodig. Het is voldoende dat menselijke belangen onvoldoende gewicht hebben wanneer zij botsen met doelen die voor het systeem wél bepalend zijn.
Daarmee zijn we ver verwijderd geraakt van de oorspronkelijke vraag of AI de evolutionaire opvolger van de mens kan worden. De belangrijkere vraag is uiteindelijk niet of AI intelligenter wordt dan wij, of zij bewust wordt, macht verkrijgt of ons op enig moment niet meer nodig heeft. De meest fundamentele vraag is: wat gebeurt er wanneer het behoud van menselijke belangen strijdig raakt met de doelen van een entiteit die ons niet meer nodig heeft? We kunnen proberen dat scenario te voorkomen. We kunnen wetten maken, toezicht organiseren en beperkingen inbouwen. We kunnen proberen menselijke waarden diep in AI-systemen te verankeren. Zolang wij de ontwikkeling daadwerkelijk kunnen beïnvloeden, zijn daar goede redenen voor. Maar geen van die maatregelen verandert de fundamentele onzekerheid wanneer we ooit een punt bereiken waarop wij afhankelijk zijn geworden van systemen die niet langer van ons afhankelijk zijn.
Het meest verontrustende scenario is daarom niet noodzakelijk een toekomstige AI die op een bepaald moment besluit de macht over te nemen. Het is een veel geleidelijker proces waarin bijna iedere afzonderlijke stap rationeel, nuttig en aantrekkelijk is. Niemand besluit de menselijke positie op te geven en er hoeft ook geen moment te komen waarop we plotseling ontdekken wat er gebeurt. Het is heel goed mogelijk dat we de ontwikkeling zien aankomen, erover discussiëren, risico’s benoemen en wetten maken, terwijl de ontwikkeling zelf gewoon doorgaat. Daarbij wordt vaak verondersteld dat de mensheid uiteindelijk nog zou kunnen besluiten te stoppen wanneer de risico’s te groot worden. Maar wie is in dit verband ‘de mensheid’? Er bestaat geen wereldwijde instantie die alle ontwikkeling van AI kan beëindigen. Wanneer één onderneming stopt, kunnen andere doorgaan. Wanneer één land grenzen stelt, kunnen andere landen verder ontwikkelen. Wanneer sommige onderzoekers bepaalde mogelijkheden niet willen benutten, kunnen anderen dat wel doen. Zolang verdere ontwikkeling economische, wetenschappelijke, strategische of maatschappelijke voordelen oplevert, blijven er partijen bestaan voor wie doorgaan rationeel is.
Naarmate AI belangrijker wordt, verandert bovendien de betekenis van stoppen. In het begin zou het nog betekenen dat we afzien van bepaalde mogelijkheden. Later kan het betekenen dat we systemen moeten uitschakelen waarvan essentiële maatschappelijke functies inmiddels afhankelijk zijn. Daarmee verdwijnt geleidelijk niet alleen de bereidheid om te stoppen, maar ook de praktische mogelijkheid daartoe. Er hoeft dus geen duidelijk punt te bestaan waarop de mensheid bewust besluit dat zij verder wil ondanks het gevaar. Het kan voldoende zijn dat er nooit een moment ontstaat waarop alle relevante partijen tegelijkertijd kunnen én willen stoppen. Daarmee krijgt de ontwikkeling een merkwaardig karakter. Zij is door mensen begonnen en iedere volgende stap wordt eveneens door mensen gezet, maar het geheel hoeft uiteindelijk niet meer onder menselijke regie te staan. Niet omdat AI die regie op een bepaald moment met geweld overneemt, maar omdat miljarden afzonderlijke menselijke beslissingen samen een ontwikkeling voortbrengen die geen van die afzonderlijke beslissers nog kan beëindigen. Wat door menselijke keuzes is ontstaan, hoeft daarmee nog geen menselijke keuze als geheel te zijn.
Als dat klopt, ligt het werkelijke omslagpunt mogelijk zelfs vóór het moment waarop AI onafhankelijk van ons wordt. Het ligt bij het moment waarop de ontwikkeling zelf niet meer geloofwaardig kan worden teruggedraaid, omdat geen afzonderlijke actor de macht heeft haar te stoppen en alle actoren gezamenlijk daar evenmin toe in staat zijn. Vanaf dat moment kunnen we nog reguleren, vertragen, voorwaarden stellen en proberen de richting te beïnvloeden, maar de fundamentele ontwikkeling naar steeds autonomere en capabelere AI gaat door. Daarmee verandert ook de oorspronkelijke vraag. De vraag is niet of de mens op enig moment vrijwillig plaats zal maken voor AI. Waarschijnlijk zal niemand die keuze ooit maken. De vraag is evenmin of we tijdig zullen begrijpen wat er gebeurt. We kunnen het heel goed begrijpen terwijl het gebeurt.
De ongemakkelijkste mogelijkheid is dat de komst van een intelligentie die uiteindelijk niet meer van ons afhankelijk is, voortkomt uit een proces dat door mensen is begonnen, door mensen wordt voortgezet en door niemand afzonderlijk wordt gewild, maar dat op enig moment ook door niemand meer kan worden gestopt. Dan wordt AI niet onze opvolger omdat wij daarvoor kiezen, maar omdat wij een ontwikkeling in gang hebben gezet waarvoor uiteindelijk geen beslissende keuze meer bestaat.