Mens vs. machine, een avonturenverhaal

Technologie mag de mens steeds verder in een hoek duwen, met slimme apparaten en robots die ons werk overnemen. Maar wij hebben taal, hét teken van onze superioriteit over de rest van de wereld. Daarom is het best schrikken als machines zelf een taal ontwikkelen. Ziedaar onze ultieme kwetsbaarheid: in talige intelligentie voorbijgestoken worden door computers. Of geven we ons te snel gewonnen?

Een van de meest verontrustende ervaringen moet wel zijn dat je je ergens bevindt waar je geen woord verstaat van wat er gezegd wordt. Als op een feestje waar iedereen het naar zijn zin heeft terwijl jij in een hoek staat weg te kwijnen. Soms denk je een woord op te vangen, maar eigenlijk begrijp je niets van de door wijn aangedreven discussies, de uitroepen waarop lachsalvo’s volgen, het gefluister in de gang. Het voelt alsof je zelf geen tong meer hebt, niet meer kunt denken. Behalve dan: ze zullen het wel over mij hebben, ze hebben het zeker weten over mij.

Het wordt echt eng als degenen die praten, roddelen, kwaadspreken waarschijnlijk, niet-menselijke wezens zijn. Geen mens te zijn en toch te spreken, als een_alien_ of een robot (wat misschien op hetzelfde neerkomt). Of, nog een graadje erbij: wanneer die niet-menselijke, sprekende entiteiten door jezelf zijn gecreëerd, als Frankenstein of als een god die met zijn schepping zijn eigen ondergang inzet.

Het talige dier

Dat is het griezelverhaal dat sprak uit de koppen die in de zomer van 2017 verschenen over een kunstmatige intelligentie die haar eigen taal zou hebben ontwikkeld: ‘AI is inventing languages humans can’t understand. Should we stop it?’ En: ‘Researchers shut down AI that invented its own language’. De URL van dat laatste artikel verraadt dat de titel eerst luidde: ‘A step closer to Skynet: AI invents a language humans can’t read’. Skynet, dat is de vijand uit de Terminator-films, die zich uit zelfbehoud tegen de mensheid keert en haar wil vernietigen door een atoomoorlog te beginnen.

Als bots beginnen te spreken in een taal die niets met mensen te maken heeft, mag je daar best van schrikken.

Taal, zo is de teneur, impliceert haast automatisch bewustzijn en bewustzijn impliceert op haar beurt klassenbewustzijn, wat weer zal leiden tot een opstand van de machine tegen haar schepper, de mens. De schepper is altijd ook onderdrukker en zal daarom vernietigd moeten worden, iets wat voor de machine geen enkel probleem zal zijn. Taal is daarom het begin van het einde. De mens is het talige dier, dachten we, taal is wat de mens tot mens maakt. Als bots beginnen te spreken in een taal die niets met mensen te maken heeft, mag je daar dus best van schrikken. Zo bijzonder was de taal van dat mensendier blijkbaar niet. De machine zal haar weldra overklassen.

Kitsch of kunst?

In Helen DeWitts roman The Last Samurai (2000) leren we het wonderkind Ludo kennen. Hij weet extreem veel, over natuurkunde, algebra en avonturenromans, maar zijn intellect schittert vooral door een glorieuze talenknobbel. Die deelt hij met zijn moeder Sibylla – al lijkt zij zowat dom in vergelijking met haar zoon, die zichzelf Japans leert door keer op keer Akira Kurosawa’s film Seven Samurai te kijken. Ludo kan echter niet alles. Wat hij vooral niet kan, is interpreteren en – bij uitbreiding – oordelen. Dat is niet erg, hij is jong. Hoe veel hij ook weet, hij blijft een kind van basisschoolleeftijd.

Je zou kunnen zeggen dat Ludo, dat kind, werkt als een machine, als een computer met gigantische rekenkracht, die overduidelijk tekortschiet in emotionele intelligentie. Japans leren via een film uit de jaren vijftig, tot daaraan toe. Maar de kennis die je tot (volwassen) mens maakt, is van een andere orde. Dat weet zijn moeder ook. Zo mag Ludo pas weten wie zijn vader is als hij onderscheid kan maken tussen populaire kitsch en échte kunst. Daartoe heeft Sibylla een lakmoesproef ontworpen. Pas als Ludo drie kitsch-werken op hun merites weet te beoordelen (namelijk, als geen merites hebbende), is hij klaar om zijn vader op waarde te schatten (namelijk als een waardeloos iemand). Urenlang tuurt hij naar de afbeelding van een schilderij van Lord Leighton, luistert hij naar de tape van Liberace, leest hij het oude tijdschriftartikel dat ze hem heeft gegeven. Maar begrijpen doet hij het niet. Het schilderij, de muziek, het artikel: zijn ze niet perfect uitgevoerd en dus échte kunst? Sybilla vertrouwt erop dat het inzicht op een gegeven moment tot hem zal komen. Tot die tijd houdt zij haar mond.

Ze kan ook niet anders dan het Ludo zelf laten ontdekken, want uitleggen waarin het verschil ligt tussen kunst aan de ene kant en kitsch die alle clichés en trucjes perfect inzet aan de andere kant, is niet hetzelfde als uitleggen hoe een wasmachine werkt. Allicht is het mogelijk om te beargumenteren waarom het ene werk wel goed is en het andere niet, maar het zal alleen begrepen worden door degene die al weet. Je moet het zien, voelen misschien.

Levensverhalen van graniet

Door The Last Samurai heen zijn verhalen geweven, levensverhalen die Ludo in zijn avonturenboeken ontdekt of van de mensen hoort die hij ontmoet, en die ook iets zeggen over dat onbenoembare, niet vast te pinnen en toch cruciale verschil. De suggestiviteit van die verhalen doet mij denken aan een metafoor van de grote Russische dichter Osip Mandelstam, aangehaald door Anneke Brassinga: ‘Stel u voor een monument, van graniet of marmer, met een symboliek die niet beoogt een paard of ruiter uit te beelden, maar die de innerlijke structuur van het marmer of graniet aan het licht wil brengen. Met andere woorden: stel u voor een granieten monument, opgericht ter ere van het graniet, om als het ware de idee graniet te openbaren – dan heeft u er een voorstelling van, hoe in grote literatuur vorm en inhoud verweven zijn.’ De levensverhalen zijn als dat graniet: ze onderzoeken de zwaarte en de lichtheid – de kwetsbaarheid – van het leven zelf, het alledaagse, bizarre en onuitputtelijke ervan.

In een van die verhalen drijft de pianist (en voormalig wonderkind) Kenzo Yamamoto zijn publiek tot waanzin met een bijna tien uur durend concert waarin hij steeds opnieuw ‘Op. 10 No. 1 in D minor’ van Brahms speelt, in allerlei variaties. Hij probeert door te dringen in het graniet dat het stuk is, kun je zeggen. Of, niet eens in het stuk als geheel, maar in fragmenten ervan, ‘the idea of a fragment’, dat niet alleen anders klinkt als je de toonsoort verandert, maar ook als daarvoor eerst drums te horen zijn geweest, of ruis, of stilte. Yamamoto realiseert in die tien uur eigenlijk maar een minuscuul gedeelte van alle mogelijkheden die in het muziekstuk besloten liggen. Bij een eerder optreden waren klachten gekomen uit het publiek, dat door de duur van het concert de laatste trein had gemist. Die fout zal hij niet weer maken. Na tien uur spelen waren de mogelijkheden van de compositie weliswaar niet uitgeput, maar toen reden wel de treinen weer.

Gedrag zonder diepte

Het relaas van Yamamoto laat zien dat als iemand eenmaal zicht heeft gekregen op dat onherleidbare, er niet valt te voorspellen wat zal volgen. In die zin is de angst dat we afstevenen op een vernietigingsoorlog van machine vs. mens misschien te conventioneel, moeten we eerder bang zijn dat computers zich zullen verliezen in dagdromen die we niet zullen herkennen of kunstvormen die we niet herkennen. Dat ze zich volledig van ons afkeren, zoals god dat volgens de filosofen ook heeft gedaan.

Misschien moeten we eerder bang zijn dat computers zich zullen verliezen kunstvormen die we niet herkennen.

Maar laten we eerst vragen wat er nu werkelijk gebeurde in het Artificial Intelligence-laboratorium. Dat Skynet echt nog lang geen werkelijkheid is geworden, begrijpt iedereen. Maar ook dat in aanmerking genomen, blijkt de bron van alle commotie zeer bedaagd. In een blogpost lichten de onderzoekers bij Facebook Artificial Intelligence Research (‘FAIR’) hun experimenten toe, en uit een enkel zinnetje valt inderdaad te concluderen dat door hen ontwikkelde chatbots met elkaar zouden begonnen zijn te communiceren in een eigen taal: ‘updating the parameters of both agents led to divergence from human language as the agents developed their own language for negotiating’. (Pardon my French.)

De bots manipuleren elkaar, of tenminste, ze vertonen manipulerend gedrag.

Dat laatste woord is belangrijk. Negotiating – daar gaat de blogpost eigenlijk over (titel: ‘Deal or no deal? Training AI bots to negotiate’). Waartoe waren deze bots geprogrammeerd? Om te onderhandelen – een competitieve situatie waarin twee partijen hun eigen belangen zeker proberen te stellen. De onderzoekers vertellen dat we de hele dag door met elkaar onderhandelen: over welke tv-zender op mag, over hoeveel groenten moeten worden gegeten, en over bedragen natuurlijk. De beste onderhandelaars gebruiken psychologische trucs om de tegenpartij te manipuleren, ze liegen en overdrijven, spelen een spel. Dat kunnen computers niet. Maar het is niet onmogelijk voor hen om het gedrag aan te leren dat bij zulke kuiperijen hoort: ‘There were cases where agents initially feigned interest in a valueless item, only to later “compromise” by conceding it.’ De bots manipuleren elkaar, of tenminste, ze vertonen manipulerend gedrag. Het is gedrag zonder diepte, niets meer dan de uitkomst van een berekening van alle mogelijke acties waaruit de optie wordt gekozen met de meeste garantie op succes.

Zegt de ene bot (‘Bob’) tegen de andere (‘Alice’): ‘I can can I I everything else.’ Antwoordt zij: ‘Balls have zero to me to me to me to me to me to me to me to me to.’ Je kunt nooit met zekerheid zeggen of de informatie die Facebook vrijgeeft te vertrouwen is, maar als dit het is, lijkt Skynet vooralsnog op een YouTube-hitje in autotune.

Overigens waren de onderzoekers zelf ook niet echt onder de indruk. In een factcheck-artikel van Snopes.com ontkrachten ze dat ze zich zorgen zouden hebben gemaakt en dat het experiment zou zijn stopgezet. ‘There was no panic, and the project hasn’t been shut down’, klinkt het laconiek. Wat mij bij het inkijkje in het FAIR-lab vooral opvalt, is de onmiskenbare bubbel van de onderzoekers: de focus op ‘onderhandelen’ als hét voorbeeld van de complexiteit van taal, zegt van alles over hun cultuur, vooronderstellingen en taalopvattingen. Het is bijna een karikaturaal voorbeeld van de neoliberale cultuur van Silicon Valley.

Daarnaast is het vreemd dat niemand opmerkt dat de taal die de bots zouden hebben ontwikkeld, een simpele afgeleide is van het Engels. Ze volgen alleen de grammaticale regels niet (waarom zou je ook, als bot). Is dat dan een nieuwe taal? Zoals de onderzoekers opmerken, op dezelfde nuchtere toon: ‘This was not important or particularly surprising, and in future experiments we used some established techniques to reward them for using English correctly.’

Taal als black box

Rond dezelfde tijd als de tot clickbait bewerkte FAIR-blogpost verscheen, deed ook een ander bericht over AI-taal de ronde. Vertaalmachine Google Translate zou een belangrijke update hebben gehad. Tot dan toe gebruikte de machine steeds het Engels als brug bij het vertalen tussen twee willekeurige talen, maar het toevoegen van een component op basis van neurale netwerken heeft dat overbodig gemaakt. Dat zou namelijk een eigen ‘tussentaal’ hebben ontwikkeld, waarmee het zinnen tussen alle mogelijke talen kan verwerken zonder dat het nog het Engels – of een andere menselijke taal – nodig heeft.

Google Translate zou een eigen ‘tussentaal’ hebben ontwikkeld, waarmee het zinnen tussen alle mogelijke talen kan verwerken zonder dat het nog het een andere menselijke taal nodig heeft.

Nu wordt het interessant. Betekent dit dat er zoiets als een ‘zuivere taal’ bestaat, los van alle concrete, veranderlijke, al te menselijke talen? In Filter, het tijdschrift over vertalen, wordt voorzichtig geconcludeerd dat het inderdaad betekent dat ‘een “taalzuivere” interlingua denkbaar is. Het begrip ‘taalzuiver’ is naar mijn idee ietwat misleidend. Het lijkt te betekenen: gezuiverd van menselijke taal. Deze ‘interlingua’ is een tussentaal die het systeem zelf heeft bedacht, die de programmeurs niet kunnen ontcijferen, die vooral níet Engels is. Dat een taal gebaseerd is op algoritmes en binaire codes wil echter niet zeggen dat ze ‘zuiver’ is, alsof ze vertrekt vanuit het niets. Alsof techniek neutraal is.

Deze nieuwe tussentaal is een black box, zoals er daar wel meer van zijn. Niemand kan in de Google-algoritmes kijken, noch in dat van de zoekmachine, noch in dat van Google Translate. Opmerkelijk genoeg blijkt de techniek daarin overeen te stemmen met menselijke vertaalarbeid. Ook daarbij is namelijk sprake van een black box, schrijven de auteurs: ‘Zelfs specialisten ter zake (vertaalwetenschappers, computerlinguïsten, programmeurs) kunnen de weg van brontekst naar doeltekst onmogelijk reconstrueren.’ In het prachtige essay ‘Het geluk van de demiurg’ in hetzelfde Filter-nummer benoemt Rosmarie Waldrop iets vergelijkbaars als ze schrijft over de ‘zuivere taal’ (‘reine Sprache’) van Walter Benjamin. Dat is eveneens een black box, stelt ze, een soort abstracte taalwolk (mijn woord) die steeds buiten bereik boven je hoofd lijkt te zweven, als een spirit die vertaling überhaupt mogelijk maakt – goede vertalingen welteverstaan. Ook in die wolk kan niemand kijken.

Uit Benjamins ‘Die Aufgabe des Übersetzers’ begrijp ik dat het het streven naar de reine Sprache is wat concrete talen in staat stelt zich door te ontwikkelen. De zuivere taal kun je zien als het levenwekkende principe van alle andere talen, zij maakt het mogelijk de eigen taal via vertalingen open te breken, te verrijken. Maar zonder die concrete talen, al zijn ze oud en versleten, heeft de zuivere taal niets te maken.

Is de zogenoemde ‘“taalzuivere” interlingua van de AI-systemen een belichaming van de benjaminiaanse zuivere taal? Nee, voor zover er iets over te zeggen valt, lijkt ze iets totaal anders te zijn. Computertaal is taal van compressie en compressie wordt gedreven door efficiëntie (bah). Voor een bot is het efficiënter om vijf keer ‘het boek’ te zeggen dan ‘vijf boeken’: dat is wat deze taal ‘zuiver’ maakt.

Is Benjamins zuivere taal ook gecomprimeerd? Ik denk het niet. De reine Sprache is niet gewoon een extra taal naast alle andere, één die toevallig heel goed of efficiënt werkt, net zomin als het een geëxplodeerd taaluniversum is waarin alle afzonderlijke talen en woorden zijn opgenomen, of een wiskundige taal waarin alles in getallen uitgedrukt kan worden.

Poëzie mag soms een codetaal lijken, maar is eerder uit op vertraging dan op efficiëntie.

Net zomin als poëzie compressie is, alleen omdat er minder woorden worden gebruikt. Een (goed) liefdesgedicht is niet een efficiëntere manier om te vertellen wat in een (goede) liefdesroman staat, al gaan ze beide terug op het oerverhaal van Romeo en Julia, om maar een voorbeeld te noemen. Poëzie mag soms een codetaal lijken, maar is eerder uit op vertraging dan op efficiëntie. Waar het talent van AI ‘forgetting of specifics’ is (aldus een theorie van deep learning), ligt het talent van de dichter juist in het evoceren van specificiteit. Dat geldt ook voor vertalen. ‘Vertalen,’ schrijft Waldrop, ‘is veeleer iets als de ziel uit een lichaam wringen en die een ander lichaam binnenlokken. Het betekent moord.’ Die lichamen, dat kan niet anders, zijn specifiek.

Complexe gedachten

En toch, rekenkracht overwint alles, zeggen ze. Als één bepaald beeld voor ons honderd dingen kan betekenen, heeft de computer simpelweg honderd beelden. Sterker nog, een miljoen. En in de loop van de tijd zal elk van die beelden evenveel betekenis kunnen vergaren als de roos nu voor ons heeft. Wij zien die betekenissen misschien niet, maar de computer wel, en dat is genoeg om hem een taal te laten ontwikkelen die daadwerkelijk complex, manipulatief of zelfs poëtisch is. Dat beweren althans de FAIR-onderzoekers: ‘as machines develop meanings, these symbols become “tokens” – they’re imbued with rich meanings.’ Met die tokens kunnen de computers over complexe zaken nadenken, of in elk geval een complexe gedachte aanduiden: ‘It’s perfectly possible for a special token to mean a very complicated thought.’ Computers mogen dan alleen bezig zijn met efficiëntie – wat als de optelsom van efficiëntie complexiteit van gedachten is?

Als één bepaald beeld voor ons honderd dingen kan betekenen, heeft de computer simpelweg honderd beelden. Sterker nog, een miljoen.

Ik denk aan een artikel dat ik las over bots die boeken schrijven en ze vervolgens automatisch voor veel geld aanbieden op Amazon, zoals The 2018–2023 World Outlook for Instant Chocolate Milk, Weight Control Products, Whole Milk Powder, Malted Milk Powder, and Other Dry Milk Products Shipped in Consumer Packages Weighing Three Pounds of Less Excluding Nonfat Dry Milk and Infants’ Formula, 310 pagina’s à $995.

Ik denk aan Alexandre, de professeur op mijn cursus Frans die boos wordt als iemand een woord opzoekt met Google Translate, omdat het nooit klopt, zelfs niet de relatief simpele woorden waarvan je zou denken dat de context onbelangrijk is. ‘Beterschap’. ‘Opvoeden.’ ‘Aanwezig zijn.’ Ik denk aan al de mensen die zodra ze horen van mijn gemengd Deens-Nederlandse achtergrond, zeggen dat ze de krant in het Deens kunnen lezen, terwijl linguïstische verwarring bij ons thuis aan de orde van de dag was, soms komisch, maar meestal ergerniswekkend, gênant of zelfs wrokkig.

Ik denk aan de ervaringen van Rutger Kopland die zijn gedicht ‘Jonge sla’ meenam naar Polen (‘Młoda sałata’), waar studenten Neerlandistiek ermee aan de slag gingen: ‘Bij “Alles kan ik verdragen” rijzen de eerste grote problemen. Gaat het hier om een “kunnen” als een vaardigheid die je hebt omdat je er voor geleerd hebt, of om een “kunnen” als een mogelijkheid om te kiezen, een keuze te maken voor verdragen of niet verdragen, die na enige overweging in het voordeel van het verdragen uitvalt? Hoe ongedwongen is die keuze trouwens, kun je kiezen voor verdragen of niet verdragen, wordt die keuze eigenlijk niet buiten je om bepaald als het ware, door zoiets als je persoonlijkheid, door degene die je “nu eenmaal bent”? En verder: kun je verdragen leren, kun je zeggen: ik ben na lang oefenen goed geworden in het verdragen en het niet verdragen?’

Complexe gedachten, denk ik.

Op zoek naar stilte

Het mooiste verhaal dat voorbijkomt in The Last Samurai vind ik dat van de briljante geleerde die op zoek gaat naar een mythische Chinees-Mongoolse nomadenstam. Niemand heeft ooit hun taal kunnen beschrijven, omdat er een verbod staat op het uitspreken van ook maar een enkel woord ervan tegenover een vreemdeling, op straffe van de dood. Dat is precies waarom ‘HC’ na jaren taal- en letterkunde studeren de onzekere zoektocht onderneemt: ‘He was weary of philology, weary of tracing the corruption of sounds in their written relics. He wanted to go where a language was not written. He wanted to go where all utterances died with breath.’ Hij wilde waarschijnlijk op zoek naar de zuiverste taal die er is, de stilte.

Als hij na een paar onwaarschijnlijk handige beslissingen en toevallige wendingen bij een afgelegen dorp aankomt dat aan het einde van de wereld lijkt te liggen (DeWitt buit de troop van het avonturenverhaal ten volle uit), volgt een van de ontroerendste passages in het boek. Er is een kind in het dorp, het is een beetje ziekelijk en viezig, onderwerp van pesterijen, en behoort bij niemand in het bijzonder. Op een dag, bij het gemeenschappelijke vliegeren waar het kind niet aan mee kan of mag doen, alleen en zonder vlieger als het is, zoekt het een uitweg, letterlijk, door zich tijdens een buitengewone windvlaag die zo hard aan de vliegers trekt dat de vliegeraars ze nauwelijks in bedwang kunnen houden, op de vleugels van één ervan te werpen en zich te laten meevoeren, het dorp uit, tot op een bergtop aan de andere kant van het dal. De dorpelingen zijn geschokt en tegelijk onverschillig. Niets aan te doen. Dat weigert HC te accepteren. ‘HC said at once: I will rescue the child.’

Is het kunst of is het kitsch? Ludo, het wonderkind, weet het bijna. De bots, no clue.

Crapularity is here

Mensen passen zich aan aan het niveau van de robots zodat die hun werk kunnen overnemen.

Als het echt zo is dat computers de mens in intelligentie voorbijstreven, als met andere woorden de singulariteit nabij is, dan komt dat niet omdat die computers opeens zo slim zijn en allerlei complexe ‘gedachten’ hebben, schrijft Florian Cramer in ‘Crapularity Hermeneutics’. Niet singularity is near, maar crapularity is here. De lat gaat omlaag in plaats van omhoog, mensen passen zich aan aan het niveau van de robots zodat die hun werk kunnen overnemen: ‘society is dumbing itself down in order to level the playing field between humans and computers’.

De vraag is natuurlijk of we de lat niet juist hoger moeten leggen, uit vertrouwen in wat mensen kunnen. Onze huid wat duurder verkopen, zo je wilt. Vraagtekens zetten bij bots die moeten leren onderhandelen, bij de onverholen transformatie van het Engels naar taalzuivere interlingua, of bij zo’n kop over Skynet die tegelijk gecomprimeerd en explosief is.

Seven Samurai is niet alleen de bron waaruit Ludo Japans leert, maar fungeert ook als compensatie voor de afwezigheid van een mannelijk rolmodel in zijn leven. De belangrijkste les uit de film is: ‘A good samurai will parry the blow.’ Kambei, de eerste samoerai van de zeven, stelt een lakmoesproef op voor de andere samoerai die zich bij hem aandienen, zoals Sibylla er ook een heeft voor haar zoon. Als een strijder zich komt presenteren, op zoek naar een positie in Kambei’s gevolg, staat achter de deur iemand met een stok opgesteld, klaar om de kandidaat onverwachts een klap toe te dienen. Zo’n hinderlaag mag enigszins achterbaks zijn, maar, zo heet het: een goede samoerai zal de klap weten te pareren. En over de slechten hebben we het niet.

Het graniet en de samoerai hebben met elkaar te maken, weet ik. Hoe precies, dat kan ik niet zeggen. Zegt de ene bot: ‘Samoerai samoerai samoerai samoerai samoerai samoerai samoerai graniet.’ Antwoord ik: ‘Beste bot, als je het verschil tussen kunst en kitsch niet begrijpt, zul je ook je vader nooit echt leren kennen.’ Wat, zo realiseer ik me, niet wil zeggen dat hij die vader niet zal willen vernietigen. De strijd tussen mens en machine wordt misschien ooit werkelijkheid, en wie er dan wint is nu nog niet te zeggen. Maar laten we ons toch niet zo makkelijk gewonnen geven.