Meester als slaaf | Wat automatisering met ons doet

Begin november botsten in de omgeving van Brussel twee treinen op elkaar die allebei waren voorzien van een uitgekiend automatisch remsysteem dat botsingen onmogelijk moest maken. Onderzoekers stonden voor een raadsel, tot ze inzagen dat bladeren op de rails het onheil hadden veroorzaakt.

Automatisering en software zijn mensenwerk en bijgevolg feilbaar. Ook de geavanceerdste technologie, stelt Nicholas Carr (1959) in De glazen kooi, zal het vroeg of laat laten afweten, door een samenloop van omstandigheden op iets stuiten wat de ontwerpers niet hadden voorzien (herfstbladeren), of hun algoritmes niet aankunnen (een vlucht ganzen die een vliegtuiglanding doorkruist).

Carr, een gerenommeerd Amerikaans journalist, schrijft boeiende boeken over technologie en cultuur, zoals het succesrijke Het ondiepe, dat onderzoekt wat internet doet met ons brein. Ook De glazen kooi is een echte aanrader. Daarin belicht Carr veel sociale en persoonlijke gevolgen van onze toenemende afhankelijkheid van computers. De titel verwijst naar de cockpit van moderne vliegtuigen die niet langer door piloten worden bestuurd, op een paar minuten bij het opstijgen en landen na. Zelfs geen automatische piloot meer, het tuig vliegt ‘vanzelf’.

De mens wordt stukje bij beetje ook in andere, ooit hooggeschatte beroepen uitgeschakeld. Medici laten zich bij diagnose en remedie steeds meer leiden door computerprogramma’s die ook rekening houden met de belangen van farmaceutische firma’s en verzekeringsmaatschappijen.

Specialisten verworden tot waakhonden van automatische systemen. Maar mensen zijn, met hun tot afdwalen geneigde geest, niet bepaald geschikt voor het passief in de gaten houden van beeldschermen. Ze raken verveeld, beginnen te dagdromen, de concentratie neemt af, terwijl bij bijna perfecte computerprogramma’s juist meer waakzaamheid geboden is, gezien de zeldzaamheid van afwijkingen.

Ook bij de oorlogsvoering wordt de mens, de zwakste schakel in het systeem, stilaan overbodig. Computerbestuurde moordmachines zijn al geruime tijd mogelijk. Lethal autonomous robots hebben geen last van stress, depressie of adrenalinestoten, martelen of verkrachten niet. Maar nog belangrijker: ze voorkomen verwonding of dood van soldaten. De druk om ze in te zetten zal dan ook toenemen.

Een schim van de wereld

Technologie vergroot het bereik van de mens, breidt zijn natuurlijke mogelijkheden uit met culturele. Automatisering heeft onze levens eenvoudiger, makkelijker en aangenamer gemaakt. Maar technologie evolueert sneller dan de mens en is ook niet altijd even goed op hem afgestemd. Telkens weer moeten we ons aanpassen en zonder dat we het goed beseffen verandert onze kijk op de wereld, op anderen en onszelf.

De vele apparaten en apps bieden welkome afleiding, maar verstrooien ook. Ons brein is niet in staat om geconcentreerd met veel tegelijk bezig te zijn. Elke blik of veeg op de smartphone leidt de aandacht af van de directe omgeving en tastbare medemens. Met vaak kwalijke gevolgen in echt en sociaal verkeer. Het gebruik van mobiele telefoons bijvoorbeeld, vergroot het risico op auto-ongevallen liefst 23 keer, zoals De Standaard afgelopen zomer meldde. In 2012 was het goed voor één op de vier ongevallen op Amerikaanse wegen.

Toch, denk ik, moet het voor technologiereuzen en autoproducenten een fluitje van een cent zijn om software te ontwikkelen die het gebruik van mobiele telefoons al rijdend onmogelijk maakt, zoals het ook mogelijk is om auto’s en wegen van software te voorzien die de snelheid beperkt tot wat op een bepaalde weg toegelaten is.

De negatieve gevolgen nemen velen er omwille van het gebruikersgemak zonder morren bij. Maar weinigen realiseren zich dat automatisering ook ons denken en handelen verandert, een tol eist van ons werk, onze talenten en ons leven.

Elk netwerk, of het nu om transport, energie of communicatie gaat, verandert het karakter van de samenleving in min of meerdere mate. Tempo, structuur en waarde van werk, vrije tijd, gemeenschap en gezin worden erdoor beïnvloed. In de voorbije decennia heeft de samenleving zich razendsnel aangepast aan de wereldwijde computerinfrastructuur, veel sneller dan ooit aan het elektriciteitsnet. Een groot deel van onze openbare en persoonlijke gesprekken heeft zich naar kleine schermpjes verplaatst. Onze levens zijn programmatischer, stressvoller en ‘autistischer’ geworden. Mark Zuckerberg, bedenker van Facebook, verkondigt nu al dat we maar één identiteit meer hebben, een en dezelfde persoon zijn voor vrienden, collega’s en bekenden.

Lust zonder arbeid

In zijn Politica had Aristoteles het over slaven als bezielde en gereedschappen als onbezielde instrumenten, beide in dienst van de meester des huizes. Lang voor de opkomst van computers, robots en kunstmatige intelligentie opperde de Griekse filosoof dat als men er in zou slagen gereedschappen te bezielen, ze probleemloos het werk van mensenslaven konden overnemen.

De droom dat machines de mens van alle arbeid zullen bevrijden heeft ons nooit verlaten, van de communistische revolutionair Karl Marx tot de kapitalistische John Maynard Keynes. Deze laatste voorspelde in 1930 dat de technologische vooruitgang ons tegen 2030 bevrijd moet hebben van de strijd om het bestaan en we in een toestand van economische gelukzaligheid zullen leven. Nog enkele jaartjes geduld dus.

Computers evolueren razendsnel. Ze worden steeds kleiner, flexibeler, vernuftiger en handiger. Verhuizen van bureau naar broekzak. Ondertussen kunnen ze ook autorijden, medische diagnoses stellen, gebouwen ontwerpen, juridische knopen ontwarren, onderwijzen, examens verbeteren. Ons letterlijk en figuurlijk de weg wijzen.

The sky is the limit. Filosofen, technofielen, economen en bedrijfsleiders die automatisering zien als de hoeksteen van alle vooruitgang, zijn er stellig van overtuigd dat de arbeidsloze maatschappij nabij is. Gesofisticeerde automaten zullen ons werk niet alleen overnemen, ze zullen het sneller en beter doen. Er zit een robotparadijs van vrije tijd en contemplatie aan te komen. Superslimme, superbetrouwbare, supergehoorzame computerslaven die ‘nooit moe worden, nooit een slecht humeur hebben, nooit fouten maken’, niet ziek worden, vakantie noch opslag vragen, zullen ons over hooguit dertig jaar van alle werk verlost hebben. Eindelijk zal de bevrijde mens geestkracht kunnen aanwenden voor zijn ‘diepste, meest creatieve vormen van redeneren en giswerk’. Terug naar het paradijs, voor Adam in Eva’s vijg beet (of appel voor westerlingen), het verschil tussen goed en kwaad ontdekte en de rest van zijn leven in het zweet zijns aanschijns moest zwoegen.

Meester en slaaf, het is een bedenkelijke metafoor, maar de vraag is of de verhoudingen ondertussen niet omgekeerd zijn. Veel mensen kunnen niet meer zonder hun hightech ‘slaven’. Ze worden steeds afhankelijker, panikeren als de smartphone zoek is of de internetverbinding even hapert. Verslaafd aan robots, een Tsjechisch begrip dat nochtans ‘onderworpenheid’ betekent. De arbeidsloze droom zal vermoedelijk nooit uitkomen, maar het is wel een gedroomd scenario voor wie schatrijk wordt van automatisering: ‘niets mooier dan een klant veranderen in een smekeling’.

Automatisering vernietigt banen. Niet zo lang geleden zaten in een cockpit vijf mensen, tegenwoordig twee, volgens sommigen nog te veel. Nu vliegtuigen bijna vanzelf vliegen,wordt ook bespaard op opleiding, expertise en loon van piloten. Productiviteit en welvaart mogen hier en daar dan wel vooruitgegaan zijn, de werkgelegenheid hinkt achterop. Het totaal aantal banen in de productie daalt al jaren wereldwijd. Economen voorspellen dat de banen vroeg of laat op zullen zijn en voorzien tegen het einde van deze eeuw een technologisch werkloosheidscijfer van 75%.

Vraag is overigens of een bestaan zonder arbeid wel paradijselijk zou zijn. Mensen schatten de relatieve waarde van arbeid en vrije tijd vaak fout in. Uit onderzoek blijkt dat de meeste mensen zich beter voelen op het werk dan in hun vrije tijd, terwijl bijna iedereen volhoudt liever niet uit werken te gaan. Door dit scheve beeld van arbeid streven mensen vaak activiteiten na die de minst positieve ervaringen opleveren. Toegegeven, veel banen zijn saai en soms vernederend, terwijl hobby’s opwekkend en bevredigend kunnen zijn, maar een baan geeft structuur aan onze tijd, terwijl velen hun vrije tijd verdoen, rondhangen op Facebook of in winkelcentra, liever zappen dan een uitdagende hobby beoefenen.

In De menselijke conditie (1958) stelde Hannah Arendt dat mocht de automatiseringsutopie ooit uitkomen, het resultaat geen hemel op aarde zou zijn maar een wrede practical joke. De hele moderne maatschappij draait immers om arbeid. Mensen puren veel eigenwaarde uit hun werk, het loon dat ze ervoor krijgen en wat ze ermee kunnen doen. Maar, voegde ze er onmiddellijk aan toe, arbeid wordt steeds minder eervol, meer en meer gereduceerd tot middel van bestaan.

Schijnvrijheid

Automatisering vereenvoudigt taken maar maakt ze ook minder uitdagend, vermindert het engagement en het tevreden gevoel iets bereikt te hebben. Automatisering bevrijdt, zeker, maar ook van wat een gevoel van vrijheid geven kan.

Computers zorgen veelal voor een vals gevoel van veiligheid. Als een systeem zelden fouten maakt, beginnen we te geloven dat het onfeilbaar is. De aandacht verslapt, we worden gemakzuchtig, een beetje lui. Niet erg, zolang het om de automatische spellingcorrector gaat, maar als – zoals aangetoond door recent onderzoek – ook de aandacht van piloot en arts verslappen, ze minder oog krijgen voor ongewone of onvoorspelbare verschijnselen, kan dat verregaande gevolgen hebben. Twee derde van de ongevallen in de burgerluchtvaart wordt veroorzaakt door in slaap gewiegde piloten. Daar staat natuurlijk tegenover dat de luchtvaart aanzienlijk veiliger is geworden.

De begin deze eeuw zo bejubelde informatietechnologie voor medische doeleinden heeft de verwachtingen niet ingelost. De Amerikaanse gezondheidszorg is veel duurder geworden (onder meer door nodeloze onderzoeken aanbevolen door elektronische dossiers), de interactie tussen arts en patiënt is achteruitgegaan, medisch personeel werd ontslagen, zonder dat het welzijn van de patiënt verbeterde.

Ook het gemak waarmee we zo goed als alles op internet kunnen vinden, heeft zijn prijs. Door de altijd en overal aanwezige online informatie worden we ook op het vlak van kennis en het vormen van geheugensporen een beetje lui. Onze hersenen nemen de moeite niet meer om een en ander te integreren. Kennis wordt veruitwendigd, in een cloud van oneindige feiten en feitjes. Maar bij kennis en haar creatieve toepassing komt meer kijken. Denk bijvoorbeeld aan de automatismen die we al lerend verwerven. Wie leerde lezen (of fietsen) doet dat uiteindelijk automatisch, kan het zelfs niet meer laten, zonder er nog bij stil te staan hoeveel inspanning het leren ooit gekost heeft. Alle expertise maakt gebruik van automatismen. Maar automatisering maakt veel automatismen overbodig, zoals rekenmachines het hoofdrekenen en typemachines het (letterlijk) schrijven. Door ons te bevrijden van dergelijke regelmatig terugkerende oefeningen bevrijdt of berooft automatisering ons van het mentale proces van het leren van bepaalde taken, het oefenen van het geheugen en ontwikkelen van vaardigheden. Automatisering maakt ons in bepaalde opzichten minder autonoom.

Ethiek

Carr snijdt ook culturele, juridische en ethische problemen aan, met als voorbeeld de Google mobile, de auto zonder bestuurder die dit decennium nog commercieel moet worden. Maar wie is verantwoordelijk als een mobile een ongeval veroorzaakt? De tot passagier herleide chauffeur of de producent van de wagen? En hoe zal die echte auto(maat) ethische dilemma’s oplossen? Stel dat zijn algoritmes berekenen dat als hij remt voor een onverhoeds overstekende hond het dier 54% overlevingskans heeft, de auto 19% om tot schroot herleid te worden en de inzittenden 3% kans hebben gewond te raken – besluit de mobile dan het huisdier te redden? En wat met het kind van de buren of je eigen kind? Wie zal de robot programmeren? De fabrikant, de eigenaar, politici, filosofen, verzekeringsagenten?

Gebruikersgemak en alomtegenwoordigheid van smartphone, tablet en wifi zorgen ervoor dat steeds meer aspecten van ons leven geprogrammeerd worden. Het aantal autonome toestellen verbonden met internet verdubbelt al om de vijf jaar. Hoe meer we onszelf toevertrouwen aan de zorg van automaten, hoe meer zicht producenten krijgen op ons doen en laten (hoe we werken, welke informatie we bekijken, welke routes we volgen, met wie we communiceren), hoe meer macht ze over ons verwerven. Apps en updates worden een vorm van afstandsbesturing. We zitten nog wel aan het stuur maar weten almaar minder wie ons bestuurt.

Kritische massa

Als door automatisering mensen zichzelf en hun relatie tot anderen in een nieuw licht beginnen te zien; hun denken, gedrag en verantwoordelijkheidsbesef zich telkens aan nieuwe technologie aanpast; als onze aandacht en vaardigheden vernauwen; als software onmisbaar wordt en daardoor nog meer automatisering in de hand werkt; als door dit alles onze waarden, normen en ethiek veranderen – dan heeft automatisering haar kritische massa bereikt en zouden we ons moeten realiseren dat het genoeg geweest is. Veel technologieën, zoals de waterleiding of het elektriciteitsnet in onze huizen, zijn zo gewoon en onzichtbaar geworden dat we er ons zo goed als geen rekenschap van geven. Een technologie die ons volledig omgeeft verdwijnt uit zicht. Tot er iets stokt. Nu computers en software onmisbaar geworden zijn, verkondigen de producenten luidop dat ze onzichtbaar moeten worden.

Een lekkende kraan herstellen of kortsluiting opheffen lukt nog wel, en waterleiding en elektriciteitsnet hebben ook geen verborgen agenda. Maar het onzichtbaar worden van de op zich al ondoorzichtige informatietechnologie is een ander verhaal. Nu al is het vaak onduidelijk of bepaalde software ons helpt dan wel controleert.

De menselijke factor

Maximale efficiëntie, snelheid en winstbejag primeren meestal op de effecten van machines en computers op lichaam en geest van wie ze bedient of gebruikt. Carr pleit voor een meer op de mens gefocust, ergonomisch ontwerp. Aangezien experimenten aantonen dat mensen aandachtiger blijven als een systeem af en toe fouten maakt, stelt hij voor software zo te programmeren dat bepaalde functies van computers regelmatig, maar op onvoorspelbare tijdstippen worden overgedragen aan de mens. Het besef dat hij elk moment de besturing moet kunnen overnemen, zorgt voor blijvend engagement en aandacht. Dat moet zeker mogelijk zijn, maar of het ook realistisch en wenselijk is, is zeer de vraag.

Nicholas Carr opent de ogen voor wat velen onder ons blindelings aanvaarden of aanbidden. Zijn goed gedocumenteerde boeken lezen ook in vertaling als een trein – die niet ontspoort.

Carr, Nicholas – De glazen kooi. Wat automatisering met ons doet, Amsterdam, Maven, 2014, 334 blz. – ISBN 978 94 9184 534 5

- Het ondiepe. Hoe onze hersenen omgaan met Internet, Amsterdam, Maven, 2011, 327 blz. – ISBN 978 94 9057 413 0

Gepubliceerd op De Reactor op 22.12.2014 en in De Geus van september 2015