CouranD #54 - Schaduwzijde
Discriminerende algoritmes en het einde van de mensheid
Ultimately, the problem of AI is something human civilization will have to reckon with in exactly the same way we have had decades of debates and arguments over what to do about climate change and nuclear weapons. - Erik Hoel
Goede zondag,
Barend is aan het wintersporten en Ocky is een weekendje in Zeeland. Je ontvangt deze editie dus iets later dan je gewend bent. Het is ook niet bepaald een gezellige editie. We hadden dit niet van te voren bedacht, maar de rode draad is de schaduwzijde van kunstmatige intelligentie. Van discriminerende algoritmes bij de gemeente Rotterdam, tot het einde van de mensheid. Als je daar geen zin in hebt kun je ook gewoon de Bits & Bytes checken ;)
Veel plezier! 😅
💸 Rammelend Rotterdams
Over discriminerende software tegen bijstandsfraudeurs
De gemeente Rotterdam gaf een onderzoeks-collectief inzicht in het systeem dat tot kortgeleden bepaalde wie er werd onderzocht voor bijstandsfraude. Dit collectief presenteerde afgelopen week in Wired hun conclusie: het algoritme onder dit systeem is zo willekeurig als een kleuter met honger en is bovendien discriminerend tegen kwetsbare groepen. Een toeslagenaffaire light in de dop? Of wellicht toch sensatiejournalistiek? Oordeel vooral zelf door het helder vormgegeven, interactieve artikel zelf eens rustig door te lezen.
Nogal een grote term om te gebruiken, maar waar hebben we het precies over? Elk jaar ontvangen grofweg 30.000 Rotterdamse burgers bijstand. Om misbruik hiervan te voorkomen ontwikkelde advieskantoor Accenture in 2017 voor de gemeente een ‘machine learning’ systeem dat risico-scores berekent over elke burger om te bepalen wie er aan een nader onderzoek onderworpen moest worden. Dat systeem werkte grofweg zo:
De gemeente vergaart een enorme hoeveelheid informatie over ontvangers, 315 ‘attributen’ per persoon. Ambtenaren voeren ogenschijnlijk irrelevante gegevens (zoals of iemand sport) en hun persoonlijke meningen over ontvangers in via een formulier en externe bronnen worden geraadpleegd.
Deze informatie wordt met een Gradiant Boosting Machine algoritme omgezet in een risico-score. Ontvangers met de 10% hoogste scores komen op een lijst voor potentieel onderzoek, evenals een willekeurige greep uit de totale groep ontvangers en jaarlijks wisselende themagroepen (zoals postcodegebieden).
Een selectie uit deze lijst wordt daadwerkelijk onderzocht, met alle mogelijke gevolgen van dien.
Over zowel het gebruik van zo’n profileringssysteem als het ontwerp van dit specifieke systeem is nogal wat aan te merken. Eigenlijk zijn er drie problemen:
Een aap die pijltjes op een dartbord met namen gooit zou ongeveer net zo accuraat fraudeurs ‘herkennen’ als dit systeem. Zo concludeert de gemeente zelf ook. Dat komt onder andere doordat veel ‘oplichting’ niet intentioneel fraude is, maar voortkomt uit burgers die de wet niet snappen en bijvoorbeeld wijzigingen in hun leefomstandigheden vergeten door te geven. Dit zorgt voor ruis in het systeem. Daarnaast mist het systeem nuance. Een opmerking op het invulformulier voor ambtenaren wordt omgezet in een simpele ja/nee, ongeacht de positieve of negatieve aard van deze opmerking.
Het type algoritme dat gebruikt wordt maakt het moeilijk om te identificeren hoe een variabele invloed heeft op iemands score. Dat maakt bijvoorbeeld bezwaar maken ingewikkeld.
Het systeem discrimineert zowel op geslacht als op etniciteit. Dit soort profileren is gevoelig en in veel gevallen verboden zoals het College voor de Rechten van de Mens hier uitgebreid uiteenzet. Echter, het gebruiken van data over etniciteit in een dergelijk systeem lijkt een grijs gebied. Het Rotterdamse systeem bevatte niet expliciete informatie over etniciteit, maar wel afgeleide gegevens zoals of iemands eerste taal Nederlands is. Daarnaast was de data waarop het algoritme getraind was bevooroordeeld. Dit kwam door de subjectieve informatie die ingevoerd werd en doordat de trainingsdata niet representatief was.
Het is niet allemaal bar en boos. Rotterdam stopte in 2021 met het gebruik van dit systeem na kritiek vanuit ethische experts en het is maar de vraag of deze methode schadelijker was dan de Excel fraude-scorekaart die recent nog werd gebruikt in andere gemeenten. De gemeente is ook niet de enige met een dergelijk systeem en is wel als enige bereid geweest verregaand inzicht te bieden aan journalisten over de werking van dit systeem. Al blijkt ook uit dit uitgebreide achtergrondartikel dat dit deels via WOB-verzoeken en deels per ongeluk is geweest. Daarnaast geven de auteurs in dat achtergrondartikel ook aan dat een discriminerend systeem niet per sé oneerlijk is, omdat fraude ook niet gelijk verdeeld is over de totale populatie.
Wat wel onderbelicht blijft in dit artikel is de impact van dit systeem op de burger. Wie zijn hierdoor onterecht onderzocht? Verloren kwetsbare burgers - in Rotterdam en daarbuiten - onterecht door dergelijke systemen hun bijstand? Ik denk dat we hier wat dat betreft nog wel meer over zullen gaan lezen.
B.K.
🤖 Wordt de mensheid bedreigd door kunstmatige intelligentie?
Ontkennen, accepteren, voorkomen, of ons aanpassen?
In editie #40 schreven we al over een lang en ingewikkeld artikel op LessWrong over het gevaar van kunstmatige intelligentie voor het voortbestaan van de mensheid. De strekking was dat het ongelooflijk moeilijk gaat worden om het einde van de mensheid te voorkomen, tenzij we nu ons best gaan doen, en het ons ook in één keer lukt om de onvermijdelijke artificial general intelligence op één lijn te brengen met onze eigen doelen, normen en waarden. (Ook wel ‘alignment’ genoemd).
Inmiddels gelooft de schrijver van het stuk - Eliezer Yudkowsky - dat het ons niet meer gaat lukken. Hij was te gast in een podcast die normaalgesproken over crypto en finance gaat, waarin hij in een bijna twee uur durend interview uiteenzet dat kunstmatige intelligentie toch echt het einde van de mensheid betekent (disclaimer: ik ben pas op de helft, maar ga ‘t nog wel afluisteren). Wanneer dat gaat gebeuren is lastig te voorspellen, maar dat het gaat gebeuren, en dat het niet meer terug te draaien is, is hij inmiddels wel van overtuigd. Dat is een vrij alarmerend standpunt, dat kan worden weggezet als het doemdenken van een pessimistische gek. Maar dit beeld wordt steeds meer mainstream.
Thomas, een van onze lezers, wees ons op een artikel van vergelijkbare strekking. Op gestructureerde wijze ontleedt Erik Hoel - een schrijver met een PhD in neuroscience - elk mogelijk argument dat het allemaal niet zo’n vaart zal lopen met kunstmatige intelligentie. Ook weer een vrij deprimerend verhaal, maar hij komt wel met concrete maatregelen waarmee het tij nog te keren zou kunnen zijn. Hij stelt dat de Big Tech-bedrijven de enigen zijn die de middelen en mensen hebben om daadwerkelijk een superintelligente A.I. te ontwikkelen (al dan niet expres). Dat betekent dat regelgeving en druk zich kan concentreren op dat handjevol bedrijven. Dat is overzichtelijk, en haalbaar.
Zelf weet ik niet echt hoe ik hier mee om moet gaan. Ik ben vrij enthousiast over de recente ontwikkelingen rondom ChatGPT, Bing, DALL-E, etc. Omdat het allerlei concrete, en waardevolle toepassingen heeft. En omdat ik geloof dat een taalmodel als GPT niet zo gevaarlijk is. Yudkowsky gelooft dat overigens ook niet. ChatGPT is wel ‘general intelligent’ in de zin dat het dingen kan waarvoor het niet expliciet geprogrammeerd is, maar het is nog altijd te beperkt om echt een ‘superintelligence’ te worden.
Maar goed, blijkbaar moeten we ons wel zorgen maken, omdat andere ontwikkelingen (onvermijdelijk?) wel tot een gevaarlijke superintelligence gaan leiden. Wat nu? Ontkennen, accepteren, voorkomen, of ons aanpassen? Het lijkt de klimaatcrisis wel…
O.W.
💡Bits & Bytes
In welke tijdzone ligt de maan? Als het aan de ESA ligt, haar eigen!
Japanse e-sports middelbare school blijkt gouden greep voor gedemotiveerde tieners.
Floppy-disks zijn dus nog steeds een ding.
Vet visueel artikel over hoe arm en rijk anders geraakt zijn door thuiswerken.
MissJourney genereert in tegenstelling tot Midjourney alleen maar afbeeldingen van vrouwen
In ander nieuws: een belangrijke bank in Silicon Valley is omgevallen. Het is de grooste omgevallen bank sinds de financiële crisis in 2008. De bank werd vooral door tech-startups gebruikt voor hun investeringsgeld. Toen de rentes en kosten stegen, begonnen startups sneller door hun geld te raken, waardoor de dekkingsgraad van de bank in gevaar kwam. Bereid je voor op mogelijke neveneffecten bij andere banken en bedrijven…
Een lijstje van de best betaalde atleten ter wereld
Een jaar geleden publiceerden we editie #33. Over vibe shifts, NFTs, en Geo-engineering.
Dat was ‘m! Ben je hier via-via? Schrijf je in voor de nieuwsbrief om elke twee weken een nieuwe editie van CouranD te ontvangen!
En, vond je dit leuk? Kan het beter? Heb je tips voor interessante onderwerpen? Laat het ons weten! Je kan gewoon mailen naar courand@substack.com. En vergeet ‘m niet te delen!
Barend en Ocky