CouranD #31 - Kan je kunstmatige intelligentie opvoeden?
Online tracking, Large Language Models, kernfusie en de bouwersmentaliteit
We love convenience; and we love efficiency and automation; and we prioritize scale and growth, and both those things create immense wealth. But even though we love those things, there is something truly joyful about things that feel slow and un-bingeable. - Charlie Warzel (The Atlantic)
Goedezondag,
Terwijl TeamNL goud aan het harken is bij het schaatsen in Peking, en de situatie in Oekraine steeds zorgelijker wordt, lezen en schrijven wij rustig verder. We hebben minder tijd, want we zitten weer vaker in het café, maar dat heeft ons er niet van weerhouden weer een mooie editie voor jullie af te leveren.
Deze editie staat in het teken van:
Het beperken van online tracking en de impact daarvan op de advertentiebranche;
Het ‘opvoeden’ van Large Language Models;
Een doorbraak in het onderzoek naar kernfusie, en;
De broodnodige kanttekeningen die je bij de ‘bouwersmentaliteit’, die zo gemeengoed is in de techwereld, kan plaatsen.
Veel leesplezier!
🍪 De gerichte pijlen op gericht adverteren lijken doel te treffen
Gericht adverteren wordt steeds moeilijker gemaakt. Facebook laat zien hoe groot de impact daarvan kan zijn.
In een eerdere editie schreven we over het verdwijnen van cookies, en de manier waarop bedrijven daar mee om willen gaan. Het past in een bredere trend waarin tracking (niet alleen op basis van cookies) steeds meer beperkt wordt, en de nadruk steeds meer op privacy komt te liggen. Wat zijn de laatste ontwikkelingen?
Het Europees parlement heeft de Digital Services Act - met enkele compromissen - aangenomen. Bedrijven mogen geen gerichte advertenties meer tonen aan minderjarigen. Ook mag het weigeren van toestemming voor tracking niet onnodig moeilijk gemaakt worden en mag die weigering niet ‘gestraft’ worden met minder functionaliteit voor gebruikers.
Ondertussen heeft een Belgische toezichthouder al bepaald dat een aanzienlijk groot deel van advertentiepraktijken op het internet de wet overtreden.
Ook Google (maker van de Chrome browser) stapt af van cookies. Als alternatief hadden ze daar ‘FLoC’ voor bedacht, maar inmiddels hebben ze dat losgelaten en komen ze met een alternatief: Topics. Hierbij worden er automatisch vijf ‘interesses’ aan jou gekoppeld op basis van je surfgedrag, waar adverteerders vervolgens advertenties op kunnen afstemmen. In principe zou je dan niet meer persoonlijk identificeerbaar moeten zijn.
Wat zijn de gevolgen?
Facebook (Meta) heeft last van de beperkingen die Apple oplegt aan apps. Ze verwachten daardoor zo’n 10 miljarddollar aan inkomsten mis te lopen.
De overkoepelende brancheorganisatie voor adverteerders in België en Nederland krijgt een boete van €250.000. Online uitgevers en adverteerders die gebruikmaken van de (nu blijkbaar) illegale advertentietechnologie moeten daar per direct mee stoppen. Dit dwingt hen vaart te maken met alternatieve vormen van adverteren, zoals op basis van context in plaats van de interesses van de gebruiker.
Google lijkt er allemaal niet echt last van te hebben. Google heeft een eigen browser en is eigenaar van enorm populaire apps op het internet, waardoor het veel ‘first party’ data heeft, en dus minder afhankelijk is van tracking.
De ontwikkelingen van de laatste weken zetten de boel op scherp, en we zien nu voor het eerst de grote impact op de omzet van bedrijven die er afhankelijk zijn van tracking.
O.W.
🧠 Keuriger Kunstmatig Intelligentie
Grote taalmodellen worden accurater en vaker gebruikt, maar ze zijn nog alles behalve foutloos.
Er is veel gebeurd in de wereld van Large Language Models (LLMs); KI modellen zoals GPT-3 die gebruikt worden om software te maken die ‘als een mens’ tekst kunnen schrijven. In de hoofdrol: Elon Musks en Microsoft’s OpenAI en Alphabets DeepMind.
Eerste een korte herhaling: wat doen LLM’s en wat is het probleem? LLM’s zijn modellen die getraind worden op enorme hoeveelheden tekst (denk: heel Wikipedia, Reddit en meer) om vervolgens jouw tekst te verbeteren (zoals Grammarly doet), nieuwe gedichten op te stellen van lang overleden dichters (omdat het kan?) of geloofwaardige antwoorden voor een chatbot te genereren.
Een tof voorbeeld hier van: DeepMind maakte deze week bekend dat ze software op basis van zo’n LLM mee hebben laten doen aan een programmeerwedstrijd. De software (’AlphaCode’) moest zelf opdrachten ‘lezen’ en code voorstellen die de opdracht zou vervullen. De resultaten waren vergelijkbaar met die van een ‘gemiddelde programmeur’.
Zoals dit paper van DeepMind onderzoekers opsomt zijn er echter ook veel problemen met LLM’s:
De geproduceerde tekst is vaak net zo racistisch, bevooroordeeld en verrot als veel van de tekst die je online tegen komt. Zo kwamen onderzoekers er achter dat als je GPT-3 vraagt een zin met het woord ‘moslim’ af te maken, deze 60% van de tijd een gewelddadige toon aanslaat.
LLM’s kunnen per ongeluk geheime informatie delen of met volle overtuiging incorrecte informatie geven (zie figuur).
LLM’s kunnen ingezet worden voor kwaadaardige doeleinden of tot schadelijke resultaten leiden doordat gebruikers te veel op de output vertrouwen.
Er zijn ecologische en economische risico’s verbonden aan het gebruik van dit soort modellen.
In een poging dat eerste probleem op te lossen, heeft OpenAI nu InstructGPT ontwikkeld. InstructGPT is gemaakt op basis van GPT-3, alleen hebben onderzoekers geprobeerd het model ‘netter’ te maken door het feedback te geven wanneer de output seksistisch, onaardig of gewelddadig was bijvoorbeeld. In een poging het vierde probleem op te lossen heeft DeepMind de RETRO architectuur ontwikkeld. Hoe dat werkt precies werkt moeten de echte diehards zelf maar even lezen 😊.
B.K.
⚛️ Kernfusie is geen illusie
Wetenschappers hebben het voor elkaar gekregen om brandend plasma te creëren, als onderdeel van onderzoek naar kernfusie. Kernfusie vindt plaats in de zon. Atoomkernen versmelten met elkaar, en daar komt energie bij vrij (zie ook CouranD #26). Bij brandend plasma verhit het plasma ‘zichzelf’, in plaats van alleen door middel van energie die van ‘buitenaf’ komt. NRC en New Atlas schreven er over. Hierbij wat leuke weetjes:
Bij kernfusie loopt te temperatuur op tot wel 50 miljoen graden. Dat wordt bereikt met behulp van 192 laserbundels.
Een andere methode - ‘tokamak’ fusie - maakt gebruik van magnetische velden om waterstof vast te houden en onder druk te zetten. Hierbij is recent gedurende vijf seconden een recordhoeveelheid energie vrij gekomen. Maar dit is geen ‘brandend plasma’. Ars Technica legt het hier uit.
Het plasma brandde nog geen 1 miljardste van een seconde.
‘Ontbranding’, waarbij het plasma zelfstandig blijft branden doordat de hitte die vrijkomt groter is dan de energie die nodig was om het proces te starten, is nog niet bereikt. Dat gaat waarschijnlijk nog decennia duren.
Weer wat geleerd!
O.W.
🔨 Het beletsel van het Bouwers Brein
We hebben dromers nodig voor technologische vooruitgang, maar critici zijn ook onmisbaar.
In editie #8 beschreven we een artikel dat het belang van infrastructuur en onderhoud naast innovatie onderstreepte. In ‘Builder Brain’ doet The Atlantic schrijver Charlie Warzel dat nog eens dunnetjes over, waarbij hij het voor elkaar krijgt om synthetische baarmoeders, Web3 en Wordle in één artikel aan elkaar te knopen. Als je één ding leest dit weekend, lees dan deze ietwat filosofische tirade met feelgood einde.
Wat is een ‘Bouwers Brein’? Dat vat Charlie voor ons samen:
But that doesn’t matter to the Builders. What matters, to a degree, is the boldness of the idea and the process of the thought experiment. The Builder mindset often eschews policy completely and focuses on the macro issues, rather than the micro complexities. It is a mindset that seeks to find very elaborate, hypothetical-but-definitely-paradigm-shifting, futuristic technology to fix current problems, instead of focusing on a series of boring-sounding and modest reforms that might help people now.
In andere woorden, het beschrijft mensen die zo druk bezig zijn met nieuwe producten/diensten bouwen dat ze vergeten kritisch na te denken of deze nieuwe oplossingen het achterliggende probleem oplossen. Alsof je op het strand een kasteel van klei gaat maken naast die van zand omdat de vorige steeds wegspoelt, zonder na te denken over dat het vloed wordt. Het risico van deze Bouwers is dat we ons achterhaaldheid gaan inbeelden: dat we niet investeren in het structureel oplossen van problemen, maar deze simpelweg recreëren met nieuwe technologie. De conclusie van de auteur bevalt mij wel: Ja, we hebben bouwers nodig en ja, we hebben critici nodig die tekortkomingen oplossen met ‘saaie’ ingrepen zoals beleid en wetgeving. Wat dit met het immens populaire spelletje Wordle te maken heeft moet je zelf maar lezen!
B.K.
💡Bits & Bytes
Niemand leest ooit de algemene voorwaarden voor software of websites. Deze acht compleet idiote clausules in zulke voorwaarden zijn daar het bewijs van. In Amerika willen politici bedrijven verplichten een samenvatting te geven van hun voorwaarden. Deze website en plug-in doet dat al.
Een leuk spelletje waarbij je historische gebeurtenissen op volgorde moet zetten
Een vette longread van de New York Times over hoe AI de pokerwereld heeft getransformeerd. (Goeie tip Noud)
Nerdle - een variant van Wordle, maar dan op basis van cijfers en sommen.
Een tooltje om realistische HD-portretten te genereren op basis van kunstwerken en foto’s.
Het Parool schrijft dat Amsterdam de waardevolste techstad van Europa is geworden. Deed ons denken aan een uitspraak van cabaretier Emo Philips: “I used to think that the brain was the most wonderful organ in my body. Then I realized who was telling me this.”
📷 Beeld van de week
The Amazing Aerial Award. Depths of Hell, Iceland - Chris Byrne. Uit Highlights from the International Landscape Photographer of the Year - New Atlas
Ben je hier via-via? Schrijf je in voor de nieuwbrief om elke twee weken een nieuwe editie van CouranD te ontvangen!
En, vond je dit leuk? Kan het beter? Heb je tips voor interessante onderwerpen? Laat het ons weten! Je kan gewoon mailen naar courand@substack.com. En vergeet ‘m niet te delen!
Barend en Ocky