CouranD #18 - Autonome modellen
Over Large Language Models, autonome auto's, de rol van geld in ons leven en 'data trusts'
It was the sort of mystery that seemed to be everywhere in the pandemic year, a time in which money, many people felt, stopped making sense - Jesse Baron (New York Times)
Goedezondag,
Deze week verwijzen we naar een vrij eclectische mix aan publicaties: een introductie over LLMs, een update over zelfrijdende auto, een filosofische overdenking over geld en een voorstel voor data trusts. Allemaal lekker leesmateriaal voor in de zon, geniet er van!
🦜 Stochastische papegaaien
Een goed gesprek voeren is voor mensen al moeilijk, hoe zit dat met computers?
Google kondigde afgelopen week LaMDA aan, een kunstmatig intelligent model dat volledig autonoom gesprekken kan voeren. En dan niet alleen een simpel gesprek over het weer, maar een écht gesprek. Een onvoorspelbaar gesprek, dat alle kanten op kan gaan, zoals de beste gesprekken tussen mensen. Een gesprek dat begint bij corona, en via Wie Is De Mol? eindigt bij het EK voetbal in '88. Volgens Google moet een goed gesprek niet alleen 'logisch' zijn, maar ook specifiek, interessant (onverwacht, ad rem). En dat is wat ze met LaMDA proberen na te bootsen.
Taalmodellen op basis van kunstmatige intelligentie (ook wel LLMs, Large Language Models) zijn al langer in opmars. GPT-2 en GPT-3 van OpenAI zijn daar bekende voorbeelden van, en ook Facebook is er druk mee bezig. Maar onderzoeken laten zien dat schadelijke vooroordelen op de loer liggen. MIT Technology Review publiceerde een interessant stuk (11 min) over een onderzoekscollectief dat een belangrijke vraag probeert te beantwoorden:
How and when should LLMs be developed and deployed to reap their benefits without their harmful consequences?
Deze groep van 500 wetenschappers die opereert onder de naam 'The BigScience Project' concludeert:
Dat er een gevaar schuilt in de brede toepassing van LLMs. Dit soort modellen zijn uitermate geschikt voor hele specifieke doeleinden, maar ze worden te breed ingezet.
Dat LLMs een soort 'stochastische papegaaien' zijn; napraters van 'toevallig' gevonden patronen in de teksten die ze gevoed krijgen, zonder dat ze nadenken over of dit wenselijke of gepaste teksten zijn.
Dat een open-source alternatief nodig is, dat kan worden gebruikt om onderzoek naar LLMs en vergelijkbare technieken mogelijk te maken.
Zo onderzoekt en bekritiseert de groep niet alleen, ze werken ook aan een manier om deze onvermijdelijke ontwikkeling de goede kant op te sturen. Bijvoorbeeld door duurzame en inclusieve alternatieven te vinden voor het verzamelen van de benodigde data die nodig is voor het trainen van deze modellen. Of door modellen te ontwikkelen die in andere, minder grote, talen werken. Zo zegt een van de onderzoekers: "I want NLP to help people, not put them down". Een mooi streven.
Autonome Auto's
Een update over een van de meest spraakmakende technologieën van onze tijd
Afgelopen week behaalde Cruise - de afdeling autonome voertuigen van General Motors - een mijlpaal: ze kregen als eerste toestemming (2min) van de staat California om een taxiservice zonder bestuurders te lanceren voor het grote publiek. Daarmee zit GM Google op de hielen; Google's autonome afdeling Waymo lanceerde in oktober vorig jaar zo'n service in Phoenix, Arizona. Beide berichten zijn lichtpuntjes in de ontwikkeling van autonome voertuigen (AVs), die de Nederlandse oud-NASA medewerker en Nissan CTO Maarten Sierhuis beschrijft als moeilijker dan ruimtevaart navigatie. Waarom duurt het zo lang? En wanneer kunnen we al slapend in onze auto het land doorkruisen (🎬 6min)?
De NYT gaf vorige week een compacte update over de AV-industrie (6min). De vorige twee jaar zijn veel startups in de industrie overgenomen (Voyage —> Cruise, Zoox —> Amazon, Ike —> Nuro) en hebben beide ride-hailing diensten (Uber & Lyft) de handdoek in de ring gegooid. Inmiddels zijn er nog een paar goed gefinancierde kanshebbers in de race, die allemaal consistent te korte tijdslijnen voorspellen (👀 ahum, Elon...). Het is inmiddels duidelijk dat zelfrijdende auto's eerst een paar tussenstops maken voordat ze voor ons burgers te koop zijn. De meeste bedrijven richten zich nu eerst op:
Autonome vrachtwagens, omdat pakketjes niet bang zijn en de routes voorspelbaar en simpel zijn;
Autonome (voedsel-)delivery voertuigen, zoals de schattige pizza-pendelende Nuro R2 (4min), en;
taxidiensten in afgebakende gebieden, zoals de koetsachtige Zoox van Amazon.
Als je meer over de industrie wil weten raden we je van harte deze volledige gids van de AV industrie van Morning Brew aan (30 min). MB beschrijft onder andere de historische ontwikkeling, de verschillende niveaus van autonomie die er bestaan (we zitten nu bijna op 3/5) en waarom we dit ookalweer willen (spoiler: veiligheid, files en Netflixen).
Ondertussen spelen we in Nederland op onze eigen manier mee, in de Amsterdamse grachten wordt druk geëxperimenteerd met autonoom varende (afval)bootjes (2 min).
Is geld nog geldig?
Dankzij allerlei nieuwe financiële instrumenten verandert ons idee van geld
De afgelopen maanden hebben wij veel te schrijven gehad. Er ontstaat veel 'nieuws' op het kruispunt van technologie met economie. In het New York Magazine stond een paar weken geleden een fantastisch stuk over wat die 'innovaties' van afgelopen anderhalve jaar hebben gedaan met onze ideeën over geld. Lees het stuk, je vliegt er zo doorheen (14min). Hier dus geen samenvatting, maar een trailer:
Het lijkt alsof onze economie het afgelopen jaar onbegrijpelijk snel van de werkelijkheid wegloopt. Crypto-munten trekken steeds meer de aandacht van het grotere publiek, digitale kunstwerken worden voor tientallen miljoenen als NFT verkocht, de Reddit gemeenschap trekt eigenhandig 'memestocks' uit het slop en elke scale-up met autonomous in haar biografie SPAC'd zich de beurs op. Deze zin had nergens op geslagen twee jaar geleden. Vanwaar al deze nieuwigheid?
Volgens sommige analisten vervelen mensen zich simpelweg. Dankzij lockdowns waren veel mensen afgesloten van hun reguliere afleiding (sport, shoppen, naar de kroeg), dus ging men op zoek naar online verzetjes. Anderen wijzen naar het monetaire beleid van onze regeringen en centrale banken. Dankzij een lage rente en heldhaftige steunpakketten zit er veel geld in de economie dat simpelweg op zoek is naar een doel. Of zien we hier de effecten van onder-regulering? Van een overheid die niet snel genoeg kan reageren op innovaties en dus maar voor een laissez-faire aanpak gaat? Wellicht dit allemaal? Volgens Max Read zit er meer achter: we zijn op weg naar een nieuwe houding jegens geld en investeren. Want zeg nou zelf, kan kan je nog verstandig investeren, als Elon Musk met één tweet miljoenen aan waarde kan doen verdampen?
Heb je het artikel gelezen en wil je meer? Dan is dit stuk in de NYT een aanrader (19 min). Een journalist onderzoekt het verhaal achter een Amerikaans restaurantje - een enkel restaurantje - dat $113 miljoen dollar waard is op de beurs. Oplichting? Niet helemaal...
ℹ️ 'Data Trusts' als collectieve privacy hoeders
Goed dat we met GDPR als individu onze privacy rechten kunnen uitoefenen, maar hoe zit dat met de grotere gemeenschap?
Het debat over privacy richt zich doorgaans op het beschermen van het individu tegen de uitwassen van grootschalige dataverzameling en verwerking. Maar privacy regelgeving gaat ook om het beschermen van onze rechten als onderdeel van grotere groepen en de samenleving als geheel. Vaak zijn de negatieve gevolgen van privacyschending namelijk het resultaat van het feit dat je op basis van data tot een bepaalde groep wordt gerekend. De MIT Technology Review legt uit hoe dat zit (5 min). Als iemand besluit bepaalde informatie te delen, kan dat ook effect hebben op anderen. Zo kan informatie over jouw inkomen invloed hebben op de kans dat jouw buren een lening of hypotheek kunnen krijgen (in de VS althans).
Nu moet je vaak als individu opkomen voor je privacy, terwijl in veel andere gevallen (zoals het recht op schoon drinkwater) dat niet hoeft. De MIT Technology Review stelt een alternatieve tweeledige aanpak (10 min) voor: collectieve juridische acties ('class action lawsuits') en iets vergelijkbaars als de 'Digital Republic Bill' uit Frankrijk. Die wet maakt het mogelijk maakt voor organisaties om transparantie over de werking van algoritmes af te dwingen, zonder dat zij namens een individu handelen.
Ook 'data trusts' zouden bij kunnen dragen aan een oplossing:
Een data trust is een soort stichting die het beheer van de data van een groep mensen op zicht neemt, en namens die groep toezicht kan houden op het gebruik van ervan.
Daarnaast zou het ook voor andere doelen kunnen worden ingezet. Zo zou een groep mensen gegevens in een data trust met een specifieke missie kunnen stoppen, ten behoeve van onderzoek.
Bedrijven die privacy hoog in het vaandel hebben staan zouden kunnen besluiten de data die ze over hun klanten verzamelen bij een onafhankelijke data trust onder te brengen.
Een eerder experiment hiermee werd helaas geen succes, maar het concept hoeft nog niet afgeschreven te worden. Met geld gebeurt dit al, dus waarom niet met data?
💡Bits & Bytes
Hackers verdienden een paar weken geleden 75 Bitcoins met ransomware bij de ‘Colonial’ oliepijplijn. De Amerikaanse overheid volgden deze cryptomunten en claimde ze bijna allemaal terug (6 min).
De auteur van Rupsje Nooitgenoeg is overleden, een profiel van deze zeer succesvolle kinderboekenauteur en illustrator (7 min).
De Volkskrant maakte een hele toffe interactieve webpagina die je anders naar het EK doet kijken.
Een twitterdraadje met tien boeiende wereldkaarten, zoals de langst mogelijke treinreis in de wereld.
Dankzij hersenimplantaten kunnen verlamde mensen weer laten typen, door aan schrijven te denken. (4 min)
📷 Beeld van de week
We mogen bijna weer reizen. Dit lijstje met 30 winnaars van de “International Landscape Photographer of the Year” wedstrijd biedt inspiratie. Deze foto is van Mieke Boynton, in Buckland Valley in Australië.
Ben je hier via-via? Schrijf je in voor de nieuwbrief om elke twee weken een nieuwe editie van CouranD te ontvangen!
En, vond je dit leuk? Kan het beter? Heb je tips voor interessante onderwerpen? Laat het ons weten! Je kan gewoon mailen naar courand@substack.com. En vergeet ‘m niet te delen!
Barend en Ocky