Project Strawberry, GPT-5 & AGI: wat heeft OpenAI in petto?

Ik, en veel andere AI-enthousiastelingen zitten al een tijdje te wachten op de volgende stap van OpenAI. In 2023 maakten we kennis met GPT-4. Mijn verwachting was dat we dit begin 2024 zouden doen met GPT-5. Dat gebeurde niet. Sterker nog, de voorsprong die OpenAI had op veel concurrenten is inmiddels weggewerkt. Bijna wekelijks voert een ander AI-model de AI-leaderboards aan met een nieuw gelanceerde versie.

En die stilte leidt tot speculatie. Speculaties die deels worden gevoed door Sam Altman en OpenAI zelf. Want als er één bedrijf goed is in vage hints geven in aanloop tot grote lanceringen, dan is het wel OpenAI. Recent trok het bedrijf de aandacht met geruchten over een mysterieus project genaamd ‘Strawberry’. Dit project zou mogelijk verband houden met de ontwikkeling van GPT-5, na GPT-4 de volgende versie van hun taalmodel.

De speculaties rond Project Strawberry en GPT-5 zijn niet alleen interessant vanwege de potentiële technologische vooruitgang. Ze verklaren mogelijk ook verschillende gebeurtenissen rondom OpenAI. En dat begon allemaal met het ontslag van Sam Altman in november 2023. In dit artikel wil ik inzoomen op een aantal van deze gebeurtenissen. Op wat we weten over Project Strawberry. Op een aantal speculaties. En op wat we kunnen verwachten in de komende periode.

Tijdlijn van belangrijke gebeurtenissen

November 2023

De AI-wereld werd opgeschud toen Sam Altman, de CEO van OpenAI, tijdelijk werd ontslagen door het bestuur. Dit leidde tot een korte maar heftige periode van onzekerheid en speculatie binnen de industrie. Hoewel Altman snel weer werd aangesteld, bleven er vragen over de onderliggende redenen voor deze gebeurtenis.

In dezelfde periode doken er geruchten op over een project genaamd Q* (uitgesproken als Q-star). Dit project werd gezien als een mogelijke doorbraak in AI-redenering.

Het conflict zou gaan over snelheid versus veiligheid gerelateerd aan Q*. Hierbij zou Ilya Sutskever (ex-OpenAI) vooral voor meer veiligheid zijn, wat zou botsen met het handelen van Altman.

Juli 2024

Bloomberg bracht een artikel uit waarin werd onthuld dat OpenAI een classificatiesysteem met vijf niveaus had ontwikkeld om hun vooruitgang richting Artificial General Intelligence (AGI) te meten. Dit systeem werd gedeeld met werknemers en geeft inzicht in de stappen die OpenAI de komende tijd wil gaan zetten.

Er zijn verschillende definities van AGI, maar het komt neer op AI-systemen die in staat zijn om op het niveau van mensen of beter te presteren op een breed scala aan intellectuele taken. Dit in tegenstelling tot de huidige AI-modellen die gespecialiseerd zijn in meer specifieke taken.

In dezelfde maand bracht Reuters meer nieuws over Project Strawberry naar buiten. Dit project werd beschreven als een nieuwe benadering van AI-modellen, gericht op het drastisch verbeteren van hun redenatieskills.

Augustus 2024

De speculatie bereikte een hoogtepunt toen Sam Altman een reeks cryptische tweets begon te plaatsen, ogenschijnlijk verwijzend naar Project Strawberry. Tegelijkertijd verscheen er een anoniem account op Twitter/X die verdere hints leek te geven over aanstaande doorbraken bij OpenAI.

Vooral deze tweet zorgde voor veel speculatie over Q*, Project Strawberry en GPT-5: https://x.com/iruletheworldmo/status/1822364945226371306

Project Strawberry: wat we weten

Volgens het Reuters-artikel is het hoofddoel van het project het sterk verbeteren van de redeneercapaciteiten van AI-modellen. Dit sluit aan bij de bredere ambitie van OpenAI om AI te ontwikkelen die kan plannen en diep onderzoek kan uitvoeren.

Er wordt gespeculeerd dat Project Strawberry een voortzetting of evolutie zou kunnen zijn van het eerder genoemde Q* project. Beide projecten lijken gericht te zijn op het verbeteren van de redeneer- en probleemoplossende vaardigheden van AI.

De codenaam ‘Strawberry’ heeft tot veel speculaties geleid. Het zou een subtiele verwijzing zijn naar een uitspraak van Elon Musk uit 2017. In een interview met Vanity Fair gebruikte Musk het voorbeeld van een zelflerende AI die aardbeien plukt om de potentiële gevaren van AI te illustreren. Hij stelde dat zo’n AI uiteindelijk de hele wereld in aardbeienvelden zou kunnen veranderen, waarin geen ruimte meer is voor de mens. Project Strawberry zou verwijzen naar een zelflerende AI waar Musk voor waarschuwde.

Ondanks deze speculaties blijven de precieze details over hoe Project Strawberry werkt en wat het precies inhoudt geheim. OpenAI heeft tot nu toe geen officiële verklaringen uitgegeven over het project.

OpenAI’s 5-stappen plan naar AGI

In juli 2024 onthulde Bloomberg dat OpenAI intern een classificatiesysteem met vijf niveaus gebruikt om hun vooruitgang richting Artificial General Intelligence (AGI) te meten. De vijf niveaus zijn als volgt:

1. Conversational AI: dit is het huidige niveau, waar we AI hebben die kan communiceren in menselijke taal. Voorbeelden hiervan zijn chatbots en assistenten zoals de huidige versie van ChatGPT.
2. Reasoning AI: op dit niveau kunnen AI-systemen basis-probleemoplossende taken uitvoeren. Vergelijkbaar met een mens met een doctoraal niveau onderwijs, maar zonder toegang tot externe hulpmiddelen.
3. Autonomous AI: hier kunnen AI-systemen, ook wel ‘agents’ genoemd, meerdere dagen autonoom namens een gebruiker opereren om een opdracht uit te voeren.
4. Innovating AI: op dit niveau kunnen AI-systemen, ‘innovators’ genoemd, zelfstandig innovaties ontwikkelen.
5. Organizational AI: het hoogste niveau, waar AI het werk van een hele organisatie kan uitvoeren (bron: Forbes artikel).

Volgens Bloomberg gelooft OpenAI dat hun technologie het tweede niveau nadert. Dit suggereert dat Project Strawberry mogelijk gericht is op het bereiken van dit tweede niveau, ‘Reasoning AI’.

Als OpenAI erin slaagt om AI te ontwikkelen die op menselijk niveau kan redeneren en problemen kan oplossen, zou dit een belangrijke mijlpaal zijn in de richting van AGI. Het zou kunnen leiden tot AI-systemen die complexe taken kunnen uitvoeren die tot nu toe voorbehouden waren aan mensen, zoals geavanceerde analyse, strategische planning, en zelfs wetenschappelijk onderzoek.

Het is belangrijk op te merken dat OpenAI’s CEO, Sam Altman, heeft voorspeld dat het vijfde niveau binnen tien jaar bereikt zou kunnen worden. Deze voorspellingen lopen overigens uiteen. Zo heeft Leopold Aschenbrenner, een ex-werknemer van OpenAI het in zijn paper ‘Situational Awareness’ over 5 jaar. Leopold komt hierbij met uitgebreide onderbouwing die door veel vooraanstaande AI-experts wordt gesteund.

Recente ontwikkelingen en speculaties

De afgelopen weken hebben een reeks cryptische tweets en mysterieuze gebeurtenissen de speculaties over Project Strawberry en mogelijke doorbraken bij OpenAI verder opgevoerd.

Op 7 augustus 2024 plaatste Sam Altman een tweet met een foto van aardbeien in een tuin, met de tekst “i love summer in the garden”. Deze tweet werd al snel gezien als een mogelijke verwijzing naar Project Strawberry.

Kort daarna verscheen er een nieuw Twitter/X-account onder de naam ‘I rule the world MO’, met een profielfoto van Joaquin Phoenix uit de AI-gerelateerde film ‘Her’ en drie aardbeien-emoji’s. Dit account begon een reeks cryptische tweets te plaatsen die leken te verwijzen naar AGI en Project Strawberry.

Een van de meest opvallende tweets van dit account verwelkomde gebruikers bij ‘level 2’, wat mogelijk verwijst naar het tweede niveau van OpenAI’s vijf-stappen plan naar AGI. Sam Altman reageerde op deze tweet met “amazing tbh”.

En een vastgepinde tweet van 10 augustus roept ook de nodige vragen op:

In mei 2024 hadden we al de aankondiging van Ilya Sutskever (ook een medeoprichter van OpenAI) dat hij zou vertrekken bij het bedrijf. Een dag later werd het vertrek van Jan Leike, uit het team van Ilya aangekondigd. Ilya wordt door velen in verband gebracht met Q* en het ontslag van Altman in november wat daar mogelijk mee te maken had.

Iets recentelijker waren er nog een aantal personeelswijzigingen bij OpenAI. Greg Brockman, een van de oprichters van OpenAI, kondigde aan dat hij een uitgebreide verlofperiode zou nemen tot het einde van het jaar. John Schulman, een andere medeoprichter vertrok om zich bij het concurrerende bedrijf Anthropic aan te sluiten. Peter Deng (VP of Consumer), die vorig jaar bij OpenAI kwam werken, vertrok ook.

Je begrijpt het al. Nog meer speculatie.

Onder andere over dat de cryptische berichten wijzen op een aanstaande grote aankondiging, mogelijk gerelateerd aan Project Strawberry of zelfs de lancering van GPT-5. En dat de personeelswisselingen te maken zouden hebben met de mogelijke impact van en het beleid rondom AI veiligheid bij OpenAI. Of gaat het slechts om een reeks van ongerelateerde gebeurtenissen?

System 1 en System 2 denken in AI

Om de potentiële impact van Project Strawberry beter te begrijpen, is het nuttig om te kijken naar het concept van Sytem 1- en System 2-denken, geïntroduceerd door psycholoog Daniel Kahneman. Dit concept biedt een interessant kader om de huidige staat van AI en mogelijke toekomstige ontwikkelingen te analyseren.

Volgens Kahnemans theorie werkt het menselijk brein met twee denksystemen:

• System 1: dit is snel, instinctief en emotioneel denken. Het werkt automatisch en vereist weinig energie of aandacht.
• System 2: dit is langzamer, meer weloverwogen en logisch denken. Het vereist bewuste aandacht en inspanning.

Andrej Karpathy’s gaat hier in deze video dieper op in, in relatie tot AI:

In de context van AI kunnen we stellen dat de huidige grote taalmodellen, waaronder GPT-4, voornamelijk opereren op een manier die vergelijkbaar is met System 1-denken. Ze geven snelle, intuïtieve responses op basis van patronen in hun trainingsdata, maar missen de capaciteit voor diepgaand, bewust redeneren.

Andrej Karpathy (die een van de oprichters van OpenAI was, maar er nu niet meer werkt), legt dit uit in de video:

Large language models right now only have a system 1. They only have this instinctive part. They can’t think and react through a bunch of possibilities. They only have words that come in a sequence.

Project Strawberry zou mogelijk gericht kunnen zijn op het introduceren van iets dat lijkt op System 2-denken in AI-modellen. Dit zou betekenen dat de AI in staat zou zijn om langzamer, meer weloverwogen te ‘denken’, verschillende mogelijkheden te overwegen, en complexere redeneringen te maken.

Karpathy zegt verder:

A lot of people are inspired by what it could be to give large language models a system 2. Intuitively, we want to trade time for accuracy. So you could come to ChatGPT and ask: Take 30 minutes, you don’t have to respond immediately. You can take your time and think through it.

Als Project Strawberry inderdaad gericht is op het introduceren van System 2-achtig denken in AI, zou dit een significante stap voorwaarts kunnen zijn. Een stap in de richting van meer geavanceerde AI-systemen die in staat zijn tot diepgaande analyse, complexe probleemoplossing en mogelijk zelfs een vorm van zelfbewustzijn.

Wat echter goed is om te benoemen, is dat AI-systemen fundamenteel anders werken dan het menselijk brein. De toevoeging van System 2-achtige capaciteiten aan AI zou niet noodzakelijkerwijs resulteren in iets dat direct vergelijkbaar is met menselijk bewustzijn of intelligentie. Toch is de vergelijking interessant.

GPT-5? Op de drempel van een nieuw AI-tijdperk

De laatste status op het anonieme X-account is dat vandaag (donderdag 15 augustus) GPT-5 aangekondigd wordt. Daarmee zouden we kennis maken met Project Strawberry en next level redenatie-skills. Daarmee zouden we mogelijk de tweede stap (van de vijf) bereiken in de weg naar AGI. En daarmee komen we wellicht iets dichterbij System-2 denken.

Ondertussen duiken er online onbekende AI-modellen op. Onder andere één met de naam ‘sus-column-r’, met indrukwekkende redenatie-skills. Dit gebeurt vaker vlak voor de lancering van grote nieuwe AI-modellen. Of het om Project Strawberry (of een onderdeel daarvan) gaat is zoals je misschien al zou verwachten dan weer niet bekend.

De mogelijke introductie van System 2-achtig denken in AI, zoals gesuggereerd door de speculaties rond Project Strawberry, zou een significante stap voorwaarts kunnen betekenen. Het zou kunnen leiden tot AI-systemen die niet alleen snel en intuïtief kunnen reageren, maar ook in staat zijn tot diepgaande analyse, complexe redenering en mogelijk zelfs een vorm van zelfbewustzijn.

Of dat vandaag gebeurt weet ik niet. Maar dat we hier later dit jaar iets van gaan zien, daar ben ik wel van overtuigd. Je kunt de ontwikkelingen en speculaties ook beluisteren in deze podcast. Spannende tijden.

Header-afbeelding: gegenereerd in Magic Media van Canva