Op dit moment bevinden we ons op een punt waarop AI-modellen tekenen van menselijke intelligentie beginnen te vertonen. Bedrijven steken duizenden uren en miljarden dollars in het trainen van hun modellen, maar ze realiseerden zich al snel dat het oppompen van hun modellen met meer gegevens niet de gewenste resultaten zou opleveren. AI-bedrijven proberen een bepaalde beperking te doorbreken met trainingsmodellen.
Niemand kan de enorme hoeveelheid gegevens doorgronden die tot nu toe in AI-modellen is ingevoerd. Bedrijven hebben gegevens verzameld uit talloze bronnen, zoals nieuwssites, YouTube, sociale-mediaplatforms en nog veel meer. Deze bedrijven hebben veel van deze gegevens zonder ons medeweten verzameld, en dit gaat nog steeds door.
De tactiek om betere AI-modellen te bouwen is om ze te trainen op steeds grotere hoeveelheden data, dus bedrijven hebben nieuwe manieren gevonden om meer te verzamelen. Bedrijven als OpenAI, Meta en Google hebben bijvoorbeeld licentieovereenkomsten gesloten met verschillende mediabedrijven om hun gegevens te gebruiken.
AI-bedrijven proberen voorbij de beperking te komen door grote modellen te trainen
Miljarden mensen over de hele wereld creëren elke dag online inhoud. Het is dus ondenkbaar dat alle gegevens van de wereld kunnen worden verzameld om AI-modellen te trainen. Volgens een rapport zijn veel van de gemakkelijk toegankelijke gegevens in de wereld echter mogelijk al gebruikt om modellen te trainen.
Dit is een behoorlijk groot probleem, want naarmate modellen groter worden, hebben ze meer trainingsgegevens nodig. Als bedrijven al zo vroeg tegen databeperkingen aanlopen, is de kans uitgesloten dat ze AGI (Artificiële Algemene Intelligentie) zullen bereiken.
Ilya Sutskever, medeoprichter van OpenAI en Safe Superintelligence, zei dat de fase van het trainen van AI-modellen op een plateau is beland. Grotere en meer data-hongerige AI-modellen leveren gewoon niet het soort resultaten op waar bedrijven naar op zoek zijn. Het is dus niet de bedoeling om deze modellen met steeds meer gegevens te vullen.
Het zijn niet alleen de gegevens
Er zijn nog andere factoren die tot deze beperking leiden. Ten eerste heeft AI niet alleen data nodig, maar ook stroom. Het runnen van enorme datacenters met duizenden chips en servers kan de rekening behoorlijk doen oplopen. Dit is een reden waarom Google, OpenAI en Meta kernenergie onderzoeken. Als bedrijven grotere modellen willen trainen, zullen ze rekening moeten houden met de hoeveelheid energie die dat gaat kosten.
Vervolgens zal, zoals Reuters stelt, de hardware die deze modellen aandrijft, onvermijdelijk falen als deze constant wordt gebruikt. Welnu, naarmate de modellen groter worden, zal de druk op de chips en andere componenten alleen maar toenemen.
Als zodanig hebben bedrijven als OpenAI, Google en anderen gewerkt aan andere manieren om hun modellen te verbeteren zonder er gegevens in te dumpen. Noam Brown, een OpenAI-onderzoeker, zei bijvoorbeeld: “Een bot slechts 20 seconden laten nadenken bij een pokerhandje leverde dezelfde prestatieverbeteringen op als het model 100.000 keer opschalen en het 100.000 keer langer trainen.”
Opschaling is dus misschien niet de weg naar AGI. Bedrijven gaan op zoek naar inventieve manieren om slimmere AI te realiseren. Op dit moment weten we niet wat andere bedrijven gaan doen, maar we zijn er zeker van dat het AI-landschap niet hetzelfde zal zijn.
