Toen smartphones voor het eerst op het toneel verschenen, waren de groei en verbeteringen bij elke nieuwe generatie enorm. Tegenwoordig zijn de verbeteringen traag geworden. AI wordt geconfronteerd met een soortgelijk probleem dat bekend staat als ‘piekgegevens’, maar onderzoekers van Google DeepMind lijken er een manier omheen te hebben gevonden.
Wat zijn “piekgegevens”?
Het concept van ‘piekgegevens’ is vergelijkbaar met de vooruitgang van de technologie. In het begin, wanneer de dingen nieuw en grotendeels onontdekt zijn, zijn de winsten bij elke nieuwe generatie enorm. Maar naarmate de zaken volwassener worden, worden die winsten kleiner.
Piekgegevens zijn in essentie hetzelfde. Alle zogenaamde ‘nuttige gegevens’ op internet hebben al AI-modellen getraind. Medeoprichter van OpenAI, Ilya Sutskever, zei tijdens een recente conferentie: “We hebben piekgegevens bereikt, en die zullen er niet meer zijn.” Hij suggereerde ook dat dit tijdperk van verbeteringen “ongetwijfeld zal eindigen”.
Gezien de miljarden dollars die veel bedrijven in de technologie hebben gepompt, klinkt het nogal beangstigend. Maar het lijkt erop dat Google DeepMind-onderzoekers misschien een manier hebben bedacht om het probleem op te lossen.
De oplossing van Google
De onderzoekers geloven dat ze dit probleem kunnen overwinnen door de manier te veranderen waarop AI-modellen ‘denken’. Dit omvat een aanpak die bekend staat als inference-time compute. Hier wordt een query opgesplitst in kleinere taken, waarbij elke taak als zijn eigen prompt fungeert. Dit betekent dat in plaats van de initiële vraag als geheel te benaderen, het AI-model de vraag zal opsplitsen in kleinere taken, deze taken één voor één zal verwerken en pas naar de volgende taak zal gaan zodra elk onderdeel goed is.
Je zou dit kunnen zien als het volgen van een kookrecept. Het maken van een gerecht omvat vele stappen. Maar in plaats van alles in één keer te doen, verdeel je het proces in afzonderlijke taken. Je pelt eerst de knoflook en snijdt hem daarna fijn. Daarna ga je verder met de uien, gevolgd door de wortels, enzovoort.
De onderzoekers van Google DeepMind publiceerden in augustus een onderzoekspaper over hun aanpak en ontdekten dat deze het potentieel had om het probleem van AI-piekgegevens te overwinnen. Maar is het de perfecte oplossing? Niet precies.
Volgens Charlie Snell, een van de onderzoekers die aan het onderzoek heeft bijgedragen, werkt inference-time computing met vragen die een duidelijk antwoord hebben, zoals een wiskunde-uitdaging. Voor andere vragen die redenering vereisen, zal het niet zo eenvoudig zijn. De positieve kant is dat er vroege tekenen van succes zijn, dus misschien is er enige hoop.
