Op dit moment kopen grote bedrijven GPU’s om hun AI-modellen te trainen. Hierdoor is Nvidia een van de meest waardevolle bedrijven ter wereld. Welnu, er is een bedrijf met de naam Groq dat zojuist op het toneel verscheen, en dit bedrijf brengt een speciaal soort chip op de markt die andere bedrijven ertoe zou kunnen aanzetten te heroverwegen wat ze doen. Groq introduceerde de LPU en gebaseerd op een vroeg voorbeeld: het is behoorlijk snel.
Om de zaken op te helderen: veel mensen op sociale media en op internet verwijzen naar Groq als een AI-model. Echter, Groq is eigenlijk geen AI-model. Een nauwkeurigere beschrijving ervan zou een ‘AI-chipsysteem’ zijn. Alle voorbeelden die je ziet van het genereren van tekst door Groq zijn via een chatbot genaamd GroqChat. Het bedrijf maakt gebruik van open-sourcemodellen zoals Llama 2 en Mixtral om voorbeelden te laten zien van hoe snel AI-modellen kunnen draaien op de Groq AI-chipinterface. De tekst die wordt gegenereerd, is dus niet gemaakt door Groq. Beschouw Groq als de lopende band die de tekst voortbeweegt.
Groq zou met zijn LPU-technologie de AI-chipmarkt kunnen doen schudden
Het bedrijf werd van de ene op de andere dag een succes toen video’s van het produceren van tekst opdoken. Het bedrijf werd echter feitelijk opgericht in 2016, hetzelfde jaar waarin OpenAI werd opgericht. Het is dus niet echt een nieuwkomer.
Als je nieuwsgierig bent naar wat een LPU is, dan is het grootste deel van de wereld dat ook. De LPU staat voor Language Processing Unit en is ontworpen door Groq Inc. zelf. Het is een chip die speciaal is ontworpen voor de taken die hij uitvoert.
zij aan zij Groq vs. GPT-3.5, compleet andere gebruikerservaring, een game changer voor producten die een lage latentie vereisen pic.twitter.com/sADBrMKXqm
— Dina Yerlan (@dina_yrl) 19 februari 2024
We hebben voorbeelden gezien van GroqChat versus ChatGPT, en ze zijn behoorlijk wild. Een voorbeeld laat zien dat Groq in ongeveer 3 seconden een grote tekstmuur genereert. Het kostte ChatGPT ongeveer 20 seconden om hetzelfde te doen. Het bedrijf stelt zelfs dat Groq tot 500 tokens per seconde kan verwerken. Dit is enorm vergeleken met de 40 tokens per seconde van GPT 3.5.
Waarom is Groq zo snel? Waarom zijn Apple-producten zo snel?
Wat Groq aan het doen is, is serieus indrukwekkend, en het zou in de toekomst een enorme paradigmaverschuiving voor AI-chips kunnen inluiden. Groq Inc. heeft een video op X geplaatst waarin ik enkele aspecten van het bedrijf uitlegde, en één citaat viel op. “We zijn sneller omdat we onze chip en systemen hebben ontworpen”.
Dit wijst erop dat deze chips vanaf de basis sterk zijn geoptimaliseerd om met Groq’s eigen systemen te werken. Als het om andere AI-bedrijven gaat, kopen zij hun GPU’s bij bedrijven als Nvidia.
Als dit soort dynamiek bekend klinkt, dan ken je Apple versus de rest van de wereld! Apple ontwerpt zijn chips en bouwt zijn hardware en software van de grond af aan om naadloos met elkaar samen te werken. Dit is de reden waarom de apparaten zo waanzinnig snel en betrouwbaar zijn. Nou, dit is waarschijnlijk wat we nu zien met Groq.
Het bedrijf bouwt zijn chips en de interface die daarop draait, namelijk Groq. Dit soort optimalisatie draagt dus zeker bij aan de snelheid en prestaties die we in de video’s zien.
We weten niet zeker of andere bedrijven dit model gaan navolgen. Als Groq echter een even grote disruptor blijkt te zijn als het lijkt, zullen andere bedrijven dit voorbeeld zeker volgen
