OpenAI heeft zojuist zijn eigen zoekmachine genaamd ChatGPT Search onthuld. Dit bevestigt in feite dat het tijdperk van de AI-aangedreven zoekmachine officieel aangebroken is. Nou ja, misschien niet helemaal. Volgens een nieuw rapport worstelt ChatGPT Search met nieuwsinhoud.
Net als Perplexity en Google AI Overviews is ChatGPT Search een tool die een door AI gegenereerd overzicht creëert van wat je hebt gezocht. Wat deze tools tot zoekmachines maakt, is het feit dat ze de links naar boven halen van de bronnen waar ze hun informatie vandaan hebben gehaald. Op dit moment zijn er slechts een handvol grote AI-zoekmachines op de markt, maar we verwachten dat dit aantal in de loop van de tijd zal groeien.
ChatGPT Search worstelt met nieuwsinhoud
Omdat ChatGPT Search zo nieuw is, onderzoeken mensen het om te zien hoe het zich verhoudt tot de concurrentie. Op basis van een nieuwe studie zien de zaken er niet zo goed uit voor de nieuwe tool.
Columbia’s Tow Center for Digital Journalism voerde een onderzoek uit naar ChatGPT Search en vond enkele zorgwekkende resultaten. Om de test uit te voeren, vroegen ze ChatGPT om de bron van 200 citaten uit 20 verschillende nieuwsartikelen te identificeren. Met het internet binnen handbereik zou je verwachten dat ChatGPT deze taak goed zou uitvoeren. Niet alleen dat, maar OpenAI heeft via licentieovereenkomsten toegang tot de inhoud van tientallen nieuwswebsites.
Volgens het rapport echter. De overgrote meerderheid van de antwoorden die de ChatGPT-zoekopdracht gaf, waren onnauwkeurig of onvolledig. Van de 200 antwoorden gaf het slechts over 47 correcte informatie. 57 waren gedeeltelijk correct en maar liefst 89 waren volledig fout. Ten slotte gaf het slechts zeven keer toe dat het het antwoord niet wist. Houd er rekening mee dat dit een behoorlijke nichetest was.
Tow Center gaf een paar voorbeelden van enkele problemen met ChatGPT Search. Ten eerste, toen gevraagd werd om een citaat uit een artikel in de New York Times te halen, liet de tool een link zien naar een site die het artikel volledig plagiaat pleegde. In een ander voorbeeld werd een citaat uit een Orlando Sentinel-verhaal verkeerd toegeschreven aan Time.
OpenAI gaf commentaar op dit onderzoek en noemde het een ‘atypische test van ons product’, en zei dat ‘verkeerde attributie moeilijk aan te pakken is zonder de gegevens en methodologie die het sleepcentrum heeft achtergehouden.’ OpenAI is dus niet blij met deze test. Het stelde de massa natuurlijk gerust dat het eraan werkt om de zoekresultaten te verbeteren. We weten niet zeker of dit het bedrijf is dat feitelijk toegeeft dat het een fout heeft gemaakt met ChatGPT Search. We zijn er in ieder geval zeker van dat dit soort problemen in de loop van de tijd minder vaak zullen voorkomen.
