Kunstmatige intelligentie is nuttig gebleken voor een groot aantal taken. Een van de meest aangeprezen functies van AI-gerichte bedrijven is de mogelijkheid om inhoud samen te vatten. Dit lijkt geweldig voor zeer lange of complexe artikelen waar de chatbot een meer “verteerbare” versie zou kunnen bieden. Sommige van de toonaangevende AI -chatbots zijn echter onnauwkeurig gebleken bij het genereren van nieuwssamenvattingen in tests.
De BBC testte vier van de toonaangevende AI -chatbots, gericht op hun vermogen om nieuws samen te vatten. De chatbots in kwestie zijn Openai’s Chatgpt, Microsoft’s Copilot, Google’s Gemini en Anthropic’s Perplexity. Tijdens het testen stelde de BBC AI -chatbots in staat om toegang te krijgen tot zijn nieuwsfeeds. De outlet staat dit meestal niet toe, omdat ze een “robots.txt” -bestand gebruiken om AI -platforms te vertellen dat ze geen inhoud van haar website kunnen pakken. Ze hebben echter tijdelijk de beperking voor testen uitgeschakeld.
AI -chatbots hebben een grote kans om onnauwkeurige nieuwssamenvattingen te genereren, blijkt uit BBC -tests
Het experiment bestond uit het maken van AI -chatbots samenvattingen voor 100 BBC -nieuwsartikelen. De outlet bracht ook experts in de relevante nieuwsonderwerpen binnen om de output te beoordelen. De resultaten toonden aan dat 51% van de gegenereerde samenvattingen opmerkelijke problemen hadden. Het meest verontrustende deel was dat er een hallucinatiepercentage van 19%was. Meer specifiek omvatten de samenvattingen voor 19% van de artikelen onjuiste-of niet-bestaande-feitelijke cijfers of datums.
Het rapport vermeldt ook dat de chatbots “worstelde om onderscheid te maken tussen meningen en feiten, redactioneel, en kon vaak geen essentiële context omvatten. “
Deborah Turness, CEO van BBC News, had een paar woorden over de resultaten van de tests. Ze beschouwt AI als een bron van “Eindeloze kansen. ” Turness is echter van mening dat AI -bedrijven ‘zijn’Spelen met vuur. ” ‘We leven in moeilijke tijden, en hoe lang zal het duren voordat een door AI-getrande kop aanzienlijke schade in de praktijk veroorzaakt?”
AI -platforms zijn niet inherent slecht in het genereren van samenvattingen
Turness zegt dat ze open staat voor ‘Werk samen in partnerschap om oplossingen te vinden. ” Openai was de enige van de vier AI -bedrijven die een verklaring over de resultaten aanbood. ‘We hebben samengewerkt met partners om in-line citatie-nauwkeurigheid te verbeteren en de voorkeuren van de uitgever te respecteren, waaronder het inschakelen van hoe ze in zoek gaan door OAI-SearchBot in hun robots.txt te beheren. We zullen de zoekresultaten blijven verbeteren‘Zei een woordvoerder.
Dit betekent niet dat AI -platforms inherent slecht zijn in het genereren van samenvattingen. Ze hebben de neiging om behoorlijk goed werk te doen als het gaat om kleine stukjes informatie uit verschillende bronnen. AI-aangedreven tools die e-mails samenvatten, werken ook prima. Het lijkt er echter op dat dingen ingewikkelder worden wanneer ze te maken hebben met langere en complexere inhoud.
