Een nieuw rapport heeft enkele vermeende veranderingen in het interne evaluatiebeleid van Gemini, de AI-aangedreven chatbot van Google, aan het licht gebracht die tot minder nauwkeurige antwoorden zouden kunnen leiden. Onder degenen die dergelijke reacties evalueren, bevinden zich ook medewerkers van externe contractanten die volgens de richtlijnen van Google werken. Dat gezegd hebbende, zou Google contractanten kunnen dwingen om Gemini’s antwoorden te beoordelen op onderwerpen waarvoor ze niet gekwalificeerd zijn om te antwoorden.
Het trainen van AI-aangedreven chatbots is een complexer proces dan je zou denken. Het gaat niet alleen om het toevoegen van zoveel mogelijk gegevens aan de kennisbank van een AI-model. Die gegevens moeten aan bepaalde parameters voldoen, zoals een passende organisatiestructuur, om bruikbaar te zijn. Bovendien zijn er honderden (of duizenden) mensen die de kwaliteit van de reacties evalueren. Op AI gerichte bedrijven werken er hard aan om het percentage potentieel foutieve antwoorden tot een minimum te beperken.
Google zou contractanten kunnen dwingen de antwoorden van Gemini te beoordelen op onderwerpen buiten hun vakgebied
Een TechCrunch-rapport beweert echter dat Google lakser is geworden met betrekking tot zijn beleid voor het beoordelen van Gemini-reacties. De bron beweert dat aannemers de mogelijkheid hadden om de beoordeling van een specifiek antwoord over te slaan als ze zich daartoe niet gekwalificeerd voelden. Ze hadden bijvoorbeeld de beoordeling van een antwoord met betrekking tot gezondheidskwesties kunnen overslaan.
Meer specifiek vermeldden de eerdere richtlijnen van Google naar verluidt het volgende: “Als u niet over cruciale expertise beschikt (bijvoorbeeld coderen, wiskunde) om deze prompt te beoordelen, kunt u deze taak overslaan.” Dat is sindsdien veranderd, blijkt uit interne correspondentie van TechCrunch. Nu zeggen de richtlijnen dat aannemers “mag geen aanwijzingen overslaan waarvoor gespecialiseerde domeinkennis vereist is”, beweert de outlet.
Voor antwoorden over onderwerpen waarover opdrachtnemers niet voldoende kennis hebben, zou Google hen kunnen aansporen om “de delen van de prompt die u begrijpt.” In deze gevallen moeten ze ook een briefje achterlaten waarin staat dat ze niet over voldoende expertise op dit gebied beschikken.
Er zijn nog enkele uitzonderingen
Er zijn nog steeds situaties waarin aannemers een reactie volledig kunnen overslaan. De Mountain View-gigant staat dit toe als er “volledig ontbrekende informatie”, aldus het rapport. Dat wil zeggen dat ze dit alleen kunnen doen als er belangrijke informatie ontbreekt die het antwoord of de vraag onbegrijpelijk maakt. Een ander geval waarin de uitzondering van toepassing is, is wanneer het antwoord mogelijk schadelijke inhoud bevat. Voor dit soort antwoorden is aanvullende toestemming via formulieren vereist.
Het vermeende nieuwe beleid roept zorgen op over de kwaliteit van de reacties van Gemini. Het probleem kan vooral gevoelig zijn wanneer gebruikers zich bijvoorbeeld tot de chatbot wenden om informatie over hun gezondheid te zoeken. In zo’n geval is hoge nauwkeurigheid absoluut cruciaal en zou de foutmarge vrijwel onbestaande moeten zijn.
Er is nog steeds geen officieel woord van Google over deze kwestie. Het is mogelijk dat het bedrijf ook een aantal extra dingen heeft aangepast om ervoor te zorgen dat hun vermeende nieuwe beoordelingsbeleid voor Gemini-antwoorden de nauwkeurigheid ervan niet beïnvloedt. Dit is echter slechts speculatie in afwachting van een verklaring van het bedrijf. Hopelijk komt er snel meer nieuws.
