Ethiek en grote bedrijven gaan samen als water en natrium. We kunnen niet ontkennen dat een bedrijf, om voortdurende groei te garanderen, een aantal duistere en verknipte praktijken moet toepassen, en dit betekent dat er iemand in het proces moet worden genaaid. Voer in, Google! De journalistieke sector is niet blij met dit bedrijf, en dit komt omdat Google nieuwsbedrijven dwingt hun crawlers te gebruiken. Waarom is dit duister, en hoe verpest het publicaties?
Om u op de hoogte te houden, gebruikt Google crawlers om informatie van verschillende websites te extraheren. Dit is de reden waarom websites op Google Zoeken verschijnen. Het bedrijf gebruikt zijn crawlers echter ook om gegevens van websites te extraheren om zijn LLM’s te trainen. In eerste instantie was dit om Bard te trainen, maar deze praktijk voedt nu Gemini.
Google gaf publicaties uiteindelijk de mogelijkheid om te voorkomen dat de crawlers gegevens van hun sites verzamelen om Gemini te trainen. Er doemde echter nog een andere dreiging op: Google’s AI Overviews. Dit is de tool van het bedrijf waarmee mensen door AI gegenereerde samenvattingen kunnen zien van waarnaar ze hebben gezocht. Het voorkomt feitelijk dat verkeer veel van de sites bereikt waar mensen anders naartoe zouden zijn gegaan. We hebben de resultaten van deze tactiek al gezien, aangezien talloze sites een drastische daling in het verkeer melden.
Dit is hoe Google nieuwssites dwingt om zijn crawlers te gebruiken
Bedrijven die niet wilden dat hun gegevens werden geschraapt, kregen een goedmaker in de vorm van Google Extended. Dit is een tool die voorkomt dat Google zijn crawler gebruikt om websitegegevens te schrapen om Gemini te trainen. Er zit echter een addertje onder het gras. Deze tool kan Google er niet van weerhouden sites te openen voor gebruik in AI-overzichten. Dus hoewel uw websitegegevens Gemini niet voeden, heeft Google nog steeds toegang tot informatie op uw site om deze weer te geven in AI-overzichten.
De enige manier om Google hiervan te weerhouden, is door Googlebot te blokkeren. Dit is de crawler die Google gebruikt om uw website te indexeren. Als u die crawler echter uitschakelt, wordt uw site helemaal niet weergegeven in de zoekresultaten van Google. Uw site zal onzichtbaar zijn voor het grootste deel van de wereld.
Site-eigenaren worden dus voor een onmogelijke keuze gelaten. Ze kunnen hun site met tegenzin laten bijdragen aan AI Overviews of worden geschrapt van het grootste zoekplatform ter wereld. Dit is niet het soort keuze dat elk bedrijf zou moeten maken.
Eén van de grootste nieuwssites spreekt zich uit
Het is duidelijk dat dit nieuwssites over de hele wereld woedend maakt, en een van hen sprak zich uit over deze tactiek. De directeur openbaar beleid en platformstrategie van The Financial Times, Matt Rogerson, schreef een brief aan barones Stowell, voorzitter van de Communications and Digital Committee van het House of Lords. Dit is een commissie die actief is in Groot-Brittannië. In de brief zegt Rogerson dat de praktijk van Google “laat website-eigenaren een niet benijdenswaardige keuze over.‘Het is een ultimatum.
De brief vervolgt: “Om u volledig af te melden voor de Google Zoeken-crawler en onzichtbaar te worden voor de meer dan 90% van de Britse bevolking die momenteel Google Zoeken gebruikt, of om scraping door te laten gaan op een manier die zowel waarde onttrekt zonder compensatie als de opkomende commerciële licentiemarkten voor het gebruik van hoogwaardige IP om de AI-modellen van de toekomst te bouwen en mogelijk te maken.”
Wat dit nog erger maakt, is het feit dat Google advertenties wil weergeven op zijn AI-overzichten. Dit betekent dat deze tool niet alleen verkeer van sites omleidt, maar ook profiteert van de overzichten. In plaats van de inkomsten uit siteverkeer te verdelen, gebruikt Google de informatie van websites voor zijn overzichten en betaalt Google geen geld terug aan de site.
De vraag is: wat heeft het voor zin om te schrijven als Google gebruikt wat u schrijft, uw verkeer steelt en er winst mee maakt? Op dit moment staat niets een succesvolle start in de weg, behalve de fouten van Google zelf. Het bedrijf had bij de lancering moeite met AI Overviews vanwege de overhaaste release van het bedrijf. Het bedrijf is echter bezig met het oplappen van de technologie en het distribueren van AI-overzichten naar meer plaatsen in de wereld.
De beweringen van Google
Volgens het rapport zegt Google dat klikken op AI-overzichten van hogere kwaliteit zijn. Er staat dat dit komt omdat mensen eerder op de gepromote sites blijven. AI Overviews toont echter een korte lijst met sites. Hoewel de klikken van hogere kwaliteit zijn (dit is volgens Google en er is geen enkel bewijs geleverd om dit te ondersteunen), blokkeert het de meerderheid van de andere sites die over hetzelfde verhaal rapporteren.
Dit betekent dat alleen de beste nieuwssites kans maken op klikken, waardoor kleinere, maar nog steeds geldige, sites buiten beschouwing worden gelaten. Bovendien maakt het het bijna onmogelijk voor opkomende nieuwssites om een kans te krijgen om te floreren. Daarnaast zal AI-overzichten het verkeer naar de grotere sites verminderen, omdat mensen eerder geneigd zijn alleen de overzichten te lezen en verder te gaan met hun dag.
De journalistieke sector gaat veranderen vanwege AI-overzichten en andere AI-aangedreven tools. We hebben het over ChatGPT Search, Perplexity en anderen. Het valt niet te voorspellen of er over een paar jaar zelfs maar een journalistieke industrie zal zijn.
