De PixelShot-app analyseert screenshots met AI op niet-Pixel-telefoons

Een nieuwe app genaamd PixelShot breidt de Pixel Screenshots AI-ervaring uit naar vrijwel elke moderne Android-smartphone. Hoewel de app enige internetverbinding nodig heeft, kan deze tekst uit schermafbeeldingen extraheren en verwerken.

De PixelShot-app biedt toegang tot Pixel Screenshots AI op andere Android-smartphones

Sinds Google de Pixel 9-smartphoneserie lanceerde, heeft het bedrijf nieuwe functies en apps geïntroduceerd die exclusief zijn voor deze vlaggenschip-smartphones. De Pixel Screenshots is zo’n exclusieve Pixel-app. Het vertrouwt op AI en Gemini op het apparaat om de schermafbeeldingen te analyseren. Het haalt tekst en andere relevante informatie uit die schermafbeeldingen om deze beschikbaar te maken voor later gebruik.

Met de kracht van kunstmatige intelligentie (AI) kunnen Pixel Screenshots informatie verzamelen, verwerken en vervolgens presenteren volgens de vragen van de gebruiker. Vanzelfsprekend kan elke Android-smartphone profiteren van een dergelijke app.

De PixelShot-app herschept in wezen de Pixel Screenshots AI-ervaring voor niet-Pixel-smartphones. De PixelShot-app is ontwikkeld door Mehul Kanzariya en verwerkt schermafbeeldingen om tekst te extraheren. De nieuw uitgebrachte app is beschikbaar in de Google Play Store en is voorlopig gratis.

Hoe werkt de PixelShot-app?

Nadat tekst uit schermafbeeldingen is gehaald, gebruikt PixelShot een AI-model om samenvattingen van die tekst te genereren. Net als bij de Pixel Screenshots-app, stelt de PixelShot-app gebruikers naar verluidt in staat handmatig notities toe te voegen aan individuele schermafbeeldingen en deze in verzamelingen te ordenen.

De PixelShot-app is beschikbaar voor alle Android-apparaten met Android 11 en hoger, is gratis en bevat geen advertenties. Gezien de hoeveelheid verwerking die de app doet, heeft de ontwikkelaar echter plannen gesuggereerd om geld te verdienen met het platform.

De ontwikkelaar van PixelShot heeft ervoor gezorgd dat screenshots het apparaat nooit verlaten. De tekst van de schermafbeeldingen wordt echter naar de cloud geüpload zodat een AI-model deze kan samenvatten.

Concreet helpt het machine learning-model van de ML Kit SDK van Google bij het extraheren van tekst uit schermafbeeldingen op het apparaat. De Llama 3 8B Instruct, gehost op Replicate, verwerkt vervolgens de geüploade tekst. PixelShot vertrouwt op lokale AI om een ​​titel en samenvatting te genereren. Deze worden lokaal op het apparaat opgeslagen met behulp van een ruimtedatabase.

PixelShot kan alleen tekst verwerken of verwerken en de app moet op de voorgrond draaien. De Pixel Screenshots-app kan afbeeldingen van producten verwerken om op de achtergrond een relevant overzicht te genereren.

AI Screenshotzoeker PixelShot `(Google Play Store)

Thijs Van der Does