De volgende fase van mobiele kunstmatige intelligentie verschuift van het beantwoorden van vragen naar het daadwerkelijk voor elkaar krijgen van dingen. Uit recente bevindingen in de bètaversie van de Google-app (v17.4) blijkt dat het bedrijf een functie ontwikkelt met de naam ‘schermautomatisering’ (codenaam ‘Bonobo’) die tot doel heeft Gemini rechtstreeks te laten communiceren met andere apps op uw telefoon om namens u processen in meerdere stappen te voltooien.
Het concept is eenvoudig: in plaats van dat u een app voor het delen van ritten opent, een adres intypt en een voertuig bevestigt, zegt u eenvoudig tegen Gemini dat hij ‘een rit naar kantoor moet boeken’. De schermautomatisering van Google Gemini zou door de app kunnen bewegen, de juiste opties kunnen kiezen en de bestelling gereed kunnen maken.
In eerste instantie zal deze experimentele Labs-functie (gespot door 9to5Google) waarschijnlijk alleen werken met een klein aantal compatibele apps voor algemene taken zoals het bestellen van eten of het boeken van vervoer.
Google Gemini gaat Android-apps besturen via een nieuwe functie voor schermautomatisering
Het idee van een handsfree smartphone-ervaring is absoluut aanlokkelijk. Google probeert echter niemand te misleiden over de mogelijkheden en beperkingen van de functie. Vroege codestrings bevatten waarschuwingen dat “Gemini fouten kan maken” en benadrukken dat gebruikers verantwoordelijk blijven voor eventuele acties die de AI onderneemt. Hierdoor kun je met de interface het proces in realtime begeleiden en het handmatig overnemen als de AI uit koers raakt.
Om deze functie goed te laten werken, moet Gemini weten hoe een app er visueel uitziet. Maar zoals we al weten, kan de gebruikersinterface van apps steeds meer worden gebruikt. Dit is waarschijnlijk de reden waarom de schermautomatisering van Google Gemini het werk van Android 16 QPR3 nodig heeft om ervoor te zorgen dat het besturingssysteem de moeilijke taak aankan om een AI het scherm te laten ‘zien’ en ‘aan te raken’ zoals een mens dat zou doen.
De privacy-afweging
Zoals bij de meeste geavanceerde AI-functies zijn er belangrijke privacyoverwegingen waarmee u rekening moet houden. Om de service te verbeteren heeft Google mogelijk reviewers getraind om screenshots te onderzoeken van hoe Gemini met uw apps communiceert. Google raadt ook af om automatisering te gebruiken voor gevoelige taken. De huidige aanbevelingen waarschuwen gebruikers om geen inlog- of betalingsgegevens in te voeren in Gemini-chats en om de functie niet te gebruiken voor noodgevallen.
Voorlopig is de veiligste manier om deze nieuwe middelen te gebruiken voor routinematige, niet-gevoelige klusjes waarbij een kleine fout geen grote hoofdpijn zou veroorzaken.
De potentiële transitie van een passieve assistent naar een actieve agent is een belangrijke mijlpaal voor Android. We hebben al vergelijkbare ‘Auto Browse’-functies gezien in Chrome die formulieren automatisch invullen. Het overbrengen van deze logica naar het hele besturingssysteem voelt als de volgende logische stap. Of u dit vooruitzicht opwindend of enigszins invasief vindt, hangt af van uw comfortniveau met AI-autonomie.
