Met deze nieuwe functies kan Gemini naar uw scherm kijken

Sinds de introductie is Google Gemini steeds slimmer geworden. De speciale app brengt de krachtige chatbot naar je telefoon en Google heeft net twee nieuwe functies geïntroduceerd die het nog beter maken. Google heeft de Ask about this-schermfunctie en Ask about this-videofunctie voor Gemini gelanceerd.

De Gemini-app is gratis te downloaden en komt nu ook naar tablets. Hiermee heb je de kracht van Gemini direct op je telefoon. Als je Gemini als je spraakassistent wilt gebruiken, kun je het instellen als je assistent. Zorg ervoor dat je de app downloadt als je geïnteresseerd bent in wat het te bieden heeft.

Google introduceert de functie Vraag over dit scherm

Laten we teruggaan naar het jaar 2015. Google onthulde een revolutionaire nieuwe functie genaamd Google Now On Tap. Als u het zich herinnert, was u er waarschijnlijk net zo enthousiast over als wij allemaal. Dit was de functie waarmee Google naar uw scherm kon kijken en de context kon lezen van wat erop stond.

Natuurlijk is die feature gekomen en gegaan, maar de mentaliteit leefde voort met Google Lens. Nou, het lijkt erop dat Google na negen jaar hard werken eindelijk deze droomfeature heeft gerealiseerd, maar de naam is niet pakkender. Vandaag is Google begonnen met het uitrollen van de feature Ask about this screen.

Hoewel de naam niet helemaal lekker in de mond ligt, is het vrij eenvoudig en intuïtief in gebruik. Zoals de naam al aangeeft, kun je Gemini vragen wat er op dat moment op je scherm staat als je hem oproept. Het maakt het in feite makkelijker om een ​​van de handigste functies van Google Lens te gebruiken. Je kunt screenshots maken en deze importeren in Google Lens, waarna hij voorleest wat erop staat. Met Ask about this screen maakt Gemini de screenshot en analyseert deze voor je, waardoor de tussenpersoon wordt uitgeschakeld.

Nadat je Gemini hebt opgeroepen, zie je de actieknop boven het tekstveld verschijnen, zodat je het niet hoeft te typen of te zeggen. Dat maakt de functie nog handiger. De knop verschijnt voor je, ongeacht welk scherm of welke app je gebruikt. De enige uitzondering is als je op YouTube zit.

In klassieke AI chatbot-stijl geeft Gemini je een diepgaande uitleg van wat er op het scherm staat. Stel dat je een afbeelding van een bepaalde bloem op social media ziet, en de post geeft je geen context over wat het is. Je kunt Gemini oproepen om te scannen wat er op je scherm staat en je te vertellen wat het is.

Er is ook Vraag over deze video

De andere functie die Google onthulde is speciaal voor YouTube. Nu zal Google niet op de een of andere manier de hele video in een oogwenk bekijken en je een play-by-play geven van waar het over gaat. Het zal informatie over de video extraheren, zoals de ondertitels. Als de video geen ondertitels heeft, zal de functie eigenlijk niet werken.

Deze twee functies vinden hun weg naar gebruikers, en het lijkt er niet op dat Google ze gegijzeld houdt in de Pixel-telefoons. Ze werden ontdekt in versie 15.33.38.28 van de app.

De functie gebruiken

De functie werkt goed in mijn tests. Het ding is dat je een app moet gebruiken om het te laten werken, dus je zult het niet zien verschijnen als je op je startscherm bent. Het werkt echter wel met systeem-apps zoals de instellingen.

Wat betreft de snelheid, die is erg snel. Dat geldt ook voor het analyseren van video’s. Ik kon binnen een paar seconden een volledig overzicht van de video krijgen, en ik vind dat echt indrukwekkend. Ik vind het ook leuk dat je vervolgvragen kunt stellen over wat je bekijkt.

Ik heb maar één kleine klacht over de functie. Ten eerste moet je, nadat je op de knop hebt gedrukt, op de microfoonknop drukken om te beginnen met spreken. Het zou fijn zijn als de microfoon meteen actief zou zijn om meteen te kunnen beginnen met spreken. Op die manier hoeven mensen die spreken geen extra stap te zetten. Mensen die typen, zullen toch al met het scherm interacteren, dus een extra tik heeft niet echt invloed op de ervaring.

Thijs Van der Does