Deze nieuwe functie brengt Project Astra eindelijk in de echte wereld

Meestal, wanneer we hulp nodig hebben van een AI -assistent, heeft het iets te maken met inhoud op ons scherm. In de loop van enkele maanden heeft Gemini langzaam de mogelijkheid gekregen om te zien wat er op uw scherm staat. Nou, Google heeft zojuist een nieuwe Gemini Screenshare -functie toegevoegd die de puzzel voltooit.

Er zijn een paar functies waarmee Gemini kan lezen wat er op uw scherm staat. Ten eerste, wanneer je Gemini oproept, zie je de Vraag naar dit scherm knop. Wanneer u erop drukt, kunt u Gemini -vragen stellen over wat er op uw scherm staat. De functie Screenshots is vergelijkbaar omdat deze kan lezen wat er in uw screenshots staat. Hoewel dit technisch gezien geen Gemini -functie is, kunt u Circle to Search ook snel een lens zoeken naar wat er op uw scherm staat.

Mensen hebben echter gewacht op een alles-in-één oplossing om vast te stellen wat er op hun telefoons of tablets gebeurt. Het is iets waar alle grote AI -bedrijven aan werken.

Gemini heeft nu een screenshare -functie

Dit is iets dat Google vorig jaar tijdens Google I/O heeft onthuld, dus mensen hebben het wachten gehad. Hoewel Gemini je scherm al kan lezen, heeft Google een veel meer naadloze methode toegevoegd om dit te doen. Zoals het er nu uitziet, kunt u alleen vragen stellen over wat er op één scherm staat. Als u van schermen wilt wijzigen of wilt scrollen, moet u een nieuw gesprek initiëren.

Maandag kondigde Google echter een nieuwe Gemini -functie aan genaamd Screenshare. Deze functie deelt uw scherm in realtime op Gemini. In de onderstaande video gaf Google een voorbeeld van een persoon die naar een jeans op hun scherm keek. Toen, terwijl hij hun scherm deelt, kon de persoon naar een onderste deel van het scherm scrollen en Gemini nog een vraag stellen.

https://www.youtube.com/watch?v=zcmul7ve9ao

Dus de persoon is in staat om een ​​live gesprek te voeren over de broek alsof hij met een echte persoon sprak. U kunt niet alleen scrollen terwijl Gemini met u praat, u hoeft niet alleen Gemini op te roepen als u een andere vraag wilt stellen. Net als bij Gemini Live kun je een natuurlijk gesprek voeren.

Gemini live met video

Wat misschien wel de meest verwachte functie is, is Gemini Live met video. Misschien herinner je je dit uit de Project Astra Showcase. Het liet mensen zien dat Gemini -vragen stelden over een live videofeed. In de onderstaande video zien we de persoon die vraagt ​​naar welk kleurglazuur ze aan een vaas moeten toevoegen. Nou, Gemini was in staat om hen in realtime suggesties te geven. Net als bij het voorbeeld van het screenshare was de persoon in staat om een ​​live gesprek met Gemini te voeren.

https://www.youtube.com/watch?v=blhy4op9y0u

Omdat dit een vrij nieuwe en opwindende Gemini -functie is, is het exclusief voor Gemini Advanced -gebruikers. Google rolt de Gemini Screenshare -functie later deze maand uit naar betaalde gebruikers.

Thijs Van der Does