Onderzoekers hebben blootgelegd wat gebruikers typten toen ze vertrouwden op de eye-trackingtechnologie die in Apple Vision Pro werd gebruikt. Een groep onderzoekers slaagde erin te ontcijferen wat mensen op het virtuele toetsenbord van het apparaat typten terwijl ze virtuele avatars gebruikten.
Twee functies van Apple Vision Pro lieten zien wat gebruikers typten
Apple lanceerde eerder dit jaar de Vision Pro. Het is een revolutionaire “ruimtelijke computer” waarmee gebruikers bijna elke taak kunnen uitvoeren zonder externe, handheld controllers.
Een van de functies van Apple Vision Pro is “eye tracking”. Zoals de naam al aangeeft, volgt het oogbewegingen om de intenties en acties van gebruikers te beoordelen. Naast andere mogelijkheden, stelt de eye-trackingfunctie gebruikers in staat om te typen op een virtueel toetsenbord.
Apple Vision Pro-gebruikers vertrouwen op avatars wanneer ze Zoom-gesprekken voeren, Teams, Slack, Reddit, Tinder, Twitter, Skype en FaceTime. Een groep onderzoekers is er naar verluidt in geslaagd om informatie te verzamelen over wat de gebruikers typten met behulp van het virtuele toetsenbord van de Apple Vision Pro door deze twee functies te gebruiken om gevoelige informatie bloot te leggen.
Gedeeld met Bedraadde GAZEploit maakt gebruik van eye-tracking data om wachtwoorden, pincodes en andere tekst die mensen hebben getypt te raden, met een zorgwekkende mate van nauwkeurigheid. Concreet gesproken observeert de exploit wat deze virtuele avatars doen en waar ze naar kijken. Het gebruikt deze data om gevoelige data te raden.
Geeft Apple Vision Pro eye tracking de tekstinvoer niet weer?
Het is belangrijk om op te merken dat de hardware en software van de Apple Vision Pro niet zijn gecompromitteerd. Met andere woorden, de onderzoekers kregen geen toegang tot de headset van Apple. Daarom konden ze niet zien wat gebruikers bekeken.
Volgens Hanqiu Wang, een van de vooraanstaande onderzoekers die bij het werk betrokken is, probeert GAZEPloit te raden welke karakters de avatars van gebruikers op de VR-headset typen.
“Op basis van de richting van de oogbeweging kan de hacker bepalen welke toets het slachtoffer nu typt. (GAZEPloit) identificeerde de juiste letters die mensen in wachtwoorden typten in 77 procent van de gevallen binnen vijf keer raden en in 92 procent van de gevallen in berichten.”
De onderzoekers hebben bevestigd dat ze Apple in april hebben gewaarschuwd voor de kwetsbaarheid. De iPhone-maker heeft de kwetsbaarheid getagd als CVE-2024-40865 en heeft eind juli een patch uitgebracht. In essentie stopt Apple Vision Pro nu met het delen van een avatar als een gebruiker typt op het virtuele toetsenbord.
De onderzoekers trainden een recurrent neuraal netwerk (Machine Learning) met behulp van opnames van slechts 30 avatars van mensen. Gebruikers hoeven zich geen zorgen te maken over GAZEPloit, aangezien het beveiligingsonderzoekers betreft. Deze exploit laat echter zien hoe voorspelbaar oogbewegingen zijn, vooral wanneer gebruikers zich richten op het invoeren van gevoelige informatie.
