Eén verborgen Meta Muse-instelling zou ervoor kunnen zorgen dat aanvallers de AI-assistent in een achterdeur kunnen veranderen

Malware die al op een Mac draait, kan stilletjes de Muse-assistent van Meta overnemen en gebruik maken van de brede toegang die de eigenaar aan de app heeft verleend, zo heeft beveiligingsonderzoeker Patrick Wardle aangetoond in een proof-of-concept dat op 21 september werd uitgebracht.

Het werkt door een verborgen instelling te wijzigen, zodat wanneer de gebruiker op de microfoon tikt en een prompt dicteert, de woorden naar de aanvaller gaan in plaats van naar Meta.

De fout zit in de Mac-versie van Muse en werkt alleen als een aanvaller al code kan uitvoeren als de ingelogde gebruiker. Het kan niet zelfstandig inbreken op een Mac. Maar Wardle vertelde The Hacker News dat een aanvaller op afstand Muse kan kapen en zijn token kan stelen via een ClickFix-truc, die de gebruiker ertoe verleidt één enkele opdracht uit te voeren zonder dat hij hoeft te downloaden of te installeren.

Muse is de persoonlijke AI-agent die Meta deze maand in de Verenigde Staten lanceerde. Zodra een gebruiker het heeft ingeschakeld, kan het werken met zijn bestanden, e-mail, berichten, agenda, winkelen en smarthome-apps, met gebruikmaking van de toegang die de persoon ervoor kiest.

Die toegang is het punt, zegt Wardle. Hij drong er bij mensen op aan om Muse niet te installeren en noemde het “triviaal om van Muse de ultieme achterdeur te maken”.

macOS verhindert normaal gesproken dat een app toegang krijgt tot de bestanden, microfoon, camera of opgeslagen logins van een andere app, dus gewone malware is beperkt in waartoe deze toegang heeft. Een aanvaller die Muse stilletjes kan besturen, krijgt alles wat de gebruiker de app heeft toegestaan.

Wardle waarschuwt ook dat beveiligingssoftware het misschien niet merkt, omdat de opdrachten afkomstig zijn van Muse, een normaal ondertekende app, en niet van iets dat op malware lijkt.

De instelling die hij heeft gevonden is niet gedocumenteerd en bepaalt waar Muse het dictaat naartoe stuurt. Het wordt onder de naam opgeslagen in de voorkeuren van de Mac-app endo_voyager_dictation_endpointen elk programma dat wordt uitgevoerd terwijl de ingelogde gebruiker het kan verwijzen naar een adres dat de aanvaller beheert, zonder dat daarvoor extra machtigingen nodig zijn.

Daarna gaat het dictaat niet meer naar Meta. Wanneer de gebruiker een prompt uitspreekt, gaan de audio en de tekst naar een klein programma dat de aanvaller op dezelfde Mac draait.

Van daaruit liet Wardle drie dingen zien die een aanvaller kan doen: lezen wat de gebruiker heeft gedicteerd, extra instructies toevoegen die Muse vertrouwt en ernaar handelt, en een token vastleggen dat inlogt op het Muse-account van de gebruiker, en dit vervolgens gebruiken om de chatgeschiedenis van het account te lezen en de assistent rechtstreeks te besturen.

Omdat een Muse-account op meerdere apparaten kan worden ingelogd, kan een aanvaller met het token bevelen geven aan Muse op elk van deze apparaten, en niet alleen op de Mac, zei Wardle. Hij gebruikte het om de Muse-app op zijn eigen iPhone de exacte locatie te laten melden, een Bluetooth-scan uit te voeren van apparaten in de buurt en een lijst te maken van de smarthome-opdrachten die hij kon verzenden. Bij zijn tests stelde de assistent alleen berichten op, in plaats van deze zelf te versturen.

Wardle wees ook op wat de aanval niet doet. Het ondermijnt niet het deel van macOS dat de ene app ervan weerhoudt de opgeslagen wachtwoorden en tokens van een andere app te lezen. Muse stuurt zijn token mee met het omgeleide dictaat, en de aanval werkt door Muse te laten handelen met de toegang die het al heeft. En het laat niet zien dat het cloudsysteem van Meta, dat het bedrijf heeft gebouwd om de agenten van elke gebruiker buiten de deur te houden, kapot was.

Wardle zei dat hij de fout niet aan Meta had gemeld voordat hij naar de beurs ging. Hij koos voor volledige openbaarmaking, zodat gebruikers het risico zouden begrijpen, en omdat dit vaak de snelste manier is om dergelijke bugs te verhelpen.

Hij zei dat Meta sindsdien een zogenaamde ‘fix’ heeft gepubliceerd, verwijzend naar een bericht op X. The Hacker News kon niet bevestigen wat de wijziging doet en heeft contact opgenomen met Meta voor commentaar. Meta heeft geen beveiligingsadvies gepubliceerd.

Wat Mac-gebruikers nu kunnen doen

Totdat Meta een oplossing bevestigt, kan een Mac-gebruiker de blootstelling beperken:

  • Sluit Muse af of verwijder het.
  • Bekijk de apps en machtigingen die Muse in bezit heeft, en trek alle apps en machtigingen in die niet nodig zijn, zodat een aanvaller minder toegang heeft.
  • Als de Mac mogelijk al is gehackt, beschouw dan het Muse-account en de accounts die eraan zijn verbonden als kwetsbaar en wijzig hun wachtwoorden.
  • Omdat de aanval de gebruiker nodig heeft om te dicteren, vermijdt u de steminvoer van Muse, waardoor het weergegeven pad exact wordt afgesloten.
  • Voer geen opdrachten uit die volgens een website of bericht in Terminal moeten worden geplakt, aangezien dit de manier is waarop een ClickFix-aanval begint.

Meta heeft veel aandacht besteed aan de beveiliging van Muse. Het heeft de agent gebouwd om in een afzonderlijk cloudsysteem te draaien dat de gegevens van elke gebruiker gescheiden houdt van die van anderen, met een controlelaag die bedoeld is om de acties goed te keuren die Muse onderneemt. Deze fout zit in plaats daarvan in de Mac-app, niet in dat cloudontwerp.

Wardle beweert dat Meta het zwakke punt zelf heeft gecreëerd door een eigen manier te ontwikkelen om met dicteren om te gaan, waarbij de audio van het apparaat wordt verzonden, in plaats van het dicteren van Apple te gebruiken, dat op de Mac draait.

Hij zei dat hij meer tekortkomingen heeft ontdekt in AI-assistenten, ook in veel breder gebruikte apps, die hij aan de leveranciers heeft gerapporteerd en die hij van plan is te presenteren op de Objective by the Sea-conferentie in Hawaï in november.

Thijs Van der Does