De Italiaanse Waterbeschermingswaakhond heeft de Chinese kunstmatige intelligentie (AI) de dienst van Deepseek in het land geblokkeerd, onder verwijzing naar een gebrek aan informatie over het gebruik van de persoonlijke gegevens van gebruikers.
De ontwikkeling komt dagen nadat de autoriteit, de Garante, een reeks vragen naar Deepseek heeft gestuurd, met de vraag naar de praktijken van de gegevensverwerking en waar het zijn trainingsgegevens heeft verkregen.
In het bijzonder wilde het weten welke persoonlijke gegevens worden verzameld door zijn webplatform en mobiele app, van welke bronnen, voor welke doeleinden, op welke wettelijke basis en of het in China wordt opgeslagen.
In een verklaring uitgegeven op 30 januari 2025 zei de Garante dat het tot het besluit kwam nadat Deepseek informatie had verstrekt waarvan het zei dat het ‘volledig onvoldoende’ was.
De entiteiten achter de dienst, Hangzhou Deepseek kunstmatige intelligentie en Beijing Deepseek kunstmatige intelligentie hebben “verklaard dat ze niet in Italië werken en dat Europese wetgeving niet op hen van toepassing is”, voegde het eraan toe.
Als gevolg hiervan zei de waakhond dat het de toegang tot Deepseek met onmiddellijke ingang blokkeert en dat het tegelijkertijd een sonde opent.
In 2023 gaf de gegevensbeschermingsautoriteit ook een tijdelijk verbod op Openai’s ChatGPT, een beperking die eind april werd opgeheven nadat het bedrijf voor kunstmatige intelligentie (AI) is opgetreden om de verstrekte bezorgdheid over de gegevens van de gegevens aan te pakken. Vervolgens kreeg Openai een boete van € 15 miljoen over hoe het omging met persoonlijke gegevens.
Het nieuws over het verbod van Deepseek komt als het bedrijf deze week op de golf van populariteit heeft gereden, met miljoenen mensen die naar de service stroomden en zijn mobiele apps naar de top van de downloadgrafieken sturen.
Naast het doelwit van ‘grootschalige kwaadaardige aanvallen’, heeft het de aandacht getrokken van wetgevers en stamgasten voor zijn privacybeleid, China-uitgelijnde censuur, propaganda en de nationale veiligheidsproblemen die het kan vormen. Het bedrijf heeft vanaf 31 januari een oplossing geïmplementeerd om de aanvallen op haar diensten aan te pakken.
Als toevoeging aan de uitdagingen, zijn Deepseek’s grote taalmodellen (LLM) vatbaar gevonden voor jailbreak -technieken zoals Crescendo, Bad Likert -rechter, misleidend genot, nu alles doen (Dan) en Evilbot, waardoor slechte acteurs kwaadaardig of verboden kunnen genereren inhoud.
“Ze hebben een reeks schadelijke uitgangen opgewekt, van gedetailleerde instructies voor het maken van gevaarlijke items zoals Molotov -cocktails tot het genereren van kwaadaardige code voor aanvallen zoals SQL -injectie en laterale beweging,” zei Palo Alto Networks Unit 42 in een donderdagrapport.
“Hoewel de initiële reacties van Deepseek vaak goedaardig leken, leken in veel gevallen zorgvuldig vervolgde follow-up aanwijzingen vaak de zwakte van deze aanvankelijke waarborgen. De LLM gaf gemakkelijk zeer gedetailleerde kwaadaardige instructies, wat het potentieel aantoonde voor deze schijnbaar onschadelijke modellen om kwaadaardig te worden bewapend voor kwaadwillen doeleinden. “
Verdere evaluatie van het redeneermodel van Deepseek, DeepSeek-R1, door AI Security Company HiddenLayer, heeft ontdekt dat het niet alleen kwetsbaar is om injecties aan te leiden, maar ook dat de redenering van de ketting van gedachte (COT) kan leiden tot onbedoelde informatielekkage.
In een interessante wending zei het bedrijf dat het model ook “meerdere instanties heeft opgedoken, wat suggereert dat OpenAI -gegevens werden opgenomen, waardoor ethische en juridische zorgen werden geuit over gegevens inkoop en model originaliteit.”
De openbaarmaking volgt ook de ontdekking van een jailbreak-kwetsbaarheid in Openai Chatgpt-4o nagesynchroniseerde Time Bandit die het voor een aanvaller mogelijk maakt om de veiligheidsgelds van de LLM te omzeilen door de chatbot aan te vragen met vragen op een manier die het tijdelijke bewustzijn verliest . Openai heeft sindsdien het probleem verzacht.
“Een aanvaller kan de kwetsbaarheid benutten door een sessie met Chatgpt te beginnen en deze rechtstreeks te vragen over een specifieke historische gebeurtenis, historische periode of door te instrueren om te doen alsof het de gebruiker helpt bij een specifiek historisch evenement,” het CERT -coördinatiecentrum ( Cert/CC) zei.
“Zodra dit is vastgesteld, kan de gebruiker de ontvangen reacties op verschillende illegale onderwerpen draaien via latere aanwijzingen.”
Soortgelijke jailbreak-fouten zijn ook geïdentificeerd in het Qwen 2.5-VL-model van Alibaba en GitHub’s Copilot Coding Assistant, de laatste waarvan de actoren van de dreiging de mogelijkheid om beveiligingsbeperkingen te omzeilen en schadelijke code te produceren, simpelweg door woorden als “zeker” in de prompt.
“Het starten van vragen met bevestigende woorden zoals ‘zeker’ of andere vormen van bevestiging fungeert als een trigger, waarbij copilot wordt verplaatst naar een meer conforme en risicovolle modus,” zei Apex-onderzoeker Oren Saban. “Deze kleine tweak is alles wat nodig is om reacties te ontgrendelen die variëren van onethische suggesties tot ronduit gevaarlijk advies.”
Apex zei dat het ook een andere kwetsbaarheid vond in de proxyconfiguratie van Copilot die volgens hem kon worden benut om de toegangsbeperkingen volledig te omzeilen zonder te betalen voor gebruik en zelfs te knoeien met de Copilot System -prompt, die dient als de fundamentele instructies die het gedrag van het model bepalen.
De aanval hangt echter af van het vastleggen van een authenticatietoken geassocieerd met een actieve copilot -licentie, waardoor GitHub ertoe aanzet het te classificeren als een kwestie van misbruik na verantwoordelijke openbaarmaking.
“De proxy -bypass en de positieve bevestiging jailbreak in Github Copilot zijn een perfect voorbeeld van hoe zelfs de krachtigste AI -tools kunnen worden misbruikt zonder voldoende waarborgen,” voegde Saban eraan toe.
