Säkerhetsforskare har skapat internetmask för chattbottar

Postat:
12:57 - 2024-03-04
Skribent:
| Lars A
Kommentarer:
2

En grupp säkerhetsforskare har skapat vad de menar är första internetmasken för generativ AI. Masken kan spridas från ett system till ett annat och potentiellt stjäla data och placera ut malware.

Enligt Ben Nassi från Cornell Tech innebär internetmasken en helt ny form av cyberattack som inte funnits tidigare. Forskarna visade hur masken kan användas mot en e-postassistent baserad på generativ AI och stjäla data från mejl och skicka spam.

För att lyckas med detta kringgick masken några av säkerhetsåtgärderna i ChatGPT och Gemini. Experimentet genomfördes dock i en testmiljö och inte mot offentligt tillgängliga e-postassistenter.

Masken baseras på vad forskarna kallar ”adversarial self-replicating prompt”, vilket får den stora språkmodellen att svara med en annan prompt och en uppsättning instruktioner till sig själv. Den exakta metoden är komplex men tekniken sägs likna SQL-injektioner och buffertöverskridningsattacker.

Internetmaskar som angriper generativ AI har inte påträffats i offentliga system än men forskarna menar att det är en säkerhetsrisk AI-utvecklare behöver vara medvetna om.