Att generativ AI kan skapa bildmaterial och skriva beror på att maskininlärningen matats med enorma mängder text och bilder som skapats eller fotograferats av människor. Huruvida AI-utvecklarna haft rätt att utföra denna webbskrapning och samla in enorma mängder offentligt tillgängligt material på webben, utan konstnärers, författares eller företags medgivande, har varit en het fråga som lett till stämningar.

För en viss generativ AI har det rentav dykt upp rester av vattenstämplar i resultaten. Det har gjorts olika försök att skapa en standard för att förhindra att material på webben används för att träna stora språkmodeller.

MIT Technology Review har nyligen berättat om en annan metod: ett verktyg som låter konstnärer och målare gömma korrumperande information bland pixlarna som förvirrar de stora språkmodellerna. Verktyget kallas Nightshade och ”förgiftar” den träningsdata generativ AI-baseras på.

Enligt källan ska dessa dolda pixlar kunna få hundar att bli katter, bilar att bli till kor och så vidare. Nightshade har skapats av ett team på University of Chicago med Ben Zhao i spetsen. Samma team har även skapat Glaze som på ett subtilt vis ändrar en konstnärs verk och får maskininlärningsmodellerna att se något annat än vad bilden egentligen är.

Nightshade har öppen källkod, så andra kan leka med koden och skapa egna versioner. Zhao påpekar att ju fler som använder Nightshade desto mer förtret kan den orsaka för AI-modellerna. Tekniken är tänkt att skydda upphovsmakare men Zhao medger att Nightshade skulle kunna användas för illasinnade syften.

Eftersom de stora AI-modellerna tränas på miljarder bilder skulle en angripare dock behöva använda Nightshade tusentals gånger för att orsaka skada.