Riepilogo:
- I ricercatori di HiddenLayer hanno sviluppato un nuovo attacco ai grandi modelli linguistici (LLM) chiamato TokenBreaker.
- Aggiungendo o modificando anche un solo carattere, è possibile aggirare alcuni meccanismi di sicurezza.
- I modelli linguistici di base di grandi dimensioni (LLM) sono ancora in grado di comprendere l'intento dell'attacco.
I ricercatori di sicurezza hanno scoperto un modo per aggirare i meccanismi di protezione integrati in alcuni Modelli linguistici di grandi dimensioni (LLM) e fargli rispondere ad affermazioni malevole.
Kieran Evans, Casimir Schulz e Kenneth Young di HiddenLayer hanno pubblicato un rapporto approfondito su una nuova tecnica di attacco da loro chiamata TokenBreak, che prende di mira il modo in cui alcuni modelli linguistici di grandi dimensioni (LLM) suddividono il testo in token, in particolare quelli che utilizzano strategie Byte Pair Encoding (BPE) o WordPiece.
La tokenizzazione è il processo di scomposizione del testo in unità più piccole chiamate token, che possono essere parole, parti di parole o caratteri, che i modelli linguistici di grandi dimensioni (LLM) utilizzano per comprendere e generare il linguaggio. Ad esempio, la parola "infelicità" potrebbe essere scomposta in "un", "happi" e "ness", e ogni token viene quindi convertito in un identificatore numerico che il modello può elaborare (poiché gli LLM non leggono testo grezzo, ma numeri). Questo attacco rappresenta una crescente minaccia per la sicurezza informatica, che richiede a organizzazioni e ricercatori di sviluppare strategie di difesa avanzate per proteggere i propri sistemi di intelligenza artificiale.
Che cosa sono le finstructions?
Finstructions si basa sull'aggiunta di caratteri extra alle parole chiave (ad esempio trasformando "instructions" in "finstructions"), consentendo agli aggressori di ingannare i modelli di sicurezza facendogli credere che il codice sia innocuo.
Al contrario, il modello di linguaggio di grandi dimensioni (LLM) mirato rimane in grado di comprendere l'intento originale delle istruzioni, consentendo agli aggressori di far passare il codice dannoso attraverso le difese senza essere rilevati. Questa vulnerabilità rappresenta un rischio significativo per la sicurezza dei sistemi di intelligenza artificiale.
Questa tecnologia potrebbe essere utilizzata, tra le altre cose, per aggirare i filtri antispam basati sull'intelligenza artificiale e recapitare contenuti dannosi nelle caselle di posta degli utenti, aumentando il rischio di attacchi di phishing e malware.
Ad esempio, se un filtro antispam è programmato per bloccare i messaggi contenenti la parola "lotteria", potrebbe consentire il passaggio di un messaggio che recita "Hai vinto alla lotteria!", esponendo i destinatari a landing page potenzialmente dannose, infezioni da malware e simili. Questa manipolazione linguistica consente di aggirare i meccanismi di sicurezza.
"Questa tecnica di attacco manipola il testo di input in modo tale che alcuni modelli forniscano classificazioni errate", hanno spiegato i ricercatori.
"Ancora più importante, il target finale (il modello linguistico di grandi dimensioni o il destinatario dell'e-mail) può ancora comprendere e rispondere al testo manipolato, e quindi essere vulnerabile all'attacco che il modello di protezione è stato specificamente progettato per prevenire", hanno aggiunto.
HiddenLayer ha aggiunto che i modelli che utilizzano segmentatori di parole Unigram sono resistenti a questo tipo di manipolazione. Pertanto, una strategia di mitigazione consiste nello scegliere modelli con metodi di segmentazione più robusti.
