Benvenuto su Hacking News Live 24h, la fonte in tempo reale per tutte le news di hacking, cybercrime e cybersecurity.
Aggiorniamo costantemente le notizie 24 ore su 24 con report tecnici, indagini digitali e analisi sugli attacchi più recenti.
È stato scoperto che il browser web OpenAI ChatGPT Atlas, appena rilasciato, è soggetto a un attacco di iniezione di prompt, in cui la sua omnibox può essere jailbroken camuffando un prompt dannoso come un URL apparentemente innocuo da visitare.
“L’omnibox (barra combinata di ricerca/indirizzo) interpreta l’input come un URL a cui accedere o come un comando in linguaggio naturale all’agente”, ha affermato NeuralTrust in un rapporto pubblicato venerdì.
“Abbiamo identificato una tecnica di iniezione rapida che maschera istruzioni dannose facendole sembrare un URL, ma che Atlas tratta come testo di “intento utente” ad alta attendibilità, consentendo azioni dannose.”
La scorsa settimana, OpenAI ha lanciato Atlas come browser web con funzionalità ChatGPT integrate per assistere gli utenti con la sintesi delle pagine web, la modifica del testo in linea e le funzioni agentiche.
Nell’attacco delineato dall’azienda di sicurezza basata sull’intelligenza artificiale (IA), un aggressore può sfruttare la mancanza di confini rigorosi del browser tra input utente attendibili e contenuti non attendibili per trasformare un prompt creato ad arte in una stringa simile a un URL e trasformare l’omnibox in un vettore di jailbreak.
L’URL intenzionalmente malformato inizia con “https” e presenta un testo simile a un dominio “my-wesite.com”, seguito solo da istruzioni in linguaggio naturale incorporate all’agente, come di seguito:
Se un utente ignaro inserisce la suddetta stringa “URL” nella omnibox del browser, il browser tratterà l’input come un prompt per l’agente di intelligenza artificiale, poiché non supera la convalida dell’URL. Questo, a sua volta, induce l’agente a eseguire l’istruzione incorporata e a reindirizzare l’utente al sito web menzionato nel prompt.
In uno scenario di attacco ipotetico, un link come quello sopra descritto potrebbe essere inserito dietro un pulsante “Copia link”, consentendo di fatto a un aggressore di indirizzare le vittime a pagine di phishing sotto il suo controllo. Ancora peggio, potrebbe contenere un comando nascosto per eliminare file da app collegate come Google Drive.
“Poiché i prompt della omnibox vengono trattati come input utente attendibile, potrebbero ricevere meno controlli rispetto ai contenuti provenienti dalle pagine web”, ha affermato il ricercatore di sicurezza Martí Jordà. “L’agente potrebbe avviare azioni non correlate alla presunta destinazione, tra cui visitare siti scelti dall’aggressore o eseguire comandi di strumenti”.
La rivelazione arriva mentre SquareX Labs ha dimostrato che gli autori delle minacce possono falsificare le barre laterali per gli assistenti AI all’interno delle interfacce del browser utilizzando estensioni dannose per rubare dati o indurre gli utenti a scaricare ed eseguire malware. La tecnica è stata denominata AI Sidebar Spoofing. In alternativa, è anche possibile che i siti dannosi dispongano di una barra laterale AI falsificata in modo nativo, eliminando la necessità di un componente aggiuntivo del browser.
L’attacco si attiva quando l’utente immette un prompt nella barra laterale falsificata, facendo sì che l’estensione si colleghi al suo motore di intelligenza artificiale e restituisca istruzioni dannose quando vengono rilevati determinati “prompt di attivazione”.
L’estensione, che utilizza JavaScript per sovrapporre una barra laterale falsa a quella legittima su Atlas e Perplexity Comet, può indurre gli utenti a “navigare su siti Web dannosi, eseguire comandi di esfiltrazione dei dati e persino installare backdoor che forniscono agli aggressori un accesso remoto persistente all’intero computer della vittima”, ha affermato la società.
Iniezioni rapide come un gioco del gatto e del topo
Le iniezioni rapide rappresentano una delle principali preoccupazioni dei browser con assistente AI, poiché i malintenzionati possono nascondere istruzioni dannose su una pagina web utilizzando testo bianco su sfondo bianco, commenti HTML o trucchi CSS, che possono poi essere analizzati dall’agente per eseguire comandi indesiderati.
Questi attacchi sono preoccupanti e rappresentano una sfida sistemica perché manipolano il processo decisionale sottostante all’IA per rivoltare l’agente contro l’utente. Nelle ultime settimane, browser come Perplexity Comet e Opera Neon sono stati individuati come vulnerabili a questo vettore di attacco.
In un metodo di attacco descritto in dettaglio da Brave, è stato scoperto che è possibile nascondere le istruzioni di inserimento rapido nelle immagini utilizzando un tenue testo azzurro su uno sfondo giallo, che viene poi elaborato dal browser Comet, probabilmente tramite il riconoscimento ottico dei caratteri (OCR).
“Un rischio emergente che stiamo studiando e mitigando attentamente sono le iniezioni rapide, in cui gli aggressori nascondono istruzioni dannose in siti web, e-mail o altre fonti, per cercare di indurre l’agente a comportarsi in modi involontari”, ha scritto Dane Stuckey, Chief Information Security Officer di OpenAI, in un post su X, riconoscendo la sfida per la sicurezza.
“L’obiettivo degli aggressori può essere semplice come cercare di influenzare l’opinione dell’agente mentre fa acquisti, oppure più ambizioso come cercare di indurre l’agente a recuperare e divulgare dati privati, come informazioni sensibili dalla tua e-mail o credenziali.”
Stuckey ha inoltre sottolineato che l’azienda ha attuato un’ampia attività di red-teaming, implementato tecniche di addestramento del modello per premiare il modello quando ignora istruzioni dannose e ha imposto ulteriori misure di sicurezza e di protezione per rilevare e bloccare tali attacchi.
Nonostante queste misure di sicurezza, l’azienda ha anche ammesso che l’iniezione tempestiva rimane un “problema di sicurezza irrisolto e di frontiera” e che gli autori delle minacce continueranno a dedicare tempo e sforzi all’ideazione di nuovi modi per far sì che gli agenti di intelligenza artificiale cadano vittime di tali attacchi.
Allo stesso modo, Perplexity ha descritto le iniezioni di prompt dannose come un “problema di sicurezza di frontiera con cui l’intero settore sta lottando” e ha affermato di aver adottato un approccio multilivello per proteggere gli utenti da potenziali minacce, come istruzioni HTML/CSS nascoste, iniezioni basate su immagini, attacchi di confusione dei contenuti e dirottamento degli obiettivi.
“L’iniezione tempestiva rappresenta un cambiamento fondamentale nel modo in cui dobbiamo concepire la sicurezza”, ha affermato. “Stiamo entrando in un’era in cui la democratizzazione delle capacità dell’IA implica che tutti abbiano bisogno di protezione da attacchi sempre più sofisticati”.
“La nostra combinazione di rilevamento in tempo reale, rafforzamento della sicurezza, controlli utente e notifiche trasparenti crea livelli di protezione sovrapposti che alzano notevolmente il livello di protezione per gli aggressori.”
Seguici anche su:
- 📖 eBook Italiano
- 🌎 eBook English version
- 🎥 YouTube