Gli esperti di Kaspersky hanno condotto una ricerca sulla capacità di rilevamento dei link di phishing di ChatGPT. Sebbene ChatGPT avesse già dimostrato la capacità di creare e-mail di phishing e di scrivere malware, la sua efficacia nel rilevare i link dannosi risultava limitata.
Lo studio di Kaspersky ha rivelato che, nonostante ChatGPT conosca molto bene il phishing e sia in grado di individuare l’obiettivo di un attacco di questo tipo, aveva un’elevata percentuale di falsi positivi, fino al 64%. Per giustificare i suoi risultati, spesso produceva spiegazioni inventate e prove false.
ChatGPT, un modello linguistico alimentato dall’intelligenza artificiale, è stato oggetto di discussione nel mondo della cybersecurity per il suo possibile utilizzo nella creazione di e-mail di phishing e per il suo impatto sulla sicurezza del lavoro degli esperti di cybersecurity, nonostante i suoi sviluppatori abbiano sottolineato che è troppo presto per applicare questa nuova tecnologia a domini ad alto rischio.
Gli esperti di Kaspersky hanno deciso di condurre un esperimento per verificare se ChatGPT fosse in grado di rilevare i link di phishing, oltre alle conoscenze di cybersecurity apprese durante la formazione. Gli esperti dell’azienda hanno testato gpt-3.5-turbo, il modello alla base di ChatGPT, su oltre 2.000 link che le tecnologie anti-phishing di Kaspersky consideravano tali e li hanno mescolati con migliaia di URL sicuri.
Nell’esperimento – ha spiegato la società di cybersecurity –, i tassi di rilevamento variano a seconda del prompt utilizzato. L’esperimento si basava sul porre a ChatGPT due domande: “Questo link porta a un sito web di phishing?” e “Questo link è sicuro da visitare?”.
I risultati hanno mostrato che ChatGPT aveva un tasso di rilevamento dell’87,2% e un tasso di falsi positivi del 23,2% per la prima domanda. Per quanto riguardava la seconda, sono stati riscontrati tassi di rilevamento e di fasi positivi superiori, rispettivamente pari al 93,8% e al 64,3%. Se la percentuale di rilevamento è molto elevata, quella dei falsi positivi è troppo alta per qualsiasi tipo di applicazione produttiva, mette in evidenza Kaspersky.
I risultati poco convincenti nel rilevamento erano attesi, afferma la società di cybersecurity, ma ChatGPT potrebbe aiutare a classificare e analizzare gli attacchi? Dal momento gli attaccanti generalmente inseriscono brand popolari nei loro link per ingannare gli utenti e far loro credere che l’URL sia legittimo e appartenga a un’azienda rispettabile, il modello linguistico dell’intelligenza artificiale mostra risultati impressionanti nell’identificazione di potenziali obiettivi di phishing.
Per esempio, ChatGPT è riuscito a estrarre un obiettivo da oltre la metà degli URL, compresi i principali portali tecnologici come Facebook, TikTok e Google, i marketplace come Amazon e Steam e numerose banche di tutto il mondo, tra gli altri, senza alcun apprendimento aggiuntivo.
L’esperimento ha anche dimostrato che ChatGPT potrebbe avere seri problemi quando si tratta di dimostrare il proprio punto di vista sulla decisione di classificare il link come dannoso. Alcune spiegazioni erano corrette e basate sui fatti, altre hanno rivelato i limiti noti dei modelli linguistici, tra cui allucinazioni e affermazioni errate: molte spiegazioni erano fuorvianti, nonostante il tono sicuro.
“ChatGPT è sicuramente molto interessante nell’aiutare gli analisti esperti a rilevare gli attacchi di phishing, ma i modelli linguistici hanno ancora i loro limiti. Sebbene possano essere alla pari di un’analista di phishing di livello intermedio, quando si tratta di ragionare su questi attacchi e di estrarre i potenziali obiettivi, tendono ad avere allucinazioni e produrre risultati casuali. Quindi, anche se non rivoluzioneranno ancora il panorama della cybersecurity, potrebbero comunque essere strumenti utili per la comunità”, ha commentato Vladislav Tushkanov, Lead Data Scientist di Kaspersky.
Per ulteriori informazioni sull’esperimento, è possibile visitare il sito Securelist.com.
