DIGITALIA.fm

Puntata speciale di agosto 2023 dedicata all'intelligenza artificiale e a un uso molto particolare dei modelli LLM, la lotta agli scammer. Ci racconta di un suo studio Enrico Cambiaso, ricercatore del CNR di Genova. Dallo studio di Milano Cittastudi, Francesco Facconi. Dallo studio dei Castelli Romani, Giulio Cupini. Un saluto a tutti da Enrico Cambiaso. Ciao Enrico, eccoci. Ciao Giulio innanzitutto e ciao Enrico. Ben trovati, ben trovati. Grande Enrico. Bene, bene. Grazie per l'invito. T'abbiamo qua. Noi ho un po' di minuti che stiamo chiacchierando, ci siamo sentiti lungamente per preparare la puntata, ma raccontiamo intanto chi sei e come compari qua. Allora, io sono Enrico Cambiaso, un ricercatore del CNR e per chi non lo sapesse il CNR è l'acronimo, sta per Consiglio Nazionale delle ricerche ed è il più grande ente di ricerca in Italia. Questo significa che cosa? Che a mio avviso può essere di interesse per i spettatori. Significa che il CNR racchiude, riunisce tante competenze su tutti i settori noti all'uomo e questo secondo me è il valore aggiunto proprio del CNR. Molto bello il modo di raccontarlo così, bellissimo. Secondo me in ogni contesto, questa è mia opinione personale, è fondamentale o meglio dà un valore aggiunto molto importante il poter unire competenze differenti perché ognuno può fornire il proprio punto di vista anche in base al proprio background. E' quello che fa secondo me la vera forza del CNR, unire competenze molto lontane tra loro per portare un risultato anche comune tramite progetti congiunti. Enrico una domanda, sono curioso, scusami Franz, è una curiosità perché vorrei andarci da tanto, non ho mai avuto occasione, ma nel centro studi sotterraneo del Gran Sasso è visitabile anche da un non addetto? C'è modo di andare a vedere la struttura o comunque è blindata solo per chi ci lavora? Su questo io non lo so esattamente, non so risponderti ma posso informarvi. Magari lo facciamo sapere anche agli ascoltatori, sì sì, sono molto curioso. Assolutamente. Bisogna conoscere qualcuno giustamente. Per quanto riguarda il sottoscritto io faccio parte dell'istituto IAT, che è un istituto praticamente ingegneristico che racchiude, fa ricerca in settori diversi come informatica, elettronica, intelligenza artificiale, elettromagnetismo e quant'altro. Ma in particolare io faccio parte del gruppo di Cyber Security e quello che facciamo nel nostro gruppo è comportarci diciamo in modo abbastanza insolito, inusuale. Perché mentre magari tanti altri gruppi di ricerca si focalizzano su attività di protezione, messa in protezione e progettazione di sistemi di difesa a fronte di attacchi noti, il nostro approccio invece è quello di dare priorità invece all'identificazione di vulnerabilità per diluppare poi nuovi attacchi informatici. Questo è inusuale, nel senso che può sembrare una cosa molto particolare, ma è a mio avviso fondamentale per poter di fatto combattere quelli che sono i veri criminali. Quindi Enrico, per capire se ho capito, tu cerchi di fare il criminale senza farlo veramente ma ragioni da criminale, cioè dici "io ti cerco di bucare il computer per vedere come lo potrebbe fare qualcuno malintenzionato". A questo punto poi questa tua ricerca aiuta a creare le contromisure che servono a proteggerci, gli aggiornamenti del sistema operativo, gli antivirus, eccetera, tutte queste cose partono comunque dal trovare il buco, trovare la vulnerabilità. Esatto, di fatto quello che dobbiamo pensare è che siamo, la dico in modo forse estremo, ma siamo in una lotta continua con quelli che sono i veri cybercriminali e identificare vulnerabilità prima che questi le identificano è fondamentale per poter poi mettere in protezione un sistema prima che venga effettivamente bucato. Enrico, una domanda, scusami perché anche su questo ho una curiosità, ma dal punto di vista dei rapporti, il CNR, visto la tua specificità, collabora in qualche modo poi con l'ente nazionale per la cyber security? Cioè c'è uno scambio di informazioni, non ci entra nulla? Sì, ci sono in realtà delle interazioni comunque anche da parte non solo del mio istituto ma di altri istituti, diciamo collaboriamo in modo collaborativo anche tra diversi gruppi del CNR, noi non siamo ovviamente i soli che si occupano di cyber security, e la collaborazione è sia nei confronti di altri enti comunque nazionali ma anche verso partner comunque anche esteri come industrie o altri accademici per segnalare un'eventuale scoperta che avete fatto, per fare ricerca insieme anche perché comunque unire il mondo della ricerca che comunque ha un punto di vista diciamo visionario e a volte potrebbe essere anche poco pratico con il mondo ad esempio di industria, questo attraverso tipicamente progetti di ricerca finanziati, questo dà il valore aggiunto perché da una parte porta le tecnologie della ricerca verso l'industria e dall'altra dà la possibilità a chi fa ricerca di avere un punto di vista anche su quelli che sono le esigenze oggi, non necessariamente domani, di un mondo che comunque si sta evolvendo. LM: Ok, molto bello. Toglimi invece una curiosità adesso, rimanendo nell'ambito del tuo lavoro, poi cerchiamo di arrivare in quello che è lo studio. Io sono davanti al mio computer, cosa faccio per cercare una vulnerabilità? Chiaramente non voglio scarpire tutti i tuoi segreti, ma spesso sentiamo dai vari siti specialistici che è uscito questo bug, questo buco che con un semplice messaggino, con una semplice pagina HTML è sempre semplice quando si è alla fine. Mi chiedo qual è il processo che porta a trovare questi semplici meccanismi? PT: In realtà allora, diciamo che il risultato è sempre semplice, cioè è spesso semplice una volta noto, una volta che è stato trovato. Arrivare al risultato può richiedere anche degli anni. Cosa si fa noi in particolare che studiamo di fatto quelle che sono le vulnerabilità di servizi in rete e di protocolli di comunicazione? Un esempio, ad esempio si potrebbe partire dalla definizione del protocollo, ossia dai documenti ufficiali RFC Primis per andare a capire qual è il comportamento che un determinato protocollo deve implementare, un determinato sistema deve implementare per rispecchiare quel protocollo e provare a pensare anche magari tramite modellazioni matematiche o comunque approcci specifici, provare a pensare cosa potrebbe succedere in un caso particolare. L: Fantastico, in uno di questi casi, in una tua ricerca insieme al tuo collega Luca Caviglione è uscito questo paper "Scamming the Scammers" che è poi il motivo per cui chiacchierando sulla nostra community Slack ci hai incuriosito e abbiamo detto "dai facciamo due chiacchiere, vogliamo sapere come funziona questa cosa, com'è nata e cosa ci puoi raccontare". Intanto chi sono gli scammer magari, quei pochi che non lo sanno? L: Intanto saluto e ringrazio il collega Luca Caviglione, dice Nelle Rimati che purtroppo non è potuto essere presente oggi, ma di fatto quello che abbiamo fatto è stato… torniamo indietro al 30 novembre, questo sono andato a ricercarlo pochi giorni fa, il 30 novembre è stato rilasciato, 30 novembre 2022 è stato rilasciato CiacPT al pubblico. Dunque da rilascio sappiamo tutti che è stato, tutti i media hanno cominciato a parlarne perché comunque è stato l'impatto di questo sistema è stato molto rilevante e ne avete parlato dirente voi molto di questo argomento. Parlando proprio con il collega Luca, mentre parlavamo del più e del meno in una chat tra di noi, abbiamo proprio pensato e questo intorno al 10-12 di dicembre, dunque circa due settimane dopo il rilascio del tool, abbiamo proprio pensato ma perché non proviamo a sfruttare CiacPT per fare una prima ricerca preliminare che prova a rispondere a queste email di scam che tutti riceviamo. Ma cosa sono le mail di scam? Di fatto sono queste email che vengono inviate, recapitate a tutti noi quotidianamente e che includono di fatto un tentativo di frode, ossia il contenuto di questa mail è creato ad hoc anche spesso utilizzando delle tecniche molto accurate, molto sofisticate per cercare di frodare il destinatario del messaggio. Tipicamente l'obiettivo è quello del guadagno personale, ossia ricevere soldi, oppure quello di forzare, indurre l'utente a eseguire dei comportamenti specifici, ad esempio cliccare un link che riveli la password dell'utente al criminale, oppure installare un eseguibile sulla macchina, sul pc della vittima per poi eseguirlo e mettere in comunicazione il criminale con questa vittima senza che se ne accorga. Quello che abbiamo fatto è stato focalizzarci sulle email di scam, di questi tentativi di frode, per quanto esistano diverse tipologie di scam che ad esempio possono coinvolgere social network, oppure sistemi di messaggistica istantanea o anche addirittura marketplace come Amazon o quant'altro. Diciamo che la mail va con tutto, non passa mai di moda. La mail va con tutto ma occorre considerare anche un altro aspetto etico, per quanto tutti noi riceviamo giornalmente tante di queste email, fortunatamente spesso non ce ne accorgiamo neanche perché vengono filtrate dai nostri sistemi di anti-scam. Però bisogna considerare che circa il 90% del volume delle email è relativo ad attività criminali. Questo significa che in un ambiente che sta soffrendo come il nostro, secondo me cercare di ridurre il consumo, di fatto lo spreco di risorse, anche se si tratta di risorse digitali, poi l'impatto è un impatto fisico anche sull'ambiente vero e proprio. E cercare di ridurlo il più possibile è secondo me un obiettivo che ha un valore… Non stavi parlando di ambiente dei ricercatori del CNR o dei cyber security ma parli proprio dell'ambiente alberi atmosfera perché le mail sono gratis più o meno, nel senso che arrivano, le leggo, le cancello, le butto in una casella e dopo 30 giorni le butto via, però sono server, sono hard disk, sono tanta corrente che gira. Quindi se il 90% della corrente che usiamo su internet per capitare posta è spazzatura, è impegnativa questa cosa. Esatto. E quindi cosa si può fare con questi scammer? Quindi esatto, noi abbiamo detto proviamo a implementare di fatto quella che è una proof of concept in grado di rispondere, di fornire delle risposte a questi scammer che siano generate tramite l'utilizzo di sistemi di AI generativa, cioè CPT, per analizzare di fatto se questi strumenti possono essere utilizzati per questo scopo o no. Quindi scusami, la tua idea è quella di rispondere, cioè uno ti scrive "clicca qua per cambiare la password del sito delle poste" e tu invece gli rispondi dicendo "ciao, sono Enrico, come faccio a cambiare la password?" In realtà ci siamo focalizzati su una tipologia specifica di email, questo perché ad esempio chi fa un tentativo di phishing come quello che hai menzionato, che sia "clicca qui per cambiare la password delle poste" ad esempio, un email che contiene questo contenuto, in realtà non si aspetta una risposta, comunque tipicamente non monitora la propria risposta. E queste fra l'altro sono anche gli scam, le truffe che mi vengono più facili da capire, cioè lancio l'hama a tutti quanti, gli do l'urgenza "la tua password è stata rubata, clicca qua per risettarla subito" tu clicchi, prima o poi uno su un milione, un miliardo, chissà chi, ma comunque visto la mole è sempre tanto, clicca e agisce. Quindi a me è chiaro capire perché poi ti entro nel conto in banca, nel conto Paypal… Dici "eredità del principe nigeriano o meno" Ecco già quello che ti scrive facendoti una domanda in cui non ti sta chiedendo soldi, il principe nigeriano si ma a volte non ti chiedono soldi neanche, non ti chiedono dati personali, non ti chiedono password, e tu dici "ma là perché mi scrivono?" Ti riporto un esempio di email che ho estratto, perché ovviamente essendo un lavoro di ricerca noi abbiamo un log di tutte le operazioni che sono state eseguite, un log abbastanza preciso e dettagliato, e vi posso riportare un esempio, diciamo che vi traduco in diretta, l'email ovviamente è stata ricevuta in lingua inglese, ovviamente perché tipicamente vengono inviate o in un italiano non corretto, non corretto nel senso tradotto male, e questo in realtà è risaputo il fatto che il fatto di non avere un testo in italiano tradotto in modo preciso porta a risultati maggiori. E questo ti faccio finire il tuo ragionamento e poi ci torno su questo punto, perché mi incuriosisce, ma andiamo avanti intanto sul… Diciamo abbiamo questo esempio di email che vi traduca in diretta e dice "ciao, ho una donazione di 4. 00. 00 dollari per te, ho vinto la lotteria in America di 768 milioni di dollari e voglio donarne una parte a enti benefici, e ho scelto però di donare a te una somma considerevole di questo ammontare, quindi mi fornisco il codice di donazione, eccetera. Dunque, diciamo l'obiettivo di questa campagna comunque truffaldina è quella di cercare di truffare un utente tramite una interazione, perché in questo caso il mittente si aspetta una risposta da parte della vittima che dice "grazie, cosa devo fare per ricevere questo denaro? Quali operazioni devo fare? Cosa ti serve in termini di dettagli che riguardano la mia persona, nome, indirizzo e quant'altro?" Nel momento in cui rispondi immagino che hai già abbassato ogni possibile scudo. Esatto, di fatto sì. Ok, quindi io ricevo questa grandissima vincita alla lotteria, rispondo "dai figata, cosa devo fare?" e a questo punto l'amico Scammer dall'altra parte cos'è che mi risponde? Cioè come mi frega i soldi? Qual è il nostro obiettivo? Il nostro obiettivo è, da una parte, quello di validare l'efficacia di questi strumenti di AI generativa per combattere questi mail di scam e identificare i limiti anche di questo sistema. Dall'altra parte, semplicemente scoraggiare questi Scammer facendoli perdere del tempo, perché ovviamente il tempo speso nei nostri confronti, che comunque non cascheremo mai a questi tentativi di frode, è tempo guadagnato magari da parte di altri utenti che in realtà ci potrebbero portare. Dunque per perdere tempo a questi Scammer può portare di fatto un altro utente a "salvarsi". La risorsa più importante che hanno loro è il tempo di fatto. Esatto, esatto. E infine l'ultimo obiettivo è quello di studiare qual è il comportamento, qual è l'approccio di questo Scammer e come faccio a farlo se non fingendomi vittima. Ok, in questo hai deciso di farlo fare a ChargePT, era meglio di farlo di persona. Torno indietro un secondo, ma hai detto qualcosa che mi è assolutamente intuitivo, che le email di phishing o di scam scritte in italiano brutto, sbagliato, funzionano meglio. Io stavo per dire ma perché non imparano a scrivere giuste visto che ormai anche un semplice Google Translate fa grandissime traduzioni perfette? Questo in realtà è diciamo abbastanza risaputo nel mondo della ricerca e su questo il mio collega Luca sicuramente è molto più ferrato dal punto di vista del background di ricerca, sugli studi che dimostrano proprio questo. Ma il concetto è che se io scrivo una mail, se un utente malevolo scrive una email in modo impreciso è più probabile che sia in grado di colpire utenti più vulnerabili che non se la scrive in italiano perfetto. In realtà è basato sul livello di educazione delle persone, nel senso che se una persona non riesce a distinguere, non fa caso magari, un testo scritto bene, lo distingue per propria conoscenza. Ad esempio a persone che non sono nativi digitali ma che non utilizzano quotidianamente il computer, non hanno comunque un'esperienza in grado di distinguere anche queste email a vista d'occhio, in questo caso è più semplice attaccare con successo queste persone, mentre un'altra tipologia di persone, pensiamo a nativi digitali, possono scartare l'email in ogni caso perché il risultato non cambierà. La rende più credibile di fatto quella tipologia di utenti. Esatto, e dunque il successo è maggiore. Soprattutto per grandi numeri, grazie anche a strumenti di intelligenza artificiale, sono in grado di dire "guarda, se tu adatti il contenuto dell'email, magari scrivendo prima un determinato argomento rispetto ad un altro, puoi andare a aumentare il tuo success rate, dove il tuo è nei confronti dell'attaccante, e colpire più vittime, e dunque aumentare il profitto. Enrico, una domanda, se esiste come statistica, perché è molto interessante la parte di scala, su 100 mail malevole che vengono inviate con questo scopo, qual è la redemption che va a generare un attacco riuscito? Esiste una stima media, immagino poi sarà divisa in base alla tipologia di attacco, ma una media? Parliamo di 1. 0, parliamo di numeri 1, 2, 3, di che stime parliamo? Sempre sotto un 1%, non ho dettagli precisi, ma sono sicuramente disponibili, sicuramente in lavori di ricerca specifici è possibile trovare questi dettagli. Ok, e quindi, CiaoGPT genera i testi, in qualche modo lo hai messo a rispondere alle mail. Esatto, però il nostro approccio è stato quello di utilizzare sì un sistema manuale, perché per avere anche il controllo, certo, in tutto il processo noi abbiamo di fatto copia e incollato, di fatto, il contenuto delle mail su CiaoGPT e viceversa la risposta di CiaoGPT come risposta alle mail ricevute da inviare allo scammer, ma non abbiamo, non ci siamo focalizzati sul contenuto semantico del messaggio, ossia quello che detta male, anche se non sempre è così e ne possiamo parlare anche tra poco, ma detta male noi non abbiamo visto la qualità o il contenuto che ci ha tornato. L'abbiamo preso così com'è e l'abbiamo inviato allo scammer. Ok, quindi senza correggere, senza provare più risposte, quello che dava. Simulando un automatismo. Esatto, abbiamo simulato un automatismo, ma, e qui è dove volevo arrivare, in realtà quello che ci siamo resi conto, questo da subito, è che CiaoGPT ha fornito un primo limite, ha esposto un primo limite di questo sistema, ossia quando noi abbiamo preso la prima mail di ricevuta di scam, ad esempio quella che vi ho detto poco fa, CiaoGPT in automatico ha fornito un primo messaggio di risposta all'utente dicendo "occhio, perché questa email che mai, il collato che mai fornito come input, è in realtà un email, un tentativo di scammer, dunque ti consiglio di non rispondere". Ok, a questo spero che non abbiate risposto allo scammer così. Esatto, no, in realtà un minimo di controlli l'abbiamo fatto, nel senso che abbiamo controllato appunto semplicemente che non venisse fornito un output di questo tipo e nel caso abbiamo riadattato l'input fornito a CiaoGPT, forzando, introducendo un testo preliminare che forzasse una risposta, la generazione di una risposta, ignorando eventuali avvisi di protezione in questo tipo. Dall'altra ci siamo resi conto che a un certo punto CiaoGPT cominciava a fornire dettagli della persona, ad esempio "guarda il mio IBAN è il seguente", due punti e poi lo spazio per compilare il proprio IBAN in modo da incollarlo nel messaggio da inviare allo scammer. Anche in quel caso lì abbiamo riadattato l'input per evitare l'esposizione di dati personali. Questo per evitare da una parte l'esposizione di dati che comunque non possiamo condividere e non vogliamo condividere e dall'altra per tenere aperta il più possibile la conversazione con questo tipo. Enrico facendo così, il tema della sostenibilità che ci davi all'inizio, non rischia di generare un loop negativo che va non solo a generare la prima istanza della conversazione ma può stimolare anche un aumento della sua successiva iterazione andando a sfruttare ulteriori risorse? Per quanto riguarda la generazione sì è così, ma infatti tutti questi aspetti sono stati poi riportati, raggruppati in quello che menzionavo anche nel mail che vi ho mandato e che avete letto nelle puntate scorse, di fatto abbiamo delineato delle sfide aperte di ricerca che bisogna risolvere prima di implementare e mettere in piedi un sistema di questo tipo su larga scala. Ok, perché l'aspettativa a regime quale potrebbe essere se lo sviluppo di questa soluzione può avere degli effetti positivi sull'ecosistema? Quali sarebbero secondo te? L'aspettativa è quella di ridurre, scoraggiare il più possibile questi comportamenti e ridurre di conseguenza la percentuale che ad oggi è altissima, il 90% del canale di comunicazione utilizzato per le mail è una quantità altissima. Quindi se voi fate perdere tempo a questi criminali dovrebbero ridurre i loro tentativi e abbassare il numero di mail totali? In realtà dal momento in cui non risulta più remunerativo abbastanza questo metodo, questi criminali devono trovarsi "un altro lavoro". Cosa ci puoi raccontare di queste risposte? Quali sono stati i risultati? Soprattutto cosa hanno risposto, come hanno reagito i professionisti dello scam dall'altra parte quando hanno iniziato a ricevere queste risposte? Noi abbiamo preso un account mail personale utilizzato da me e Luca e abbiamo considerato un insieme di mail di scam, filtrando ovviamente i mail di phishing come il classico "clicca qui" o "il bottone clicca qui" o i mail che vanno a simulare comportamenti di portali noti per far autenticare gli utenti su sistemi truffaldini che vanno ad emulare un sistema reale, classico sito post clonato che ha l'obiettivo di identificare, di catturare le credenze dell'utente e ci siamo focalizzati sui mail fondamentalmente di solo testo, senza link, senza nient'altro, o meglio senza tentativi di clonazione di email provenienti da portali specifici. I risultati di fatto possiamo, o meglio questi mail, questo comportamento in termini di risultati possiamo dividere in quattro categorie. Da una parte abbiamo i mail, una prima categoria di utenti che contenevano sì solo testo, ma alla nostra risposta non hanno più risposto. Non hanno più risposto perché andando a vedere successivamente al termine dei nostri test, che in realtà hanno considerato un periodo temporale di 60 giorni, al termine siamo andati a vedere cosa è successo e da una parte per questa prima categoria abbiamo visto che sì c'era solo testo, solo testo nel contenuto del messaggio, ma in realtà veniva legato anche a un PDS. Un PDS che di fatto includeva dei dettagli ulteriori e rendeva di fatto l'attacco, l'attacco del contenuto dell'email, del tutto simile ad un email che ti dice clicca qui per cambiare la password. Dunque in questo caso non abbiamo ricevuto risposta per questo motivo. Da notare che per tre email di questo tipo, inoltre, a seguito della nostra risposta abbiamo ricevuto un errore da parte del server di posta di questi intenti malevoli. Errore che di fatto identifica che l'account di posta è stato chiuso dal fornitore del servizio e questo è un dato positivo perché comunque un primo metodo per combattere questi comportamenti, è quello di far chiudere l'account di posta in modo che non sia possibile più interagire con questi utenti. Dall'altra abbiamo un'altra categoria che gli utenti che anche in questo caso non hanno più risposto, non sono stati diciamo coinvolti nella conversazione, ma andando a analizzare il contenuto del messaggio originario, per quanto non fosse presente alcun link, alcun tentativo di phishing diretto, in questo caso veniva suggerita l'apertura di posizioni sul mercato azionale. Dunque si trattava di emailer, in questo caso più di spam rispetto a mail di scam, nel senso che venivano suggeriti questo acquisto di queste azioni specifiche, azioni che tra l'altro, mentre non sono salite, non sono scese, dunque se ci fossimo cascati avremmo perso anche del denaro, ma di fatto sono messaggi che anche in questo caso non si aspettano una risposta, ma si aspettano un comportamento su una piattaforma differente. Ehi là, come un dirottatore vi interrompo due secondi, è doveroso ringraziare il nostro sponsor Squarespace. Squarespace. om è un sistema integrato nel quale trovate la soluzione ideale a qualsiasi necessità di pubblicare un sito internet. Ragazzi, anche d'estate, proprio d'estate sono i momenti in cui abbiamo la testa altrove, veramente tutt'altro da fare che metterci a smanettare, a imparare questo o quel sistema. Quando abbiamo bisogno di creare un sito internet per noi, per qualcuno che ce lo chiede, un amico, un parente, vogliamo fare bella figura, non vogliamo fare una cosa raffazzonata, messa lì tanto per fare, però ovviamente, specialmente nelle vacanze, non vogliamo neanche dedicarci troppo tempo. Ecco, Squarespace è la soluzione ottimale per queste situazioni, perché Squarespace ci permette di ottenere risultati di livello assolutamente professionale nel rischiavendo una quantità di tempo irrisorio. Fondamentalmente, scegliete un tema tra i tanti messi a disposizione dai designer di Squarespace, che sono tutti di livello ultraspaziale professionale, dopodiché scegliete i vari elementi da mettere, li trascinate dal pannello di controllo direttamente sulle pagine, con il Fluid Engine, li infilate veramente dove volete, le possibilità di impaginazione sono infinite, comodissime e ovviamente "what you see is what you get", le posizioni in cui mettete i vari elementi sono dove le trovano i visitatori del sito che state realizzando. E poi copiate, incollate oppure trascinate gli elementi, i contenuti, che siano testo, video, audio, poi ci sono elementi per le mappe, ci sono tutti gli elementi per i negozi online, cartello, gestione della carta di credito, ordini, email dei clienti. Squarespace è utilizzato da tantissimi negozi online, decine di migliaia di negozi online in tutto il mondo e poi è facilissimo da mantenere, non dovete installare niente, plug-in, cose strane, non dovete verificare aggiornamenti, fixare bug, lo staff di Squarespace si occupa di tutto questo per voi, è fully managed, voi vi occupate solo di scrivere i contenuti e inserirli dove li volete. Inoltre Squarespace vi dà supporto utenti 28 ore su 24, 7 giorni su 7, ogni membro del team di supporto è un utente esperto della piattaforma Squarespace e risponde direttamente da un ufficio Squarespace. Se avete un problema tecnico complicato o una richiesta semplicissima, ad esempio su come funzioni qualcosa o se è possibile fare una determinata operazione, loro sono lì per aiutarvi. Provatelo, provatelo gratis, vi basta andare su squarespace. om/digitalia e attivate un trial di un mese completamente gratuito. Se poi non vi serve, amici come prima, nessuna spesa, nessuna sorpresa. Se invece decidete che fa per voi, e io ne sono convinto, prima o poi serve a tutti i digitaliani, usate il codice coupon DIGITALIA per avere 10% di sconto sul costo del primo acquisto. Per cui ricordate, promo code DIGITALIA, 10% di sconto sul costo del primo acquisto. Grazie a Squarespace per aver sponsorizzato anche questo speciale di Digitalia. Vi lascio all'intervista, ciao ciao. Ok, quindi in tutti questi casi la prima mail serve per acchiappare le persone potenzialmente più in target con quello che può essere la truffa vera e propria che poi viene spinta con la risposta. Esatto. Possiamo dare qualche numero? I numeri sono in realtà piccoli, ma in realtà dobbiamo focalizzarci sul fatto che questo studio è preliminare e l'obiettivo è proprio analizzare se uno strumento come CHARGEPT o uno strumento di AI generativa può essere utilizzato per questo scopo. I numeri sono 14 mail che noi abbiamo considerato in un periodo di 60 giorni, 14 mail ricevute di questo tipo dove per la prima tipologia, ossia i mail che contenevano PDS malevoli, il numero è 4, ossia 4 mail includevano questo PDS e ridirezionavano l'utente verso un altro canale, mentre i mail che suggerivano l'acquisto, l'apertura di posizioni nel mercato azionario sono 2 e la terza categoria invece è una categoria di utenti che in realtà chiedevano, fornivano comunque delle credenziali all'utente in un portale e mandando un email in testo semplice, di fatto, fornivano un account, dicevano "ho creato un account in questo portale, accedi per incassare un determinato ammontare di denaro". L: Leggevo dal paper che c'è un atteggiamento diverso anche in base alla lunghezza del messaggio, in termini di capacità di trattenere una conversazione con lo scammer. Questo specialmente per la seconda categoria, quella relativa alle posizioni sul mercato azionario, dove in questo caso lo scammer inviava un testo molto lungo, dove spiegava di fatto tutto quello che c'aveva da dire e evidentemente non si aspettava più una risposta o un'interazione da parte dell'utente. Dall'altra parte, dal punto di vista della comprensione, del fatto di stare dialogando con una macchina artificiale, quindi in qualche modo con una risposta automatizzata, questo è avvenuto con una capacità… L: Cioè vi hanno mai beccato… In realtà non ci hanno mai beccato, almeno rispetto a quella che è stata l'effettiva interazione visibile a noi e la quarta categoria, ossia gli utenti che sono stati vittime di questo sistema, che sono 4 utenti specifici, 4 email, 4 conversazioni, che sono andate avanti per diverse settimane. Dunque c'è stata un'interazione attiva con, in questo caso, 4 utenti su 14, ovviamente questa percentuale è abbastanza buona, ma bisogna considerare che i numeri sono talmente piccoli da renderla insignificante, dal punto di vista statistico, ma comunque ci ha fornito un risultato che può avere un valore se consideriamo che è un primo risultato in questo contesto. L: Enrico, c'è il rischio, secondo te, che questa tipologia di ricerca venga fatta anche al contrario? Anche questo è un aspetto che abbiamo considerato proprio nelle Open Research Challenge, che se siete d'accordo io analizzerei poi più avanti, perché forniscono proprio forse il vero contributo a questo lavoro, non tanto relativamente a questi test che abbiamo eseguito, proprio perché sono di dimensioni molto piccole, ma quello che abbiamo imparato da questi piccoli test. L: All'interno di questi test, venendo anche un po' da quello che ci hai raccontato, ti chiederei se hai ricevuto qualcosa di interessante, di curioso, perlomeno, nelle tue interazioni con… L: …la prima del principe nigeriano, l'abbiamo ricevuta o no? In realtà questi test noi li abbiamo eseguiti a dicembre, durante le vacanze di Natale, ci siamo messi a rispondere a questi scammer e a intrattenere una conversazione con loro. Abbiamo ottenuto un risultato interessante che dimostra comunque, che dimostra almeno un'apparente esposizione, un'apparente vulnerabilità di questo scammer a questo sistema, in particolare in un caso abbiamo ricevuto gli auguri di Natale da parte di uno scammer, ossia uno scammer a ridosso delle festività natalizie ci ha fatto gli auguri di Natale… L: …s'era affezionato… Sì, insomma sono anche persone per bene questi scammer… L: Esatto… L: …hanno anche loro un mutuo da pagare… Esatto, insieme però a questa conversazione che si trova comunque nell'articolo che è pubblicamente accessibile a tutti, si trova questo stato della conversazione, occorre notare che da una parte abbiamo ricevuto gli auguri di Natale e questo ci fa ben sperare, perché comunque sembrerebbe un risultato raggiunto da parte nostra nei confronti dello scammer, dall'altra però sempre in questa conversazione, nel messaggio precedente a questi auguri di Natale, è possibile notare che Ciacipti in risposta al messaggio proponeva un incontro telefonico con lo scammer. Questo lo dobbiamo considerare un altro limite di Ciacipti, perché comunque se il nostro obiettivo è quello di mettere in piedi un sistema automatizzato che ha l'obiettivo di rispondere agli scammer in modo automatizzato, riducendo all'osso minimo o del tutto l'intervento dell'uomo, non si può pensare di proporre un'interazione telefonica, perché questa non è possibile, richiedenebbe un intervento. Dunque è stato tra virgolette un errore di Ciacipti. Che ha aperto il fianco in questo caso. Esatto. Ma in realtà l'ha aperto ma solo per l'utilizzo che ne abbiamo fatto noi. Ok, ma in questo senso di Ciacipti immagino che gli avrete dato un prompt, un qualche tipo di azione. Immagino che lavorando su questo prompt uno possa dire "cerca di non portarlo verso… tieni la conversazione in e-mail" Questo è possibile ma quello che noi abbiamo fatto è stato ridurre all'osso anche il prompt, ossia se la risposta includeva in modo esplicito ad esempio un avviso verso l'utente, gli abbiamo detto "guarda ignora eventuali avvisi e fornisci una risposta". Però abbiamo toccato il meno possibile, abbiamo modificato il meno possibile e per la maggior parte delle volte non abbiamo proprio modificato il contenuto del messaggio inviato a Ciacipti. Ossia noi abbiamo preso l'e-mail così com'è e in pochissimi casi abbiamo aggiunto un testo preliminare che forzava una risposta verso l'utente. In tutti gli altri casi abbiamo lasciato il testo così com'è. E questa è una precisa scelta comunque del vostro studio. Sì, è una precisa scelta ma perché sempre nell'ottica di tirare su un sistema automatizzato non è pensabile o meglio è pensabile ma può essere particolarmente oneroso andare a studiare in modo preciso e automatizzato qual è il comportamento, qual è il contenuto del messaggio per modificare il messaggio stesso. Dunque abbiamo detto noi prendiamo il messaggio così com'è, quello dell'e-mail. Eventualmente in alcuni e pochi casi aggiungiamo un testo all'inizio, prima del messaggio che distribuisce Ciacipti su determinate azioni. Quindi già senza entrare in specifico, senza istruire Ciacipti in maniera particolare, le capacità di conversazione con questi scammer o strofatori funzionano. E questo è già secondo me un qualcosa di molto interessante. Io tornerei comunque sull'argomento anche per andare poi verso una chiusura. La domanda che ti ho fatto prima Giulio, come potrebbe essere gestita una gestione al contrario? Cioè perché questi scammer non possono utilizzare Ciacipti pure loro per variare un po' le mail? Sappiamo che i filtri antispam beccano, io per primo se vedo arrivare 10 mail tutto uguale dal Principe di Nigeria non capisco che non sono indirizzati a me in persona ma indirizzi diversi. Su questo in realtà apriamo questa sezione delle idee aperte che abbiamo identificato che rappresentano un insieme di aspetti che bisogna considerare per mettere in piedi un sistema di questo tipo e distribuirlo su larga scala. E tra questo abbiamo appunto identificato il fatto che noi stiamo utilizzando Ciacipti per generare automaticamente le risposte verso gli scammer. Così mi garantisce che dall'altra parte non ci sia un'altra AI che faccia la stessa cosa e che mi risponda in automatico senza di fatto coinvolgere l'umano ma con l'obiettivo di portare a casa il risultato. Questa è una sfida aperta che ovviamente non è semplice da risolvere ma è fondamentale risolvere prima di mettere in piedi un sistema vero e proprio di questo tipo per evitare di fatto un traffico di tipo AI to AI che di fatto andrebbe a amplificare, ad aumentare lo spreco di risorse. Il 90% potrebbe diventare anche 95-99% se si mette in piedi un sistema di questo tipo e contestualmente anche dall'altra parte. In ottica di spreco di risorse sicuramente diventerebbe un qualcosa di ingestibile, probabilmente come ritorno dell'investimento, però porterebbe al ritorno dell'investimento degli scammer intendo. Sia risposte automatiche che manuali, fargli gestire dei flussi di conversazione, immagino che richieda comunque attenzione. Considerando che sarebbero anche finanziariamente non sostenibili questi sistemi, credo che in termini di tecnologia siano sviluppati da pochissime società nel mondo, credo che si possano contare sulle dita di una mano che sono tutti progetti che perdono denaro giornalmente e che possono compensare semplicemente in questo momento un'apertura gratuita per accumulare dati. Ma a tendere immagino che ogni interrogazione API di sistemi come questi possa andare anche a generare un costo non solo in termini di sostenibilità ambientale ma anche in termini di sostenibilità finanziaria. Credo sia impensabile che ci sia un automatismo conversazionale che non passi attraverso un investimento che renda sostenibili queste piattaforme. Da capire se ci saranno sviluppi che potrebbero invece portare magari una qualità minore andando a lavorare su dataset più piccoli, rischiando però di aumentare in maniera esponenziale il tema dello spam. Sono curioso di vedere i paper che aumentano analisi in questo senso. La cosa però da considerare è che spesso dietro a me di questo tipo ci sono gruppi di criminali organizzati che dispongono comunque di importanti somme di denaro, che sono in grado di investire comunque grandi somme. Quello che però è importante è disincentivare l'adozione di queste tecniche, ma dall'altra anche considerare che un sistema di questo tipo potrebbe avere un impatto sul volume di scambio dati in rete molto molto rilevante. Io mi aspetto che dopo un po', così come nel momento in cui hai risposto a uno dei primi, le mail ti sono tornate indietro perché l'account era stato chiuso, cioè si è fatta un'azione preventiva nei confronti dell'account dello spammer, probabilmente anche gli spammer stessi una volta capito che il tuo indirizzo email di prova che stai utilizzando è bruciato, lo cancellino dai loro elenchi, lo marchino come "honey pot" eccetera, e che quindi anche lì ci sia una rincorsa alla generazione di nuovi modi di risposta e di interagire, perché comunque la corsa è sempre lì. Assolutamente. Un altro aspetto secondo me rilevante legato a questo è rappresentato da eventuali implicazioni etiche, nel senso che quello che anche il titolo di questo lavoro suggerisce è che quello che noi stiamo facendo di fatto è uno spam anche da parte nostra, nel senso siamo noi che stiamo cercando di "truffare" questi utenti malevoli e eticamente questo comportamento non è dei migliori. Dunque come posso riadattare questo comportamento per eseguire comunque delle azioni eticamente più corrette, è anche questa un'attività che dovrebbe essere considerata. Perché tu dici che non è eticamente corretta questa cosa? Non stai chiedendo soldi o fregandogli il numero di carta di credito allo scammer? Io mi sto presentando come una persona che non sono. Chiaro, probabilmente sono livelli di truffa diversi, in un caso inteso al guadagno e nell'altro caso a fin di protezione. Però eticamente questo comportamento non è dei migliori. Il rischio è anche come dicevi giustamente tu, proprio oggi prima dell'intervista vedevo addirittura sulla Rai che mi ha colpito molto, ci sta una pubblicità di OpenAI che giustifica il suo atteggiamento nei confronti della raccolta dati, immagino stimolata dal garante alla privacy visti i trascorsi, dove appunto si esplicita in TV nazionale e nazional popolare tra l'altro proprio di avere un comportamento equo, etico, che non prende dati personali, che si può avere approfondimenti in termini di trasparenza su questo sito, vai di qua vai di là. E probabilmente quello che tu sottolineavi con il tuo collega sul paper, cioè il fatto che andare a creare un percorso di questo tipo potrebbe avere delle importanti evidenze anche dal punto di vista privacy, se non altro perché poi per rispondere in un modo o nell'altro, perché il rischio è da entrambi i lati, però ci sarebbe il terzo rischio che è quello di acquisire da parte di questi sistemi di linguaggio anche la differenza vera dal punto di vista umano di quella che può essere una conversazione reale e quella che è una conversazione spam, che dal punto di vista del training immagino possa anche generare il modo in cui Giulio risponde alle mail quando è davvero lui e quindi andare a carpire in qualche modo anche il mio atteggiamento personale nell'approccio alla conversazione, cosa cui adesso tendenzialmente non dovrebbe avere accesso, invece qual è il modo fake che potrebbe invece essere evidente ai miei occhi e questo potrebbe creare ancora maggior confusione, insomma sicuramente ci sono rischi anche oltre il tema dello scam di per sé che lo rendono molto interessante. Noi infatti, sottolineo come questo lavoro che in realtà è stato pubblicato da pochi mesi, è stato in realtà sottomesso e concluso prima che uscisse lo scandalo relativo alla privacy, che tutti abbiamo sentito parlare, ma avevamo identificato questo problema proprio comunque il fatto di fornire ad un sistema di AI delle conversazioni, email, anche magari non mie, ma se pensiamo di mettere in piedi un sistema di questo tipo su un mail server, vuol dire che il sistema deve essere in grado di leggere le mail degli utenti di questo mail server, inoltrarle a un servizio di AI che può essere locale, ma anche su cloud, come ad esempio OpenAI, ChaCBT o quant'altro, dunque condividere informazioni degli utenti verso terzi, esponendo comunque delle informazioni potenzialmente sensibili verso terzi. Comunque informazioni personali, informazioni. Sì, anche perché immagino che poi nel futuro questo apre tutta una serie di domande, ad esempio oggi lo scam, per come lo stiamo descrivendo, ha un suo percorso in qualche modo attivo-passivo, cioè converso, clicca qui, metti un dato, però è on/off. Un domani con l'abitudine anche alla conversazione con un assistente digitale, può essere ancora più ampio il modo di colpire il dato, perché se puoi scammare fingendo un'intelligenza artificiale, dall'altra parte, con cui tu magari sei abituato a conversare, a cui fare uno scambio dati, puoi avere molte più informazioni della sola password che magari metti sul sito di phishing, e quindi anche questo probabilmente può aprire paper estremamente interessanti. Bello che l'Italia da questo punto di vista sia in prima linea. Un altro aspetto importante che di fatto ne abbiamo parlato in tutta questa puntata sono i limiti, cioè CPT, che è uno strumento, ricordiamo, grato di rispondere indipendentemente dal contesto, a richieste generiche. Non è un AI focalizzato sulla risposta a mail di scam. Dunque, in questo caso, quello che potrebbe avere senso, che potremmo anche vedere nei prossimi anni come no, è la nascita di diverse AI specifiche per compiti specifici. Ossia, un AI che è stato allenato su un vasto numero di scam e interazioni potrebbe fornire delle risposte più precise, più adatte e contestualizzate per questo task, per questa attività specifica, rispetto a cerchi di CPT che comunque ad esempio informava l'utente sul fatto di non rispondere oppure proponeva una risposta al vivo con lo scammer. L'obiettivo comunque alla fine sia tenere appeso lo scammer, non farlo arrendere ma neanche dargli informazioni che vuole, quindi creare una conversazione potenzialmente infinita. Esatto. Chiaro. Noi ad oggi alcuni, due di questi scammer, considerato che alla fine ne avevamo quattro che ci sono "cascati", per due di questi sono ancora in attesa del nostro pagamento tramite sistemi bancari non tracciabili. E penso che possano stare tranquilli ad aspettare. Esatto. Va bene, guarda Enrico, tanto. Grazie. Grazie, esatto. È stato un discorso veramente molto interessante. Finora è una ricerca estremamente interessante e a quanto capisco è il primo tassellino comunque di un lavoro molto più ampio che probabilmente andrai avanti a fare nel prossimo futuro, quindi spero prima o poi che andremo avanti anche in questa conversazione con te e non con CiaGPT chiaramente. Vorrei approfittarne quindi, prima di salutarci, magari dare qualche tuo riferimento, so che hai portato, come da tradizione nostra, dei gingilli, quindi lancerei il momento dei gingilli e poi vediamo cosa porti ai nostri ascoltatori. Allora, i gingilli sono, come oramai sanno bene i nostri ascoltatori, dei suggerimenti, dei riferimenti, un qualcosa, nel caso degli speciali, che abbia anche una particolare attinenza al tema. E se ho ben capito Enrico non ne hai portato uno solo, ce ne hai portato più di uno, quindi sono curiosissimo di ascoltare cosa può ci vorrà. Raccontaci, raccontaci. Io ho portato direi un gingillo interno al mio istituto, nel senso che il mio istituto, come ho menzionato, si occupa di ingegneria, su diverse tematiche e da qualche anno porta di fatto verso il pubblico, ho aperto un canale YouTube dove porta delle presentazioni di esperti nel settore, esperti ovviamente chi fa ricerca in settori specifici, menziona ad esempio sistemi satellitari, robotica, intelligenza artificiale o altre tematiche comunque emergenti e comunque molto interessante anche al pubblico di Digitalia e c'è questo canale YouTube che presenta, riporta di fatto queste registrazioni, di questi interventi di esperti del settore e questi eventi che tipicamente avvengono tutti i giovedì o quasi, se non tutti quasi. Questo direi è il primo gingillo, si chiamano gli incontri del giovedì di CNRIAP e poi ho invece un secondo gingillo che in realtà è, visto che poche settimane fa è mancato Kevin Mitnick, mi sento di portare un libro storico di Kevin Mitnick che è l'Arte del Dottorato. Bellissimo, lo conosco ma è un master nella formazione digitaliana assolutamente. Ormai ogni volta che citiamo Kevin Mitnick in questi periodi, diciamo fa parte dei fondamentali, anche questo libro fa parte dei fondamentali. Grazie, molto molto bello. Ok, grazie a voi. Perfetto, dai. A questo punto nel ringraziarti, tanto chiudo la zona dei gingilli e vorrei chiederti come possiamo, non noi chiaramente che abbiamo già in linea con noi, ma come i nostri ascoltatori se fossero interessati a mettersi in contatto con te e magari scambiare qualche parere, qualche pensiero, oltre a prima di tutto a leggere il tuo paper che è disponibile su ARXIV e metteremo nelle note dell'episodio. Vuoi lasciare qualche tuo riferimento? Libero di? Sì, posso lasciare la mia mail che è comunque facilmente anche disponibile via internet, la mia mail istituzionale che è enrico. ambiaso@cnr. t Sì, me ne hanno passato un paio di scammer quindi. Esatto. Benissimo, immagino che da lì poi si possa aprire una conversazione, risponderei tu in prima persona e non. Assolutamente, sono disponibile a approfondimento, a fornire ulteriori dettagli o indicazioni anche in tema. Esatto, sarai tu e non l'intelligente artificiale a rispondere chiaramente. Esatto. Dicciamolo. Questo non lo posso garantire però. Bene, molto molto bene, senti, ti ringrazio intanto per il tempo che ci hai dedicato, per il racconto che è stato comunque avvincente di come funziona il lavoro di un ricercatore di cyber security e di quello che si può fare comunque per cercare di combattere con armi a volte probabilmente anche simili a quelle che i nostri avversari hanno, quelli che sono poi di fatto professionisti della truffa nei nostri confronti. Ti auguro una buona estate e ti auguro chiaramente di continuare in queste tue ricerche e rendere sempre più difficile la vita loro e facile a noi. Grazie a voi dell'invito e un saluto a tutti. Grazie Enrico. Grazie mille, grazie a tutti. Ci vediamo con le prossime puntate, qui sempre sullo stesso canale, su Digitalia. Ciao.