IANNUCCI STEFANO
PIZZONIA MAURIZIO
Obiettivi
Il corso mira a fornire una solida comprensione delle intersezioni tra cybersecurity e intelligenza artificiale a vari livelli. Gli studenti acquisiranno competenze nei tipici usi di strumenti di AI per la mitigazioni dei rischi legati alla sicurezza informatica, come ad esempio l'uso di AI per il rilevamento e la prevenzione di attacchi.Si considereranno altresì i nuovi rischi introdotti dall'uso della AI nei sistemi aziendali e nei processi di business e le tecniche di mitigazione. Si descriveranno tecniche offensive che fanno uso di AI ad esempio in malware, social engineering, phishing, attacchi ai sistemi CAPTCHA e biometrici, manipolazione delle informazioni.
Si accennerà a questioni etiche dell'uso di AI nei sistemi.
Programma
IANNUCCI STEFANO
Richiami di cybersecurity e di machine learningPanoramica dei vari contesti in cui l’intelligenza artificiale può essere utilizzata all’interno di un’organizzazione, dei vantaggi e delle minacce
Uso difensivo dell’intelligenza artificiale
Formati dei dati: host-based e network-based
Feature engineering
Rilevamento delle anomalie (Anomaly Detection)
Analisi del malware
Analisi del traffico di rete: preparazione dei dati, apprendimento supervisionato, apprendimento non supervisionato, ensemble learning
Machine Learning avversariale (Adversarial ML)
Minacce legate all’intelligenza artificiale e strategie di mitigazione
Avvelenamento dei modelli (model poisoning) e manomissione (tampering), difese
Attacchi alla supply chain e relative difese
Attacchi di evasione (evasion attacks) e difese
Attacchi alla privacy e difese
IA generativa: GAN per applicazioni malevole (deepfake, clonazione vocale, evasione di malware, spam, videosorveglianza), rilevamento dei deepfake
LLM: architetture che sfruttano gli LLM, RAG, MCP, chain-of-thought, modelli di minaccia
Prompt injection diretta/indiretta, jailbreak, phishing, style injection, role-playing, impersonificazione, ChatGPT_DAN, esfiltrazione dei dati, escalation dei privilegi ed esecuzione di codice remoto (ad esempio tramite MCP), difese e mitigazioni
Avvelenamento nei sistemi RAG e nel fine-tuning. Rischi della supply chain: pubblicazione di un LLM compromesso. Benchmark, red teaming, monitoraggio e risposta agli incidenti
Metodologia secure-by-design, framework, MLSecOps, approccio shift-left
PIZZONIA MAURIZIO
Richiami di cybersecurity e di machine learningPanoramica dei vari contesti in cui l’AI può essere usata in una organizzazione, dei vantaggi e delle minacce.
# Uso difensivo della AI
Formato dei dati, host-based network-based
Feature Engineering
Anomaly Detection
Malware Analysis
Network Traffic Analysis: data preparation, supervised learning, unsupervised learning, ensembles
Adversarial ML
# Minacce legate all’AI e strategie di mitigazione
Model poisoning and tampering, defenses
Supply chain attacks and defenses
Evasion attacks and defenses
Privacy attacks and defenses
Generative AI: GAN per applicazioni malevole (deepfake, voice cloning, evasion: malware, spam, videosorveglianza), deepfake detection
LLM: architetture che sfruttano gli LLM, RAG, MCP, chain-of-thoughts, threat models
direct/indirect prompt injection, jailbreak, phishing, style injection, role-playing, impersonation, ChatGPT_DAN, data exfiltration, privilege excalation and remote code execution (e.g. through MCP), defenses and mitiations
Poisoning in RAG and fine-tuning. Supply chain risks: publishing a poisoned LLM. Banchmarks. Red teaming. monitoring, incident response.
Secure-by-desing methodology, framworks, MLSecOps, shift-left
Prerequisiti
IANNUCCI STEFANO
Nessun prerequisitoPIZZONIA MAURIZIO
Basi di cybersecurity e di Machine LearningTesti Adottati
IANNUCCI STEFANO
Machine Learning and Security : Protecting Systems with Data and Algorithms. Chio, Clarence; Freeman, DavidAdversarial AI Attacks, Mitigations, and Defense Strategies: A cybersecurity professional's guide to AI attacks, threat modeling, and securing AI with MLSecOps. John Sotiropoulos Sotiropoulos
PIZZONIA MAURIZIO
- Machine Learning and Security : Protecting Systems with Data and Algorithms. Chio, Clarence; Freeman, Davidhttps://www.proquest.com/docview/2134682020/73CEC526C564F85PQ
- Adversarial AI Attacks, Mitigations, and Defense Strategies: A cybersecurity professional's guide to AI attacks, threat modeling, and securing AI with MLSecOps. John Sotiropoulos Sotiropoulos
https://www.proquest.com/docview/3081482260/3B9D9980BFF8481BPQ
Modalità Frequenza
IANNUCCI STEFANO
-PIZZONIA MAURIZIO
Gli studenti sono incoraggiati a seguire il corso in aula dal vivo,Modalità Valutazione
IANNUCCI STEFANO
Prova Scritta, prova orale progettoPIZZONIA MAURIZIO
Progetto e discussione (sulla prima parte) prova orale (o scritto a seconda dei numeri) sulla seconda parteEsempi Domande
IANNUCCI STEFANO
-PIZZONIA MAURIZIO
Poisoning, evasion e privacy attacks nei sistemi MLTassonomia NIST vs tassonomia basata sugli asset del ciclo di vita AI
Prompt injection diretto e indiretto in applicazioni LLM con RAG
Rischio di supply chain nei sistemi AI
Threat modeling per un sistema AI-based aziendale
