Przedmiot fakultatywny 6 - Bezpieczeństwo aplikacji ML/LLM

Student podejmujący realizację przedmiotu powinien posiadać:

1. Podstawową wiedzę z zakresu uczenia maszynowego, w tym znajomość typowych algorytmów klasyfikacji i regresji oraz podstaw przetwarzania danych.

2. Znajomość języka Python na poziomie umożliwiającym implementację i analizę prostych modeli ML (biblioteki: scikit-learn, pandas, numpy).

3. Znajomość podstawowych pojęć z zakresu bezpieczeństwa systemów informatycznych, takich jak ataki typu injection, uwierzytelnianie, kontrola dostępu.

4. Umiejętność czytania i analizy dokumentacji technicznej oraz prac naukowych z zakresu informatyki.

Zalecane ukończenie następujących przedmiotów (lub ich odpowiedników):

- Uczenie maszynowe / Sztuczna inteligencja,

- Bezpieczeństwo systemów informatycznych,

- Programowanie w języku Python.

Godziny kontaktowe:

- Wykład: 15 godzin

- Laboratoria: 45 godzin

Razem: 60 godzin - 60/25 = 2.4 pkt ECTS

Godziny niekontaktowe:

- Przygotowanie do laboratoriów (kodowanie, analiza, testy): 40 godzin

- Czytanie literatury i materiałów źródłowych: 25 godzin

- Praca projektowa (indywidualna lub zespołowa): 35 godzin

- Przygotowanie do zaliczenia i egzaminu: 40 godzin

Razem: 140 godzin - 140/25 = 5.6 pkt. ECTS

Łączna liczba godzin: 200 h - 8 pkt.ECTS

Wykład

Efekty kształcenia weryfikowane są poprzez:

- W01, W02, W03 - egzamin pisemny lub ustny podsumowujący wiedzę teoretyczną z zakresu bezpieczeństwa systemów ML i LLM, w tym:

- typy ataków na modele ML,

- mechanizmy obrony,

- zagadnienia prywatności, integralności danych, modeli i promptów,

- aktualne wyzwania w bezpieczeństwie LLM.

- Obecność i aktywność na wykładach (opcjonalnie – np. mini quizy lub dyskusje, jeśli są przewidziane).

- Możliwość zastosowania testu wielokrotnego wyboru jako formy sprawdzającej zrozumienie zagadnień podstawowych.

Laboratoria

- W01, U01, U02, U03 - Kolokwium zaliczeniowe na zakończenie semestru, obejmujące:

- zadania programistyczne analogiczne do tych, które były realizowane podczas zajęć,

- analizę lub modyfikację istniejących ataków lub mechanizmów obronnych,

- interpretację wyników działania modeli i ich podatności.

- U4 - Ćwiczenia realizowane w grupach 2-3 osobowych, obejmujące wspólną analizę zagrożeń dla wybranego modelu ML/LLM oraz opracowanie strategii przeciwdziałania.

- K01, K02 - Obserwacja postawy studenta podczas pracy zespołowej i dyskusji na zajęciach, w szczególności uwzględniania aspektów etycznych przy projektowaniu ataków i mechanizmów obronnych oraz odpowiedzialnego podejścia do zagadnień takich jak ujawnianie podatności czy red teamijg oraz umiejętności korzystania z dokumentacji technicznej, literatury naukowej i wiedzy eksperckiej przy rozwiązywaniu złożonych problemów bezpieczeństwa AI.

Kolokwium może być przeprowadzane w formie pisemnej lub komputerowej, z dostępem do środowiska programistycznego (np. Jupyter, VS Code). Warunkiem przystąpienia do kolokwium może być zaliczenie wybranych ćwiczeń w trakcie semestru (do decyzji prowadzącego).

Wykład

W ramach wykładu omawiane są współczesne zagrożenia i problemy bezpieczeństwa związane z aplikacjami wykorzystującymi uczenie maszynowe (ML) i modele językowe dużej skali (LLM).

Zagadnienia omawiane w ramach wykładów:

- Wprowadzenie do problematyki bezpieczeństwa w systemach ML/LLM - podatności modeli, luka między klasycznym a statystycznym podejściem do ochrony

- Przegląd zagrożeń w uczeniu maszynowym:

- ataki typu evasion, poisoning, model extraction, membership inference

- wpływ jakości danych uczących na bezpieczeństwo predykcji

- Bezpieczeństwo modeli językowych (LLM):

- ataki typu prompt injection (direct i indirect)

- techniki jailbreakingu i bypassowania ograniczeń

- analiza wektorów ataku w systemach z interfejsem językowym

- Mechanizmy obronne:

- redundancja i wykrywanie anomalii

- regularizacja, detekcja nieprawidłowych danych wejściowych

- ograniczenia ochrony przez transformacje danych

- Prywatność i odpowiedzialność:

- privacy leakage w modelach ML i LLM

- ochrona danych użytkownika i danych treningowych

- problemy etyczne, dezinformacja, odpowiedzialność twórców modeli

- Studium przypadków: analiza realnych incydentów związanych z wykorzystaniem modeli ML i LLM w środowiskach otwartych

Laboratoria

Laboratoria mają charakter praktyczny i koncentrują się na implementacji oraz analizie ataków i metod obrony dla systemów ML/LLM. Studenci pracują z rzeczywistymi modelami klasyfikacyjnymi, uczą się przeprowadzać ataki typu evasion, poisoning i prompt injection oraz wdrażać mechanizmy obronne.

- Implementacja ataków na modele klasyfikacyjne:

- evasion attack na modele scikit-learn

- modyfikacja danych testowych dla przełamania klasyfikatora

- Symulacja ataków typu poisoning i analiza skutków skażenia danych uczących

- Eksperymenty z atakami na prywatność:

- rekonstrukcja danych wejściowych (input leakage)

- identyfikacja danych z treningu (membership inference)

- Tworzenie i testowanie prostych prompt injection w środowisku z LLM (np. ChatGPT, LLaMA)

- Ocena skuteczności metod obronnych:

- wykorzystanie filtrów wejściowych, detektorów outlierów, manipulacja promptami

- testowanie odporności modeli na niestandardowe wejścia

- Kolokwium praktyczne: zadania oparte na scenariuszach z laboratoriów

Literatura podstawowa:

1. Materiały wykładowe w postaci pliku PDF udostępnione na wybrane platformie (MS Team, Wirtualny Kampus)

2. Ian Goodfellow, Yoshua Bengio, Aaron Courville – Deep Learning, MIT Press, 2016. (https://www.deeplearningbook.org)

3. Ian Goodfellow et al. – Explaining and Harnessing Adversarial Examples, ICLR 2015. (https://arxiv.org/pdf/1412.6572)

4. Sotiropoulos, John. Ataki na AI, środki neutralizujące i strategie obronne. Przewodnik dla specjalistów ds. cyberbezpieczeństwa po atakach adwersarialnych, modelowaniu zagrożeń i wprowadzaniu zabezpieczeń zgodnych ze strategią MLSecOps. Tłum. zbiorowe. Helion, 2025.

Literatura uzupełniająca:

Rajalingappaa Shanmugamani – Adversarial AI: Attacks, Mitigations, and Defense Strategies, Packt Publishing, 2020.

1. Battista Biggio, Fabio Roli – Wild Patterns: Ten Years After the Rise of Adversarial ML, Pattern Recognition 2018. (https://arxiv.org/abs/1712.03141)

2. Nicolas Papernot et al. – The Limitations of Deep Learning in Adversarial Settings, IEEE Euro S&P 2016. (https://arxiv.org/abs/1511.07528)

3. Carlini, Nicholas et al. – Prompt Injection Attacks Against Text-to-Text Models, arXiv:2202.05262. (https://arxiv.org/abs/2202.05262)

4. OpenAI – System Card for GPT-4, OpenAI Technical Report 2023. (https://cdn.openai.com/gpt-4o-system-card.pdf)

5. OWASP Foundation – LLM Application Security (OWASP Top 10 for LLMs). (https://owasp.org/www-project-top-10-for-large-language-model-applications/)

6. Google DeepMind – A Taxonomy of Vulnerabilities in Large Language Models, 2023. (https://research.tudelft.nl/files/225466837/A_Security_Risk_Taxonomy_for_Prompt-Based_Interaction_With_Large_Language_Models.pdf)

7. MITRE ATLAS – Adversarial Threat Landscape for AI Systems. (https://www.pointguardai.com/glossary/mitre-atlas)

8. Florian Tramèr et al. – Stealing Machine Learning Models via Prediction APIs, USENIX 2016. (https://arxiv.org/abs/1609.02943)

9. Rebuffi et al. – Data Poisoning Attacks on Transfer Learning, 2020. (https://arxiv.org/abs/2004.09533)

10. Song, Shmatikov – Privacy Risks of Deep Learning, CCS 2017. (https://www.cs.cornell.edu/~shmat/shmat_ccs17.pdf)

WIEDZA

W01 - Ma pogłębioną wiedzę dotyczącą bezpieczeństwa aplikacji uczenia maszynowego i modeli językowych, w tym rodzajów ataków i ich mechanizmów działania (K_W02)

W02 - Zna współczesne metody testowania podatności modeli ML i LLM oraz techniki ich ochrony (K_W04)

W03 - Rozumie konsekwencje wykorzystania technik Adversarial AI w kontekście etyki, prawa oraz bezpieczeństwa danych i infrastruktury (K_W13)

UMIEJĘTNOŚCI:

U01 - Potrafi analizować zagrożenia oraz projektować ataki (np. evasion, poisoning, prompt injection) w kontrolowanych warunkach eksperymentalnych (K_U01)

U02 - Umie dobrać i zastosować metody obrony (np. detekcja anomalii, retraining, osłabianie ataku) dla wybranych modeli ML i LLM (K_U05)

U03 - Potrafi zrealizować projekt praktyczny z zakresu oceny bezpieczeństwa aplikacji ML/LLM z wykorzystaniem narzędzi i frameworków (np. TextAttack, LlamaGuard) (K_U03)

U04 - Potrafi współpracować w zespole nad projektem obejmującym analizę i przeciwdziałanie zagrożeniom w AI (K_U09)

KOMPETENCJE SPOŁECZNE:

K01 - Ma świadomość etycznej odpowiedzialności związanej z tworzeniem, testowaniem i zabezpieczaniem modeli ML i LLM (K_K06)

K02 - Uznaje znaczenie wiedzy eksperckiej w obszarze bezpieczeństwa AI i potrafi korzystać z niej przy rozwiązywaniu złożonych problemów (K_K02)