Systemy sztucznej inteligencji są teraz aktywnymi celami: Nowy NIST przedstawia zagrożenia i strategie obronne

NIST AI 100-2 to lektura obowiązkowa dla każdego, kto zajmuje się cyberbezpieczeństwem, audytem, prywatnością lub ryzykiem. Dokument koncentruje się na przeciwstawnym uczeniu maszynowym i zawiera szczegółowe informacje na temat tego, w jaki sposób modele AI są atakowane i co z tym zrobić.

Dokument dzieli ataki AI na wyraźne kategorie w całym cyklu życia:

Ataki związane z danymi

✅ Zatruwanie danych: Zmiana danych treningowych w celu wpłynięcia na zachowanie modelu.

✅ Wyciek danych: Wrażliwe informacje nieumyślnie osadzone w modelach.

✅ Przekrzywianie danych: Subtelne przesunięcie rozkładów w celu wpłynięcia na wyniki.

Ataki związane z modelem

✅ Omijanie modelu: Przesyłanie spreparowanych danych wejściowych w celu wprowadzenia w błąd prognoz (np. przykładów przeciwnika).

✅ Ekstrakcja modelu: Kradzież parametrów modelu poprzez dostęp do API.

✅ Inwersja modelu: Rekonstrukcja wrażliwych danych z danych wyjściowych modelu.

Ataki związane z użytkowaniem

✅ Manipulacja wnioskowaniem: Powodowanie, że systemy sztucznej inteligencji generują fałszywe lub stronnicze informacje.

✅ Wnioskowanie o przynależności: Określanie, czy rekord został użyty w szkoleniu.

✅ Wstrzyknięcie zachęty: Zmuszanie modeli generatywnych do generowania niezamierzonych odpowiedzi.

Ponieważ żyjemy w świecie, w którym wdrażanie sztucznej inteligencji nabiera tempa, specjaliści ds. cyberbezpieczeństwa, prywatności i audytu muszą zrozumieć, w jaki sposób można wykorzystać te systemy. Ataki mogą nastąpić w dowolnym momencie: szkolenia, dostrajania, wdrażania, po wdrożeniu. Nie są to zagrożenia teoretyczne - wiele udokumentowanych ataków zostało z powodzeniem przeprowadzonych na rzeczywistych systemach. Niektóre ataki są znane (wstrzykiwanie, spoofing, DoS), ale wiele z nich jest specyficznych dla sztucznej inteligencji, takich jak wstrzykiwanie podpowiedzi lub inwersja modelu. Nie możemy się przed nimi bronić przy użyciu tylko tradycyjnych technik.

✅Musimy połączyć sprawdzone strategie cyberbezpieczeństwa z nowymi podejściami specyficznymi dla bezpieczeństwa modeli.

✅Zarządzanie ryzykiem musi zostać rozszerzone o zarządzanie modelami, walidację łańcucha dostaw i modelowanie zagrożeń specyficznych dla sztucznej inteligencji.

✅ Dogłębna obrona oznacza teraz ochronę danych, modelu, szkolenia i wnioskowania - a nie tylko obwodu.

Link

AI Systems Are Now Active Targets: New NIST Outlines Threats and Defensive Strategies

The NIST AI 100-2 is a must-read for anyone working in cybersecurity, audit, privacy, or risk. The document focuses on Adversarial Machine Learning and provides detailed breakdowns of how AI models are attacked and what to do about it.

The document structures AIattacks into clear categories across the lifecycle:

Data-related Attacks

✅ Data poisoning: Altering training data to affect model behavior.

✅ Data leakage: Sensitive info unintentionally embedded in models.

✅ Data skewing: Subtly shifting distributions to influence outcomes.

Model-related Attacks

✅ Model evasion: Submitting crafted inputs to mislead predictions (e.g., adversarial examples).

✅ Model extraction: Stealing model parameters via API access.

✅ Model inversion: Reconstructing sensitive data from model outputs.

Usage-related Attacks

✅ Inference manipulation: Causing AI systems to output false or biased information.

✅ Membership inference: Determining whether a record was used in training.

✅ Prompt injection: Forcing generative models to produce unintended responses.

Because we live in a world where AI adoption is accelerating, it's essential for cybersecurity, privacy, and audit professionals to understand how these systems can be exploited. Attacks can occur at any point: training, tuning, deployment, post-deployment. These are not theoretical risks—many documented attacks have been successfully carried out on real systems. Some attacks are familiar (injection, spoofing, DoS), but many are AI-specific—like prompt injection or model inversion. We can’t defend against these using only traditional techniques.

✅ We must combine tested cybersecurity strategies with new approaches specific to model security.

✅ Risk management needs to expand to include model governance, supply chain validation, and AI-specific threat modeling.

✅ Defense indepth now means defending the data, the model, the training, and the inference—not just the perimeter.

Link

Autor: Sebastian Burgemejster