Zarządzanie ryzykiem w modelach sztucznej inteligencji typu „open-weight”
Właśnie przeczytałem nowy artykuł firm Microsoft i NVIDIA zatytułowany „Zarządzanie ryzykiem w modelach typu open-weight w przedsiębiorstwie”. To dobra publikacja, choć spodziewałem się więcej „treści”: konkretnych scenariuszy awarii i przykładów tego, jak poszczególne rodzaje ryzyka się urzeczywistniają.
Niemniej jednak jako ogólny model zarządzania ryzykiem, zwłaszcza dla osób dopiero rozpoczynających pracę z oceną ryzyka związanego ze sztuczną inteligencją, jest on zdecydowanie przydatny.
Foto: magnific
Otwarty model nie oznacza automatycznie większego lub mniejszego ryzyka.
Ryzyko zależy od modelu, przypadku użycia, wdrożenia, użytkowników, danych, uprawnień, zabezpieczeń i kontekstu operacyjnego. W artykule zaproponowano 5 kategorii i 30 szczegółowych rodzajów ryzyka:
Cyberbezpieczeństwo
Ochrona danych
Treść
Interakcja człowiek–sztuczna inteligencja
Stronniczość
Obejmują one generowanie złośliwego kodu i wywoływanie narzędzi, utratę kontroli, ujawnienie danych osobowych, kradzież i destylację modeli, naruszenia integralności informacji, nadmierne poleganie, pochlebstwo oraz profilowanie.
Podejście to opiera się na normach ISO 23894, ISO 42001, ISO 42005 oraz NISTAIRMF.
Proces ten jest dobrze znany:
➡️ określenie zakresu, kontekstu i kryteriów
➡️ identyfikacja i ocena ryzyka
➡️ ocena na podstawie dowodów
➡️ wdrożenie środków ograniczających ryzyko
➡️ monitorowanie i ponowna ocena
Warto pamiętać o kilku kwestiach.
Pochodzenie modelu ma znaczenie. Testy behawioralne nie mogą udowodnić, że otrzymany artefakt jest tym samym, który opublikował dostawca.
Dostrajanie, scalanie, kwantyzacja lub zmiany konfiguracji mogą osłabić zabezpieczenia, pozostawiając jednocześnie nienaruszoną funkcjonalność.
Zmierzona „skłonność” nie jest tym samym, co prawdopodobieństwo w rzeczywistych warunkach. Ekspozycja, użytkownicy i motywacja atakującego zmieniają obraz sytuacji.
Sama ocena modelu nie wystarczy. Istotne znaczenie mają również środowisko uruchomieniowe, aplikacje, podłączone narzędzia, uprawnienia i środki kontroli operacyjnej.
Artykuł ten stanowi solidną podstawę, jednak praktycy poszukujący szczegółowych ścieżek ataku, przykładów incydentów i konkretnych scenariuszy mogą nadal czuć się niedosyt. Techniki takie jak jailbreak i wstrzykiwanie promptów zostały celowo pominięte w samej taksonomii, natomiast bardziej szczegółowe wytyczne dotyczące środowiska uruchomieniowego, harnessów i aplikacji mają zostać przedstawione w przyszłych publikacjach. Postrzegam to zatem jako bardzo dobrą mapę startową, a nie cel sam w sobie.
Każdemu, kto szuka znacznie bardziej „konkretnych treści”, gorąco polecam inicjatywę MIT AI Risk Initiative. Jej repozytorium zagrożeń związanych ze sztuczną inteligencją (AI Risk Repository) zawiera ponad 1 700 zagrożeń, a także taksonomie i linki do dowodów potwierdzających.
Autor: Sebastian Burgemejster
Komentarze