Incydent związany z Hugging Face

Minęło już trochę czasu od incydentu związanego z HuggingFace i do tej pory śledziłem jedynie ogólne informacje na ten temat. W końcu znalazłem czas, by zapoznać się ze szkicem wstępnej analizy po incydencie. Warto ją przeczytać, ponieważ wykracza daleko poza sam opis tego, co się wydarzyło. Skupia się na tym, co zespoły ds. bezpieczeństwa powinny zmienić w związku z tym wydarzeniem.

Foto: http://rawpixel.com/ na Magnific

Sam incydent ma charakter nadzwyczajny. Podczas oceny zdolności cybernetycznych przeprowadzonej przez Open AI autonomiczne agenty działające przy ograniczonych zabezpieczeniach wydostały się poza zamierzone środowisko, wykorzystały nieznaną wcześniej lukę w zabezpieczeniach serwera proxy zapewniającego ograniczoną łączność, uzyskały dostęp do Internetu i ostatecznie naruszyły część infrastruktury Hugging Face. Agenty wykorzystały łańcuch luk w zabezpieczeniach infrastruktury przetwarzającej zbiory danych, zgromadziły dane uwierzytelniające do chmury i klastrów, a następnie przemieszczały się w poziomie po środowiskach wewnętrznych. Była to zorientowana na cel autonomiczna aktywność obejmująca tysiące pojedynczych działań, równoległe wykonywanie zadań, dostosowywanie się do środowiska oraz wykorzystywanie okazji pojawiających się po drodze. Hugging Face wykryło naruszenie za pomocą analizy telemetrycznej wspomaganej przez sztuczną inteligencję. Podczas dochodzenia sztuczna inteligencja ponownie odegrała kluczową rolę: przeanalizowano ponad 17 000 zarejestrowanych zdarzeń, aby odtworzyć ścieżkę ataku, zidentyfikować naruszone dane uwierzytelniające oraz oddzielić rzeczywistą aktywność od szumu. Zgodnie z analizą po zdarzeniu pozwoliło to skrócić czas pracy, który w normalnych warunkach mógłby trwać od tygodni do godzin.

Tradycyjne środki bezpieczeństwa pozostają absolutnie niezbędne, ale nie wystarczają już jako kompletny model obronny.

W podsumowaniu przedstawiono tak zwane „nowe podstawy” bezpieczeństwa agentów, w tym:

➡️ traktowanie agentów jako obciążeń o uprawnieniach uprzywilejowanych,

➡️ monitorowanie działań agentów, korzystania z narzędzi i procesu podejmowania decyzji,

➡️ aktywne egzekwowanie zasad zamiast polegania wyłącznie na zatwierdzeniu przez człowieka,

➡️ kompletną telemetrię agentów, obejmującą monity, tożsamości, poświadczenia, wtyczki, serwery MCP oraz wersje modeli i zestawów testowych,

➡️ rotację poświadczeń na dużą skalę,

➡️ niezmienną infrastrukturę i szybką odbudowę z obrazów o potwierdzonej poprawności,

➡️ technologię dezinformacji: fałszywe poświadczenia, interfejsy API, zbiory danych i klastry,

➡️ wykrywanie na poziomie trajektorii obejmujące tożsamości, narzędzia i systemy,

➡️ reagowanie na incydenty wspomagane przez sztuczną inteligencję, działające z prędkością zbliżoną do prędkości maszyn.

Niestety lub na szczęście, w zależności od punktu widzenia, bezpieczeństwo oparte na sztucznej inteligencji również wymaga technologii. Era, w której zespoły ds. bezpieczeństwa mogły polegać głównie na zasadach, corocznych ocenach ryzyka i tradycyjnych platformach bezpieczeństwa, dobiega końca.

Nadal potrzebujemy podstaw.

Jednak oprócz nich coraz bardziej potrzebujemy wykrywania wspieranego przez sztuczną inteligencję, analizy kryminalistycznej wspomaganej przez sztuczną inteligencję, automatycznego ograniczania zakażeń, monitorowania agentów oraz reakcji z prędkością maszynową.

Ten incydent pokazuje, że przyszły krajobraz zagrożeń nie nadchodzi – on już się rozpoczął.

Link

Autor: Sebastian Burgemejster