Narzędzia czatu oparte na sztucznej inteligencji a dane dotyczące zdrowia

Generatywna sztuczna inteligencja stała się częścią codziennej pracy w wielu organizacjach. Pracownicy korzystają z narzędzi czatowych opartych na sztucznej inteligencji do tworzenia streszczeń dokumentów, redagowania wiadomości e-mail, analizowania danych, przygotowywania prezentacji, a nawet wspierania procesu podejmowania decyzji operacyjnych lub klinicznych.

Niestety, kolejny niedawny przypadek pokazuje, że bez odpowiedniego zarządzania sztuczną inteligencją, edukacji użytkowników i zabezpieczeń technicznych narzędzia te mogą szybko stać się poważnym zagrożeniem dla prywatności, cyberbezpieczeństwa i bezpieczeństwa pacjentów.

Foto: rawpixel.com na Magnific

W najnowszym raporcie Biura Inspektora Generalnego Departamentu Spraw Weteranów Stanów Zjednoczonych przeanalizowano sposób, w jaki pracownicy służby zdrowia korzystają z wewnętrznych narzędzi czatowych opartych na sztucznej inteligencji. W trakcie 90-dniowego badania inspektorzy ustalili, że ponad 15 000 pracowników aktywnie korzystało z tych narzędzi, a wielu z nich wykorzystywało je w ramach procesów klinicznych, w ramach których mogli potencjalnie uzyskać dostęp do danych pacjentów lub je przetwarzać. Zgodnie z raportem kierownictwo placówek opieki zdrowotnej traktowało te narzędzia niemal jak tradycyjne wyszukiwarki, nakładając główną odpowiedzialność na poszczególnych użytkowników. Inspektor Generalny stwierdził jednak, że takie podejście nie uwzględniało w pełni ryzyka związanego z generatywną sztuczną inteligencją, zwłaszcza w środowiskach opieki zdrowotnej, gdzie niedokładne wyniki, „halucynacje” lub niewłaściwe obchodzenie się z danymi pacjentów mogą mieć bezpośredni wpływ na jakość opieki nad pacjentami.

Śledczy zidentyfikowali 135 wspólnych zapytań, w tym 79 zapytań klinicznych, wykorzystywanych w całej organizacji. Nie istniał jednak żaden scentralizowany system zarządzania projektowaniem zapytań, nie przeprowadzano systematycznej oceny wyników generowanych przez sztuczną inteligencję ani nie istniał skuteczny mechanizm identyfikacji treści generowanych przez sztuczną inteligencję w dokumentacji klinicznej.

Organizacje potrzebują wielopoziomowej ochrony.

➡️ Edukacja.

Pracownicy muszą dokładnie rozumieć, jakie informacje można, a jakich nie wolno wprowadzać do systemów opartych na sztucznej inteligencji.

➡️ Środki kontroli technicznej.

Organizacje powinny wdrażać rozwiązania zdolne do wykrywania i zapobiegania wklejaniu przez użytkowników poufnych informacji do interfejsów czatów opartych na sztucznej inteligencji. Nowoczesne platformy DLP i DSPM w coraz większym stopniu oferują funkcje uwzględniające sztuczną inteligencję, umożliwiając organizacjom wykrywanie danych podlegających regulacjom, klasyfikowanie treści wrażliwych, blokowanie nieautoryzowanych monitów oraz monitorowanie wykorzystania sztucznej inteligencji w środowiskach korporacyjnych.

➡️ Zarządzanie sztuczną inteligencją.

Organizacje z sektora opieki zdrowotnej powinny ustalić jasne przypadki użycia sztucznej inteligencji, zdefiniować zatwierdzone narzędzia, sklasyfikować systemy oparte na sztucznej inteligencji według poziomu ryzyka, w odpowiednich przypadkach wprowadzić zarządzanie podpowiedziami, monitorować wyniki generowane przez sztuczną inteligencję oraz na bieżąco oceniać ryzyko związane z klinicznymi zastosowaniami sztucznej inteligencji.

Obecnie wiele organizacji koncentruje się na zwiększaniu produktywności dzięki sztucznej inteligencji. Jednak produktywność bez odpowiedniego zarządzania może szybko przerodzić się w incydent związany z naruszeniem zgodności, prywatności i cyberbezpieczeństwa.

Autor: Sebastian Burgemejster