Kiedy stosuje się zarządzanie ryzykiem AI i co robić dalej

Zarządzanie ryzykiem AI stosuje się, gdy system, funkcja, możliwość dostawcy lub proces wewnętrzny może mieć istotne konsekwencje dla ludzi, danych, bezpieczeństwa, klientów albo firmy. System nie musi najpierw zostać uznany za system wysokiego ryzyka w rozumieniu AI Act. Prywatność, bezpieczeństwo, niezawodność, umowy i ryzyko operacyjne mogą samodzielnie uzasadniać kontrole.

Praktyczny test dla SaaS brzmi: czy zastosowanie może zmienić decyzję, ujawnić chronione informacje, wpłynąć na osobę, tworzyć treści dla klientów, automatyzować ważne zadanie lub powodować zobowiązanie firmy? Jeśli tak lub odpowiedź jest niejasna, zarejestruj przypadek, przypisz właściciela i przeprowadź proporcjonalną ocenę przed wdrożeniem.

Kiedy potrzebna jest ocena

Uwzględnij AI dla klientów, własne modele, API modeli, funkcje dostawców i narzędzia używane przez pracowników. Ocena jest zwykle potrzebna, gdy przetwarzane są dane osobowe lub poufne; wynik wpływa na dostęp, priorytet lub inne istotne skutki; brakuje skutecznego nadzoru człowieka; AI może wykonywać działania; albo zmieniają się cel, dane, model, dostawca, rynek lub użytkownicy. Dla niskiego wpływu ocena może być lekka, ale decyzja o zakresie powinna być świadoma i udokumentowana.

Konkretne obowiązki prawne

Ogólne zarządzanie ryzykiem i zgodność z AI Act są powiązane, lecz nie tożsame. Obowiązki zależą od systemu, zamierzonego celu, roli organizacji, kategorii ryzyka i daty stosowania. Firma SaaS może być dostawcą funkcji, a podmiotem stosującym narzędzie wewnętrzne.

Artykuł 9 wymaga od dostawców systemów AI wysokiego ryzyka ustanowienia, wdrożenia, udokumentowania i utrzymywania systemu zarządzania ryzykiem. Jest to ciągły, iteracyjny proces w całym cyklu życia: identyfikacja znanych i racjonalnie przewidywalnych ryzyk, ocena przy zamierzonym użyciu i przewidywalnym niewłaściwym użyciu, wykorzystanie monitoringu po wprowadzeniu na rynek, zastosowanie ukierunkowanych środków i testowanie. Ponieważ harmonogram ewoluował, sprawdzaj aktualną stronę Komisji Europejskiej.

Pięć pytań kwalifikacyjnych

1. Jaki jest rzeczywisty cel, kto używa systemu i kogo on dotyczy?
2. Jakie dane wchodzą, jakie wyniki wychodzą i jak są przechowywane?
3. Czy wynik to szkic, porada, rekomendacja, priorytet czy automatyczne działanie?
4. Co może zawieść: trafność, stronniczość, prywatność, bezpieczeństwo, własność intelektualna lub ciągłość?
5. Jakie przepisy, umowy, zobowiązania i polityki mają znaczenie?

Proces i dowody

Utwórz stabilny wpis inwentarza z właścicielem, celem, modelem lub dostawcą, użytkownikami, osobami dotkniętymi, danymi, automatyzacją, rynkami i datą przeglądu. Udokumentuj rolę, kontekst i wpływ. NIST AI RMF porządkuje pracę jako Govern, Map, Measure i Manage, a ład obejmuje cały cykl życia.

Dobierz testy: trafność, scenariusze awarii, prywatność i bezpieczeństwo, wpływ, red teaming lub dowody dostawcy. Ustal kryteria i zapisz ograniczenia. Kontrole powinny wynikać z ryzyk: minimalizacja danych, zakazane wejścia, dostęp, potwierdzenie człowieka, limity działań, logi, informacje, tryb awaryjny, monitoring i eskalacja. Zapisz właściciela, dowód i decyzję.

Zachowaj inwentarz, analizę roli, ocenę, przepływy danych, dokumenty dostawcy, testy, zatwierdzenia, kontrole, nadzór, incydenty i historię zmian. Oceń ponownie po zmianie celu, użytkowników, danych, modelu, dostawcy, automatyzacji, regionu, prawa lub zachowania.

FAQ

Czy dotyczy to tylko AI wysokiego ryzyka?

Nie. Artykuł 9 tworzy szczególny obowiązek dla dostawców systemów wysokiego ryzyka. Inne systemy mogą wymagać proporcjonalnego zarządzania ze względu na prywatność, bezpieczeństwo, umowy, oczekiwania klientów lub dobrowolne zobowiązania.

Co udokumentować najpierw?

Cel, właściciela, użytkowników, osoby dotknięte, dane, model lub dostawcę, użycie wyniku, nadzór człowieka, rolę, ryzyka, kontrole, zatwierdzenie i przesłanki ponownej oceny.