Kiedy ma zastosowanie nadzór człowieka i co dalej

Nadzór człowieka na mocy unijnej ustawy o sztucznej inteligencji ma zastosowanie jako szczególny wymóg prawny w przypadku systemów sztucznej inteligencji wysokiego ryzyka. Nie jest spełniony tylko dlatego, że pracownik widzi wynik lub dlatego, że polityka mówi, że dana osoba pozostaje odpowiedzialna. Dostawcy muszą projektować systemy wysokiego ryzyka tak, aby osoby fizyczne mogły je skutecznie nadzorować, natomiast wdrażający muszą powierzyć nadzór osobom posiadającym niezbędne kompetencje, przeszkolenie, uprawnienia i wsparcie.

W przypadku zespołu SaaS praktyczna sekwencja jest następująca: klasyfikacja systemu, określenie, czy firma działa jako dostawca czy wdrożeniowiec, zdefiniowanie, co człowiek może faktycznie zrozumieć i zmienić, przetestowanie ścieżki interwencji i zachowanie dowodów. Jeśli system nie wiąże się z wysokim ryzykiem, weryfikacja ręczna może nadal stanowić odpowiedni produkt, bezpieczeństwo, prywatność lub kontrolę umowną – ale to różni się od twierdzenia, że ​​zastosowanie ma art. 14.

Dlaczego nadzór człowieka ma znaczenie w praktyce

Ustawa o sztucznej inteligencji traktuje nadzór jako sposób zapobiegania lub minimalizowania zagrożeń dla zdrowia, bezpieczeństwa i praw podstawowych, które utrzymują się nawet po zastosowaniu innych kontroli. Artykuł 14 stanowi, że środki muszą być proporcjonalne do ryzyka, autonomii i kontekstu użytkowania systemu. Oczekuje się również, że przydzielona osoba będzie w stanie, tam gdzie to konieczne, zrozumieć ograniczenia, monitorować działanie, rozpoznawać błędy automatyki, interpretować wyniki, ignorować lub odwracać wyniki oraz bezpiecznie zatrzymać system.

To sprawia, że ​​nadzór staje się zdolnością operacyjną, a nie ceremonialną zgodą. Recenzent, któremu brakuje czasu, informacji o systemie, dostępu lub uprawnień, nie może zapewnić znaczącego nadzoru. Nie można też skutecznie interweniować, jeśli produkt przedstawia rekomendację jako ostateczną, ukrywa niepewność lub nie oferuje żadnego użytecznego zastąpienia.

Jest to ściśle powiązane z oczekiwaniami dotyczącymi zarządzania sztuczną inteligencją wobec dostawców SaaS. Kupujący coraz częściej pytają nie tylko, czy człowiek jest „w pętli”, ale także gdzie następuje interwencja i jakie dowody wskazują, że ona działa.

Gdy mają zastosowanie wymagania ustawy o sztucznej inteligencji

Zacznij od klasyfikacji, a nie od listy kontrolnej nadzoru. Zgodnie z art. 6 system może wiązać się z wysokim ryzykiem na dwa główne sposoby:

1. Jest to produkt lub element bezpieczeństwa produktu objęty określonymi przepisami UE dotyczącymi bezpieczeństwa produktów i podlegający ocenie zgodności przez stronę trzecią.
2. Jego zamierzony cel mieści się w przypadku użycia o wysokim ryzyku określonym w załączniku III, z zastrzeżeniem filtra art. 6 ust. 3 i jego wyjątków.

Załącznik III obejmuje określone zastosowania w obszarach takich jak biometria, infrastruktura krytyczna, edukacja, zatrudnienie, dostęp do podstawowych usług, egzekwowanie prawa, migracja i wymiar sprawiedliwości. Bycie „opartym na sztucznej inteligencji”, przetwarzanie danych osobowych lub wpływanie na zwykły przepływ pracy w przedsiębiorstwie nie powoduje automatycznie, że system stwarza wysokie ryzyko w rozumieniu art. 6.

W przypadku niektórych systemów z załącznika III art. 6 ust. 3 określa możliwą drogę wyjścia z klasyfikacji wysokiego ryzyka, jeżeli system nie stwarza znaczącego ryzyka szkody i spełnia wymienione warunki – na przykład gdy wykonuje wąskie zadanie proceduralne lub przygotowawcze. Profilowanie osób fizycznych w przypadku zastosowania załącznika III nadal wiąże się z wysokim ryzykiem. Dostawca korzystający z filtra musi udokumentować tę ocenę.

Klasyfikacja zależy w dużej mierze od zamierzonego celu i rzeczywistej roli. Firma SaaS może być dostawcą, gdy opracowuje system lub zleca jego opracowanie i wprowadza go na rynek lub oddaje do użytku pod własną nazwą. Może to być podmiot wdrażający, jeśli korzysta z systemu sztucznej inteligencji innego dostawcy pod swoim nadzorem. Firma może również nałożyć obowiązki na dostawcę, zasadniczo modyfikując system wysokiego ryzyka lub zmieniając jego zamierzone przeznaczenie w sposób, który czyni go wysokim ryzykiem. Zespoły powinny potwierdzić obecne zasady przejściowe, zanim potraktują przyszłe zobowiązania jako już obowiązujące.

Przeczytaj praktyczny przegląd unijnej ustawy o sztucznej inteligencji dla dostawców SaaS wraz z oceną klasyfikacyjną.

Gdy artykuł 14 nie ma zastosowania

Artykuł 14 nie jest uniwersalną zasadą dla każdego chatbota, podsumowującego, funkcji rekomendacji, sygnału oszustwa lub wewnętrznego drugiego pilota. Jeżeli system wykracza poza zakres ustawy o sztucznej inteligencji, nie jest systemem sztucznej inteligencji w rozumieniu tej ustawy lub nie jest sklasyfikowany jako system wysokiego ryzyka, wymóg dotyczący systemu wysokiego ryzyka zawarty w art. 14 nie ma do niego zastosowania.

Nie oznacza to, że „nie jest wymagana żadna weryfikacja przez człowieka”. Inne obowiązki mogą wynikać z przepisów dotyczących ochrony danych, konsumentów, zatrudnienia, sektorowych, bezpieczeństwa lub przepisów umownych. Ocena ryzyka może również wykazać, że zgoda człowieka jest najbardziej proporcjonalną kontrolą, nawet bez konkretnego mandatu prawnego.

Używaj precyzyjnego języka w dokumentach i odpowiedziach klientów:

• Wymóg prawny: „System wiąże się z wysokim ryzykiem, a środki te wdrażają art. 14 i 26.”
• Kontrola ryzyka: „System nie jest obecnie sklasyfikowany jako system wysokiego ryzyka, ale nasza wewnętrzna polityka dotycząca ryzyka wymaga przeglądu przez człowieka”.
• Pytanie otwarte: „Klasyfikacja zależy od ostatecznego zamierzonego celu i kontekstu wdrożenia; uruchomienie jest blokowane do czasu zatwierdzenia tej oceny”.

To rozróżnienie zapobiega przecenianiu przez zespoły zgodności i ułatwia zarządzanie późniejszymi zmianami.

Obowiązki dostawcy i wdrażającego

Dostawcy i wdrażający połączyli siły, ale wykonują inną pracę.

Dostawcy: nadzór nad projektem systemu

Dostawca powinien przełożyć ocenę ryzyka na użyteczne środki techniczne i proceduralne. W zależności od przypadku użycia może to obejmować:

• pokazanie odpowiedniej pewności, ograniczeń i kontekstu wejściowego;
• uwidocznienie anomalii i nieoczekiwanych wyników;
• zapobieganie zachęcaniu interfejsu do ślepej akceptacji;
• umożliwienie upoważnionym osobom ignorowania, pomijania, odwracania lub przerywania wyjść;
• określenie, jakie środki nadzoru musi wdrożyć wdrażający; i
• jasne wyjaśnienie tych środków w instrukcji użytkowania.

Projekt powinien odpowiadać przewidywalnym warunkom pracy. Zastąpienie ukryte za przepływem pracy administratora może być bezużyteczne, gdy recenzent z pierwszej linii musi działać natychmiast.

Wdrożeniowcy: spraw, aby nadzór stał się operacyjny

Artykuł 26 nakłada na podmioty wdrażające systemy wysokiego ryzyka obowiązek powierzenia nadzoru osobom fizycznym posiadającym niezbędne kompetencje, przeszkolenie, uprawnienia i wsparcie. Wdrożeniowcy mają obowiązek korzystać z systemu zgodnie z jego instrukcjami, monitorować jego działanie, reagować na zidentyfikowane ryzyka lub poważne incydenty oraz przechowywać pod swoją kontrolą automatycznie generowane logi przez odpowiedni okres co najmniej sześciu miesięcy, chyba że inne obowiązujące prawo stanowi inaczej.

Z operacyjnego punktu widzenia oznacza to wybór nazwanych ról, ochronę czasu przeglądu, kontrolowanie dostępu, definiowanie eskalacji i sprawdzanie, czy instrukcje dostawcy odpowiadają rzeczywistemu wdrożeniu. Pracownik nie może ponosić odpowiedzialności za zmianę, do której nie jest upoważniony.

Praktyczny przepływ pracy związany z nadzorem ludzkim

1. Napisz zapis klasyfikacji o określonym zakresie

Zapisz system, zamierzony cel, użytkowników, osoby, których to dotyczy, dane wejściowe, wyniki, wpływ decyzji, role dostawcy/wdrażającego oraz rozważaną drogę zgodnie z art. 6. Powiąż wniosek z wersją produktu i kontekstem wdrożenia. Oceń to ponownie, gdy któreś z nich się zmieni.

2. Decyzje dotyczące map i tryby awarii

Określ, gdzie wyniki sztucznej inteligencji mogą mieć wpływ na osobę, bezpieczeństwo, dostęp, ustalanie priorytetów lub regulowany proces. Dla każdego punktu opisz realistyczne błędy: fałszywe dopasowanie, pominięty wyjątek, stronniczy ranking, wprowadzające w błąd podsumowanie, niebezpieczną rekomendację lub zmianę wydajności.

3. Zdefiniuj działanie człowieka, a nie tylko jego obecność

Dla każdej istotnej decyzji określ:

• jakie informacje widzi recenzent;
• co muszą sprawdzić niezależnie;
• kiedy muszą odrzucić lub eskalować;
• czy mogą wstrzymać, zastąpić lub odwrócić wynik;
• jak szybko muszą działać; i
• kto ma ostateczną władzę.

Unikaj niejasnych kontroli, takich jak „przegląd menedżera, jeśli to konieczne”. Reguła wyzwalacza i decyzji sprawia, że ​​kontrola jest testowalna.

4. Trenuj pod kątem rzeczywistego zadania

Szkolenie powinno obejmować zamierzony cel systemu, znane ograniczenia, istotne sygnały, błąd automatyzacji, zabronione zastosowania, narzędzia interwencyjne, prowadzenie rejestrów i eskalację. Potwierdź kompetencje poprzez scenariusze, a nie tylko frekwencję. Stanowi to uzupełnienie szerszych pytań, które zespoły powinny zadać przed wewnętrznym przyjęciem nowych narzędzi AI.

5. Przetestuj całą ścieżkę

Wykonuj realistyczne ćwiczenia. Czy recenzent może wykryć zły wynik? Czy mają wystarczający kontekst? Czy nadpisanie działa? Czy zatrzymanie systemu pozostawia go w bezpiecznym stanie? Czy wydarzenie jest rejestrowane? Czy eskalacja dotrze do kogoś, kto może działać?

Rejestruj defekty i testuj ponownie po naprawieniu. Zrzut ekranu ekranu zatwierdzania dowodzi znacznie mniej niż ukończonego scenariusza z oczekiwanymi i zaobserwowanymi wynikami.

6. Monitoruj i ulepszaj

Śledź zastąpienia, cofnięcia, eskalacje, skargi, pominięte wykrycia, niezgodę recenzentów i nienormalną wydajność. Trendy mogą ujawnić słabe szkolenie, bezużyteczny interfejs, zmienione dane wejściowe lub system działający poza zatwierdzonym przeznaczeniem. Zdefiniuj progi, które powodują rozpoczęcie dochodzenia, zawieszenia lub ponownej oceny.

Typowe błędy

• Klasyfikacja według etykiety produktu. Nazwa funkcji nie określa, czy zamierzone użycie wiąże się z wysokim ryzykiem.
• Korzystanie z „człowieka w pętli” jako całości kontroli. Obecność bez informacji, czasu i uprawnień nie jest skutecznym nadzorem.
• Przegląd konsekwencji jest nieodwracalny. Punkt interwencji musi nastąpić, gdy dana osoba może jeszcze zmienić wynik.
• Pozwolenie na samodzielną weryfikację tych samych wyników. Niezależna weryfikacja wymaga dodatkowych dowodów, a nie drugiego czytania wyjaśnień sztucznej inteligencji.
• Ignorowanie stronniczości automatyzacji. Powtarzające się dokładne wyniki mogą sprawić, że recenzenci będą mniej skłonni kwestionować wyjątkową awarię.
• Pozostawienie własności „firmie”. Wymień odpowiedzialną rolę i wsparcie operacyjne.
• Niezachowywanie żadnych dowodów. Same zasady nie wskazują, że recenzenci zostali przeszkoleni, że udało się obejść zasady lub że problemy uległy eskalacji.

Przykład: weryfikacja kandydatów wspomagana sztuczną inteligencją

Załóżmy, że dostawca SaaS oferuje oprogramowanie, które ocenia kandydatów do pracy dla pracodawcy. Zastosowania sztucznej inteligencji związane z zatrudnieniem wymienione w załączniku III mogą wiązać się z wysokim ryzykiem, dlatego dostawca powinien wypełnić i udokumentować ocenę na podstawie art. 6, zamiast zakładać, że osoba rekrutująca klikając „zatwierdź” rozwiąże problem.

Znaczący nadzór może wymagać od osoby rekrutującej dostrzeżenia czynników istotnych dla rekomendacji, sprawdzenia informacji o źródle, zidentyfikowania brakujących lub wprowadzających w błąd danych, zlekceważenia rankingu, przywrócenia kandydata do ponownego wyboru i eskalacji podejrzeń systematycznych stronniczości. Pracodawca, jako wdrażający, przydzieliłby przeszkolone osoby posiadające uprawnienia i monitorował system zgodnie z instrukcjami.

Z kolei wewnętrzne narzędzie, które zmienia format wiadomości e-mail napisanej przez osobę rekrutującą bez tworzenia rankingu kandydatów ani wpływania na decyzję o zatrudnieniu, może nie mieścić się w tym przypadku użycia wysokiego ryzyka. Zespół może w dalszym ciągu zabronić wprowadzania danych wrażliwych i wymagać zgody człowieka przed wysłaniem, powinien jednak udokumentować to w ramach kontroli wewnętrznej, a nie automatycznie opisywać to jako zgodność z art. 14.

Często zadawane pytania

Jaki jest praktyczny cel ludzkiego nadzoru?

Jego celem jest umożliwienie kompetentnym osobom zrozumienia, monitorowania i interweniowania, aby można było zapobiec ryzyku szczątkowemu dla zdrowia, bezpieczeństwa lub praw podstawowych lub je ograniczyć. Przepływ pracy musi zapewniać im prawdziwe informacje, czas, narzędzia i uprawnienia.

Kiedy nadzór ludzki ma zastosowanie do zespołów SaaS?

Szczególne obowiązki wynikające z ustawy o sztucznej inteligencji mają zastosowanie, gdy zespół dostarcza lub wdraża system sztucznej inteligencji wysokiego ryzyka. Inne systemy sztucznej inteligencji mogą nadal wymagać przeglądu przez człowieka ze względu na inne prawo, umowę, ocenę ryzyka lub politykę wewnętrzną.

Czy ostateczna akceptacja człowieka wystarczy?

Nie automatycznie. Zatwierdzenie ma sens tylko wtedy, gdy recenzent jest w stanie zrozumieć istotne ograniczenia, wykryć problemy, zakwestionować wyniki oraz zmienić lub zatrzymać wynik, zanim nastąpi szkoda.

Co zespoły powinny najpierw udokumentować?

Zacznij od zapisu klasyfikacyjnego i zamierzonego celu. Następnie udokumentuj odpowiedzialne osoby, przejrzyj wyzwalacze, przedstawione informacje, dozwolone interwencje, ścieżkę eskalacji, szkolenie, wyniki testów i dowody operacyjne.

Czy każda decyzja AI musi być sprawdzana przez dwie osoby?

Nie. Artykuł 14 zawiera szczególną zasadę weryfikacji dwuosobowej w przypadku niektórych systemów zdalnej identyfikacji biometrycznej, z określonymi wyjątkami. Nie jest to ogólna zasada dotycząca wszystkich systemów sztucznej inteligencji wysokiego ryzyka.

Co teraz zrobić

Sklasyfikuj przypadek użycia, zanim obiecasz, że „ludzki nadzór” go rozwiąże. Jeśli system wiąże się z wysokim ryzykiem, połącz środki techniczne dostawcy z prawdziwymi ludźmi, uprawnieniami i procedurami wdrażającego. Następnie przetestuj ścieżkę i zachowaj dowody na to, że człowiek potrafi rozpoznać problemy i zareagować na czas.

Na tym polega różnica między osobą znajdującą się w pobliżu systemu a skutecznym nadzorem człowieka.

Źródła

• Rozporządzenie (UE) 2024/1689 (ustawa o sztucznej inteligencji)
• Artykuł 6: Zasady klasyfikacji systemów sztucznej inteligencji wysokiego ryzyka
• Artykuł 14: Nadzór człowieka
• Artykuł 26: Obowiązki podmiotów wdrażających systemy AI wysokiego ryzyka