Checklist menselijk toezicht

Toezicht moet de uitkomst kunnen veranderen. Voor hoog-risico-AI verlangt artikel 14 van de AI Act evenredige maatregelen; artikel 26 verlangt competente, getrainde, bevoegde en ondersteunde personen. Classificeer eerst het systeem en de bedrijfsrol.

Tien controles

1. Leg systeem, doel, output, vervolgactie, betrokkenen, schade en omkeerbaarheid vast.
2. Bevestig classificatie, rol, grondslag en triggers voor herbeoordeling.
3. Wijs een competente reviewer aan met training, tijd, vervanging en uitvalprocedure.
4. Toon input, output, bronnen, context, beperkingen, onzekerheid en ontbrekende gegevens.
5. Maak corrigeren, afwijzen, uitstellen, terugdraaien, escaleren en veilig stoppen mogelijk.
6. Activeer review bij conflicten, afwijkingen, klachten, drift, discriminatie of verkeerd gebruik.
7. Beperk automation bias en onderzoek ongewoon lage overruleringspercentages.
8. Test fout-positieven en -negatieven, ontbrekende data, afwezigheid, overbelasting, override en stop.
9. Bewaar analyse, procedure, training, toegang, tests, logs, incidenten en correcties.
10. Veranker de controle in product, engineering, operations, leveranciersbeheer, legal en compliance.

Herhaal dit na wijzigingen in model, gegevens, doel, drempel, interface, gebruikers, leverancier of reviewerrol en na incidenten.

FAQ

Is een human-in-the-loop-vinkje genoeg?

Nee. De reviewer heeft bruikbare informatie, competentie, tijd, bevoegdheid, technische opties en geteste escalatie nodig.

Wat is de grootste fout?

Symbolisch toezicht: iemand zit in het proces maar kan de uitkomst niet begrijpen of veranderen.