W 2023 roku jeden z dużych systemów rekrutacyjnych działał przez kilkanaście miesięcy, zanim ktokolwiek zweryfikował, czy model nie faworyzuje określonych grup demograficznych. Weryfikacja wykazała systematyczne odchylenie. Żaden z automatycznych testów tego nie wykrył, bo testy sprawdzały trafność predykcji, nie sprawiedliwość. Człowiek w pętli, który regularnie sprawdza wyniki na rzeczywistych próbkach, byłby tutaj tańszy niż koszt naprawy.
Co model naprawdę robi, a czego nie
#Duże modele językowe są świetne w rozpoznawaniu wzorców w danych, na których były trenowane. Są słabe w kilku konkretnych rzeczach:
- Nowość — jeśli sytuacja nie ma precedensu w danych treningowych, model interpoluje i często myli się pewnie.
- Zmiana rozkładu — model wdrożony pół roku temu nie wie, że Twoja firma zmieniła cennik, prawo się zmieniło albo relacja z klientem ma historię poza corpus wiedzy.
- Kalibracja pewności — model, który odpowiada pewnym tonem, nie zawsze odpowiada poprawnie. Pewność tonu i prawdopodobieństwo poprawności to różne zmienne.
- Etyka nieznana z danych — dane treningowe odzwierciedlają historyczne wzorce, w tym historyczne nierówności. Model nie koryguje ich samodzielnie.
Te ograniczenia nie dyskwalifikują AI jako narzędzia — dyktują, gdzie człowiek musi pozostać w pętli.
Kiedy intuicja ludzka jest wartością techniczną
#Słowo „intuicja" brzmi miękko, ale za nim stoi konkretna zdolność: łączenie wiedzy kontekstowej, która nie jest ujęta w żadnym dokumencie, z oceną sytuacji w czasie rzeczywistym. Doświadczony analityk kredytowy widzi w tle wniosku coś, czego nie ma w żadnym polu formularza. Lekarz łączy wyniki z tym, co usłyszał od pacjenta przed pięcioma minutami. Rekruter czyta między wierszami kandydata przez pryzmat kultury firmy, której nie da się opisać w stu słowach.
Żaden z tych wglądów nie jest „niemierzalny" w sensie niemożności opisania po fakcie. Są niemierzalne przed decyzją, w czasie rzeczywistym — i właśnie to czyni je niezastąpionymi w miejscach, gdzie konsekwencje błędu są asymetryczne.
Dobra architektura AI nie usuwa tych miejsc. Wykrywa je i kieruje tam człowieka, zanim model podejmie nieodwracalne działanie.
Human-gate: gdzie człowiek wchodzi do pętli
#Human-gate to mechanizm architektoniczny, nie zapis w regulaminie. W naszych wdrożeniach wygląda to tak:
- Agent klasyfikuje zamiar i ocenia wagę akcji.
- Dla akcji oznaczonych jako nieodwracalne lub wysokiego ryzyka generuje token potwierdzenia podpisany HMAC.
- Potwierdzenie trafia do człowieka (e-mail, panel, push) z kontekstem: co, dlaczego, jaki jest skutek.
- Człowiek zatwierdza lub odrzuca. Samo twierdzenie modelu, że „akcja jest OK", nie wystarczy.
- Token wygasa po 24 godzinach — brak odpowiedzi = brak akcji (fail-closed).
Ten wzorzec jest kosztowniejszy niż pełna automatyzacja, ale kosztuje ułamek incydentu, który nastąpi bez niego. Stosujemy go wszędzie tam, gdzie błąd jest trudny do cofnięcia: wysyłka zewnętrzna, zmiana danych klienta, decyzja finansowa, publikacja.
Explainability: człowiek musi wiedzieć, co skomentować
#Nadzór ludzki jest bezwartościowy, jeśli człowiek widzi tylko wynik, ale nie rozumie drogi. W systemach wysokiego ryzyka wg AI Act explainability nie jest opcją — jest wymogiem dokumentacyjnym.
W praktyce oznacza to przynajmniej trzy rzeczy:
| Co musi być widoczne | Po co to człowiekowi |
|---|---|
| Które dokumenty lub dane zasilają odpowiedź | Ocena, czy źródło jest aktualne i trafne |
| Jakie kroki logiczne podjął model (chain-of-thought) | Wykrycie błędnego rozumowania przed działaniem |
| Jak pewny jest model i gdzie leżą granice wiedzy | Kalibracja zaufania — kiedy pytać dalej |
W architekturze RAG ślad źródeł jest naturalny: każda odpowiedź ma cytaty wskazujące dokumenty. To podstawowe explainability, które jednocześnie ogranicza halucynacje i daje człowiekowi punkt zaczepienia do weryfikacji.
Bias i AI Act: nadzór ludzki jako obowiązek prawny
#Systemy, które profilują ludzi, oceniają ich lub podejmują wobec nich automatyczne decyzje, wchodzą w zakres wysokiego ryzyka AI Act. Obowiązki są konkretne:
- Dokumentacja techniczna opisująca, jak system działa i na czym był trenowany.
- Ocena ryzyka z uwzględnieniem możliwego dyskryminacyjnego wpływu.
- Nadzór ludzki z możliwością unieważnienia każdej decyzji automatycznej.
- Rejestr logów pozwalający odtworzyć, dlaczego system podjął daną decyzję.
Standardowe testy trafności predykcji nie wychwytują dyskryminacji. Model może mieć 93% accuracy i jednocześnie systematycznie faworyzować jedną grupę — bo ta dokładność nie jest mierzona osobno dla każdej podgrupy. Nadzór ludzki oznacza tutaj: ktoś regularnie przegląda wyniki nie globalnie, lecz w przekrojach demograficznych i szuka odchyleń, których statystyki sumaryczne nie pokazują.
W naszych wdrożeniach pilotażowych w obszarach wysokiego ryzyka stosujemy shadow mode: system działa równolegle z decyzją człowieka przez pierwsze tygodnie. Dopiero gdy porównanie wykaże zgodność i brak systematycznych odchyleń, automatyzacja rozszerza zakres. Nie odwrotnie.
Cztery warstwy nadzoru w praktyce
#Nadzór ludzki nie jest jednym punktem — to kilka warstw o różnej granularności:
Warstwa 1 — projektowa. Zanim system zostanie wdrożony, człowiek decyduje, jakie akcje są w zakresie agenta, a jakie bezwzględnie wymagają potwierdzenia. To allow-lista, nie blacklista.
Warstwa 2 — operacyjna. Human-gate przy akcjach nieodwracalnych, opisany wyżej. Działa w czasie rzeczywistym przy każdej decyzji powyżej progu.
Warstwa 3 — przeglądowa. Regularne próbkowanie wyników przez domenowego eksperta — nie logów technicznych, lecz rzeczywistych decyzji i ich konsekwencji. To tu wykrywa się dryf modelu i systematyczne błędy.
Warstwa 4 — strukturalna. Audyt zgodności z AI Act, RODO i polityką firmy. Typowo kwartalnie dla systemów wysokiego ryzyka, rocznie dla pozostałych.
Każda warstwa ma innego właściciela. Bez tej struktury nadzór ludzki istnieje formalnie, ale nie działa.
Kiedy mniej nadzoru jest właściwe
#Powyższe nie znaczy, że każda akcja wymaga potwierdzenia. Nadmierny nadzór niszczy wartość automatyzacji i prowadzi do „alarm fatigue" — ludzie przestają czytać powiadomienia, bo jest ich za dużo.
Właściwy poziom nadzoru zależy od trzech zmiennych:
- Odwracalność akcji — działanie, które da się cofnąć w ciągu minut, toleruje więcej automatyzacji niż takie, które wywołuje skutki zewnętrzne.
- Stawka błędu — różnica między kosztem błędu automatycznego a kosztem opóźnienia decyzji przez człowieka.
- Dojrzałość modelu — system po 3 miesiącach shadow mode z udokumentowaną zgodnością może mieć szerszy zakres autonomii niż system nowy.
Te trzy zmienne powinny być formalnie ocenione przed każdym wdrożeniem — i revisitowane co kilka miesięcy, bo model nie jest statyczny.
Wypróbuj na żywo
#Opisz swoją automatyzację, a model pomoże zidentyfikować, które akcje wymagają human-gate i jaki poziom nadzoru jest proporcjonalny do ryzyka (playground: PII maskowane, zero retencji):
FAQ
#Czym jest human-in-the-loop i kiedy jest wymagany?
#Human-in-the-loop to wzorzec architektoniczny, w którym człowiek zatwierdza lub koryguje działanie systemu przed lub po konkretnych krokach. Jest wymagany wszędzie tam, gdzie błąd modelu jest trudny do cofnięcia, stawka jest wysoka albo AI Act klasyfikuje system jako wysokiego ryzyka. W praktyce: nie przy każdej akcji, ale przy każdej nieodwracalnej lub wpływającej bezpośrednio na prawa i sytuację człowieka.
Czy nadzór ludzki nie znosi sensu automatyzacji?
#Nie. Automatyzacja działa na wolumenie i regularności — zadaniach, które człowiek wykonałby tak samo, ale wolniej i mniej konsekwentnie. Nadzór ludzki rezerwuje człowieka dla wyjątków, sytuacji nieznanych modelowi i decyzji o asymetrycznych konsekwencjach. Dobry projekt minimalizuje ilość wymaganych zatwierdzeń, maksymalizując ich trafność.
Jak AI Act reguluje nadzór ludzki w systemach wysokiego ryzyka?
#Dla systemów wysokiego ryzyka AI Act wymaga, żeby operator zapewnił skuteczny nadzór ludzki umożliwiający co najmniej: obserwację działania systemu, rozumienie możliwości i ograniczeń, wykrycie anomalii i możliwość unieważnienia lub zatrzymania systemu. Samo logowanie bez osoby, która regularnie przegląda logi, nie spełnia tego wymogu.
Jak sprawdzić, czy mój model nie dyskryminuje?
#Standardowa metryka trafności nie wystarczy. Trzeba mierzyć wyniki osobno dla podgrup demograficznych i szukać systematycznych odchyleń. W systemach wysokiego ryzyka AI Act wymaga dokumentacji tej analizy. W praktyce zalecamy shadow mode przed pełnym wdrożeniem i kwartalne przeglądy wyników w przekrojach, a nie tylko globalnie. Szczegóły dotyczące naszego podejścia do systemów wysokiego ryzyka.
Od czego zacząć budowanie nadzoru ludzkiego w istniejącym systemie?
#Najpierw zinwentaryzuj akcje, które system podejmuje — i podziel je na odwracalne i nieodwracalne. Nieodwracalne dostają human-gate jako priorytet. Potem wdróż próbkowanie wyników: ktoś przegląda 5-10% decyzji tygodniowo i dokumentuje anomalie. To minimum, które daje podstawę do późniejszej optymalizacji. Narzędzie do oceny gotowości Twojej firmy: ocena gotowości AI.