Ten tekst powstał na podstawie badania, które tłumaczyłam z modelem (niestety nie znam chińskiego :)
Miłego czytania,
Kasia ❤
Z tego artykułu dowiesz się:
- dlaczego pytanie „co zautomatyzować?” może być zbyt ogólne na początku wdrożenia AI,
- czym różni się obecność człowieka w pętli od realnego wpływu na decyzję,
- jak zmieniać poziom kontroli i odpowiedzialności między kolejnymi fazami procesu,
- kiedy AI wzmacnia kompetencje człowieka, a kiedy zaczyna je zastępować,
- dlaczego w BehaviorAI Design Framework najpierw mapuję zachowania, a dopiero później kalibruję rolę AI.
Czytałam ostatnio przegląd zespołu z Uniwersytetu Zhejiang, który podsumowuje blisko dekadę ich prac nad interakcją człowieka z AI. Jest tam pojęcie, które porządkuje ten problem lepiej niż wszystko, co ostatnio widziałam w materiałach wdrożeniowych. Nazywają to dwukierunkowym wzmocnieniem i składa się z trzech rzeczy.Human-Centered Human–AI Interaction (HCHAC) odpowiada na pytanie: w którą stronę płynie wzmocnienie i kto trzyma władzę w danej fazie.
Trzy mechanizmy z HCHAC przekładają się na 3 pytania, które można zadać osobno dla każdej fazy przepływu, a nie raz dla całego zadania:
- Przywództwo wertykalne (człowiek nad AI).
- Gdzie w tym przepływie leży decyzja, której człowiek nie może oddać?
Autorzy wskazują konkretnie oceny etyczne i wybory strategiczne. W produkcie to się przekłada na pytanie: który krok musi mieć twardy punkt zatrzymania, a nie tylko możliwość cofnięcia. - Przywództwo transformacyjne (AI wzmacnia człowieka).
Czy ten krok podnosi zdolność użytkownika, czy ją zastępuje?
Jeśli po trzech miesiącach korzystania użytkownik radzi sobie z zadaniem gorzej bez narzędzia niż na starcie, deklarowane wzmocnienie było w rzeczywistości substytucją. - Współdzielona odpowiedzialność.
Jak alokacja zmienia się między fazami?
Tu jest najważniejsza korzyść praktyczna, bo rozbija milczące założenie, że zadanie ma jeden poziom automatyzacji. Realny przepływ ma fazy o różnym profilu: zbieranie materiału może być System 0, interpretacja System 2, redakcja System 1. Karta wzorca zaprojektowana pod „całe zadanie” zawsze będzie źle skalibrowana w co najmniej jednej fazie.
To nie to samo co człowiek w pętli
Łatwo pomylić dwukierunkowe wzmocnienie z zasadą człowieka w pętli, ale to inne rzeczy i różnica ma znaczenie praktyczne.
Człowiek w pętli mówi, że człowiek jest obecny. Nie mówi, po co tam jest i czy jego obecność cokolwiek zmienia. Można spełnić ten warunek, wstawiając przycisk zatwierdzenia i mieć w logach sto procent zatwierdzeń, co znaczy dokładnie tyle, że nikt nigdy nic nie odrzucił. Obecność bez wpływu to raczej żaden nadzór.
Dwukierunkowe wzmocnienie zadaje trudniejsze pytanie:
czy w tym punkcie człowiek naprawdę może zmienić bieg sprawy, i czy ma z czego tę decyzję podjąć?
Jest do tego prosty test, który polecam robić po kwartale, a nie na etapie planowania. Sprawdź, czy zespół radzi sobie z zadaniem bez narzędzia lepiej niż przed wdrożeniem, czy gorzej. Jeśli gorzej, to nie było wzmocnienie.
Proces nie jest jednym blokiem
Na warsztatach czy szkoleniach w których sama biorę udział, prawie zawsze pada to samo pytanie na start: co chcemy zautomatyzować.
Rozumiem, skąd się bierze. Jest konkretne, prowadzi do listy, a listę da się wycenić i wpisać do budżetu. Tylko że ono już zawiera odpowiedź. Zakłada, że proces to jeden blok, który albo się automatyzuje, albo nie, i że wiemy, gdzie w tym bloku siedzi wartość, a gdzie ryzyko.
Zwykle nie wiemy, bo nikt jeszcze nie spojrzał na ten proces od strony ludzi, którzy w nim siedzą.
Diagram na slajdzie ma cztery pola i trzy strzałki. Rzeczywistość ma setki mikrozachowań, których zza biurka nie da się przewidzieć. Ktoś skanuje wynik wzrokiem zamiast go czytać, bo 2 razy się zgadzało. Ktoś inny sprawdza wszystko po kolei, bo raz się sparzył i już nie zapomniał. Ktoś eksportuje do arkusza, bo tam widzi całość naraz. Ktoś pyta koleżankę z drugiego zespołu, zamiast pytać system. Nikt tego nie zgłasza, bo nikt tego za pracę nie uważa, a przecież właśnie z tego składa się proces.
Do tego dochodzi coś, co może 2 lata temu nie było jeszcze problemem. Ludzie w jednym zespole są dziś na całkiem różnym etapie z tą technologią. Jedna osoba pracuje z modelem codziennie i ma już wyczucie, kiedy mu nie ufać. Druga widziała go trzy razy i albo przyjmuje wszystko bez sprawdzania, albo nie tyka wcale. Ta sama faza procesu, ta sama rola w strukturze, dwa całkiem inne zachowania. Jeden poziom automatyzacji nie obsłuży obu, bo dla jednej osoby będzie zbyt luźny, a dla drugiej zbyt ciasny.
Można to nazwać różną dojrzałością i przejść dalej, ale to za mało. To zmienna, która sama się zmienia w czasie, więc kalibracja zrobiona raz przestanie pasować po pół roku, i to niezależnie od tego, jak dobrze została zrobiona na starcie.
Dlatego mapuję przed kalibracją
W moim BehaviorAI Design Framework to są dwa osobne kroki i kolejność nie jest kosmetyczna.
W kroku mapowania rozkładam przepływ na fazy i patrzę, co się w każdej z nich dzieje z człowiekiem. Nie co powinno się dziać zgodnie z procedurą, tylko co się dzieje. Gdzie faktycznie podejmuje decyzję. Gdzie tylko zatwierdza cudzą. Gdzie już przestał patrzeć, choć formalnie nadal odpowiada. Gdzie obchodzi system, bo szybciej mu bez niego.
Dopiero w kroku kalibracji ustalam, ile współpracy z AI ma sens w każdej fazie osobno i w którym punkcie decyzja musi wrócić do człowieka.
Jeśli zaczniesz od kalibracji, dostaniesz jeden suwak dla całego procesu, czyli wrócisz tam, skąd wyszłaś lub wyszedłeś. Wszystko to łączę z podejściem nauk behawioralnych - Fast and Slow Collaborative AI.
Czego jeszcze nie wiemy
Zostawiam to na koniec, bo uważam, że taki tekst powinien mówić też o swoich granicach.
Autorzy przeglądu sami wskazują, czego brakuje. Nie mamy dobrych strategii dynamicznego przekazywania kontroli między człowiekiem i systemem, czyli akurat tego, co w praktyce jest najtrudniejsze. Nie mamy też danych z długiego okresu, więc skutki takie jak degradacja kompetencji albo narastająca zależność poznawcza są dziś słabo zmierzone. Sami przyznają, że wiedzą o tym mniej, niż by chcieli.
To z pewnością nie powód, żeby wstrzymywać wdrożenia. Dla mnie osobiście jest to powód, żeby rozpisać alokację świadomie, fazami, i wrócić do niej po kwartale zamiast ustawiać jeden suwak na starcie i już nigdy go nie ruszać.
Jeśli pracujesz nad podobnym wyzwaniem
Jeśli projektujesz proces, w którym AI ma wspierać ludzi w podejmowaniu decyzji, warto najpierw zobaczyć, co naprawdę dzieje się z człowiekiem na poszczególnych etapach pracy.
Właśnie od tego zaczynam pracę z zespołami w ramach BehaviorAI Design Framework. Jeśli ten sposób myślenia jest bliski wyzwaniom, nad którymi pracujecie, chętnie porozmawiam!
