AI agentai su žmogaus patvirtinimu: kaip nustatyti tvirtinimo lygius

Terminas turi dvi reikšmes. Mašininiame mokyme jis reiškia žmones, kurie žymi mokymo duomenis ir vertina modelio atsakymus, ir būtent šią reikšmę aiškina dauguma apibrėžimų internete. Įmonės procesuose jis reiškia kai ką siauresnio ir savininkui naudingesnio: kontrolės tašką tarp to, ką AI sistema siūlo, ir to, kas iš tikrųjų įvyksta jūsų ERP, jūsų pašte ar kliento pašte. Šis gidas - apie antrąją reikšmę. Lietuviškai terminas verčiamas nevienodai: „žmogus procese“, „žmogus cikle“, kartais „žmogus grandinėje“; teisės aktuose vartojamos sąvokos „žmogaus atliekama priežiūra“ ir „žmogaus įsikišimas“.

Sąvokas įtvirtino Europos Komisijos sudaryta aukšto lygio DI ekspertų grupė 2019 m. etikos gairėse, kuriose aprašyti trys priežiūros lygiai. Kai žmogus dalyvauja procese, jis gali įsikišti į kiekvieną sistemos sprendimų ciklą, ir pati grupė pažymėjo, kad daugeliu atvejų tai nėra nei įmanoma, nei pageidautina. Kai žmogus prižiūri procesą, jis dalyvauja projektuojant sistemą ir stebi jos darbą. Kai žmogus valdo procesą, jis prižiūri visą sistemos veiklą ir sprendžia, kada ir ar apskritai ją naudoti.¹⁵

Skirtumas - laike. Kai žmogus procese, niekas neįvyksta, kol žmogus nepatvirtina. Kai žmogus prie proceso, sistema veikia pirma, o žmogus stebi rezultatus, tikrina imtis ir gali juos atšaukti. Daugumai įmonių reikia abiejų būdų, tik skirtingiems to paties AI agento veiksmams.

Paimkime tiekėjų sąskaitų agentą. PDF nuskaitymas, laukų ištraukimas ir sutikrinimas su pirkimo užsakymu gali vykti su žmogumi prie proceso, nes niekas neišėjo už įmonės ribų, o netikslų sutikrinimą galima pataisyti per kelias minutes. Sąskaitos įregistravimui apskaitoje ar jos išleidimui apmokėti reikia žmogaus procese, nes mokėjimą į netinkamą sąskaitą susigrąžinti lėta ir brangu. Priežiūra nustatoma kiekvienam veiksmui, ir vienas agentas dažniausiai apima du ar tris lygius.

Kalbos modeliai klysdami skamba taip pat įtikinamai, agentai atlieka kelis žingsnius iš eilės, todėl ankstyva klaida keliauja toliau, o už viską, ką išsiunčia jos sistemos, atsako įmonė. Kontrolės taškas prieš brangius žingsnius kainuoja mažiau nei bet kuri iš šių klaidų.

Tą patį sako ir modelių kūrėjai. „Anthropic“ inžinerinėse gairėse apie agentus perspėjama, kad autonomija didina sąnaudas ir leidžia klaidoms kauptis per žingsnius, ir rekomenduojami kontrolės taškai, kuriuose agentas sustoja laukti žmogaus grįžtamojo ryšio, bei sustojimo sąlygos, pavyzdžiui, iteracijų skaičiaus riba.⁸ „OpenAI“ agentų kūrimo gide nurodomi du atvejai, kai reikia žmogaus įsikišimo: kai agentas viršija nesėkmių ribą ir kai veiksmas jautrus, negrįžtamas arba susijęs su didele rizika. Gido pavyzdžiai - užsakymų atšaukimas, didelių grąžinimų patvirtinimas ir mokėjimai.⁹

Teisinė pusė ne tokia abstrakti, kaip atrodo. 2024 m. vasarį Kanados tribunolas įpareigojo „Air Canada“ sumokėti klientui 812,02 Kanados dolerio, nes bendrovės svetainės pokalbių robotas jam pateikė klaidingą informaciją apie gedulo tarifus. Aviakompanija iš esmės teigė, kad pokalbių robotas pats atsako už savo veiksmus; tribunolas šį argumentą atmetė ir konstatavo, kad bendrovė atsako už visą informaciją savo svetainėje.⁷ Suma nedidelė. Tačiau principas galioja kiekvienam pasiūlymui, užsakymo patvirtinimui ir atsakymui klientui, kurį agentas išsiunčia jūsų vardu.

Silpna rizikos kontrolė - ir dažna projektų atšaukimo priežastis. 2025 m. birželį „Gartner“ prognozavo, kad iki 2027 m. pabaigos bus atšaukta daugiau nei 40 % agentinio DI projektų, o priežastimis įvardijo augančias sąnaudas, neaiškią verslo vertę ir nepakankamą rizikos kontrolę.¹⁰ Tvirtinimo schema, parengta prieš kūrimą, tiesiogiai sprendžia trečiąją priežastį, o antrąją paverčia išmatuojama.

Kiekvieną agento veiksmą įvertinkite pagal keturis klausimus: ar jį galima atšaukti, kiek pinigų jis judina ar įpareigoja, ar rezultatą mato kas nors už įmonės ribų ir ar tai sprendimas dėl žmogaus. Atsakymai priskiria veiksmą vienam iš keturių lygių.

• Atšaukimas. Ar klaidą galima ištaisyti per kelias minutes, nemokamai ir niekam nepastebėjus? Neteisingai pažymėtą laišką - taip. Išsiųsto laiško, uždarytam laikotarpiui užregistruotos sąskaitos ar mokėjimo - ne.
• Vertė. Kokią didžiausią sumą šis vienas veiksmas gali pajudinti ar įpareigoti? Kiekvienam veiksmo tipui nustatykite ribą eurais; ją viršijus, lygis didėja.
• Adresatas. Ar rezultatas išeina už įmonės ribų - klientui, tiekėjui, bankui, muitinei ar VMI? Išorinis rezultatas siunčiamas jūsų vardu ir, kaip rodo „Air Canada“ atvejis, jūsų atsakomybe.
• Žmonės. Ar veiksmas ką nors sprendžia dėl konkretaus asmens, pavyzdžiui, kandidato į darbą, darbuotojo pamainų ar individualios veiklos vykdytojo kredito limito? Tuomet gali būti taikomas BDAR 22 straipsnis, o peržiūra turi būti prasminga.

Lentelę sąžiningą palaiko dvi taisyklės. Kai keturi atsakymai nesutampa, lemia griežčiausias: grąžinamas veiksmas, kuris siunčia pinigus už įmonės ribų, priskiriamas 3 lygiui, net jei jį lengva atšaukti. Be to, kai kurie veiksmai į lengvesnį lygį nepereina niekada. Tiekėjo banko sąskaitos rekvizitų pakeitimas - dažnas sukčiavimo mokėjimais kelias, todėl jis lieka žmogui, kad ir kaip gerai dirbtų agentas.

Tas pats vertinimas tinka ne tik finansams. Logistikos įmonėje CMR važtaraščio nuskaitymas į transporto sistemą yra 1 ar 2 lygis, o patikslintos pristatymo kainos siuntimas klientui - 3 lygis. Eksportuotojui pasiūlymas, parengtas iš kainyno ir CRM istorijos, išsiunčiamas tik jį patvirtinus pardavėjui.

Nenukreipkite įrašų pagal paties modelio pasitikėjimo įvertį. Nukreipkite pagal patikras, kurias galima patikrinti: ar ištrauktos sumos sutampa, ar galiojantis PVM mokėtojo kodas, ar kaina atitinka kainyną, ar klientas ir prekė yra jūsų sistemoje. Įrašas, kuris nepraeina bent vienos patikros, keliauja žmogui, kad ir ką modelis sakytų apie save.

Paties kalbos modelio nurodomas pasitikėjimas - silpnas signalas, nes modelis gali klysti visiškai užtikrintai. Deterministinės patikros pigios, paaiškina pačios save, o atmestas įrašas ateina su priežastimi, pagal kurią tvirtintojas gali veikti. Jei turite tikrą tikimybę, pavyzdžiui, iš klasifikatoriaus, apmokyto pagal jūsų pačių pažymėtą istoriją, ribą nustatykite pagal duomenis: paleiskite kelis šimtus tikrų įrašų, surikiuokite juos pagal įvertį ir pasirinkite tašką, žemiau kurio klaidų dažnis didesnis, nei tam lygiui leidžiate.

Tiekėjų sąskaitų agentui iliustracinis taisyklių rinkinys, siunčiantis įrašą peržiūrai, atrodo taip:

• eilučių sumos ir PVM nesutampa su sąskaitos suma;
• PVM mokėtojo kodas nepraeina patikros arba tiekėjo nėra jūsų pagrindiniuose duomenyse;
• banko sąskaita sąskaitoje faktūroje skiriasi nuo turimos sistemoje;
• nėra atitinkamo pirkimo užsakymo arba kaina skiriasi daugiau nei sutarta paklaida;
• suma viršija automatiniam apdorojimui nustatytą ribą;
• to paties tiekėjo sąskaita tokiu numeriu jau yra.

Agentui taip pat reikia būdo atsisakyti. Susilaikymo kelias, kai agentas sustoja, nurodo, kuri patikra nepavyko, ir perduoda įrašą, yra svarbiausia schemos šaka. Įmonės pasaulio modelis, aprašytas mūsų straipsnyje apie AI ontologiją, veikia taip pat: kai trūksta konteksto arba veiksmas pagal jūsų taisykles rizikingas, teisingas rezultatas - jokio veiksmo.

Žmonės, peržiūrintys mašinos rezultatus, išmoksta jais pasitikėti, o tada nustoja tikrinti. Tvirtinimo ekranas turi būti suprojektuotas dėmesiui: parodyti įrodymus, pažymėti tik tai, kas nepraėjo patikros, kiekvieną patvirtinimą paversti sąmoningu veiksmu ir matuoti, ar tvirtintojai pagauna klaidas.

Tai automatiškas šališkumas, ir jis gerai ištirtas. 2010 m. apžvalga žurnale Human Factors jį nustatė ir pradedantiesiems, ir ekspertams, ir padarė išvadą, kad vien mokymai ar instrukcijos jo neapsaugo.¹¹ 2023 m. tyrime žurnale Radiology, kai AI sistema pasiūlė klaidingą mamogramos vertinimą, nepatyrusių radiologų tikslumas nukrito nuo 79,7 % iki 19,8 %, o labai patyrusių - nuo 82,3 % iki 45,5 %.¹³ Klinikinių sprendimų palaikymo sistemų tyrimų metaanalizė parodė, kad klaidingas patarimas klaidingo sprendimo riziką padidino 26 %, o poveikį mažino pabrėžta tvirtintojo atsakomybė ir parodytas sistemos pasitikėjimo lygis.¹² Tyrimai medicininiai, tačiau mechanizmas tas pats, su kuriuo susiduria buhalterė 16.45 val., kai eilėje dar keturiasdešimt sąskaitų.

Tai pastebėjo ir standartų rengėjai, ir reguliuotojai. JAV standartų institutas NIST generatyvinio DI rizikos profilyje automatišką šališkumą ir perdėtą pasikliovimą priskiria žmogaus ir DI sąveikos rizikoms,¹⁴ DI aktas jį įvardija straipsnyje apie žmogaus atliekamą priežiūrą,¹ o Europos duomenų apsaugos gairėse nurodyta, kad žmogaus dalyvavimas turi būti prasmingas, o ne simbolinis, ir jį turi atlikti asmuo, turintis įgaliojimus ir kompetenciją sprendimą pakeisti.⁵ Iš to išplaukia tokios projektavimo taisyklės:

• Šaltinis šalia pasiūlymo. Tvirtintojas mato PDF ar laišką šalia ištrauktų laukų, niekada tik laukus.
• Pažymėkite, kas nepraėjo. Paryškinkite du laukus, kurie nepraėjo patikros, užuot prašę peržiūrėti visus trisdešimt.
• 3 lygyje jokio masinio tvirtinimo. Kiekvienam įrašui reikia atskiro veiksmo, o eilė, kurią žmogus peržiūri vienu prisėdimu, ribojama.
• Užfiksuokite priežastį. Kiekvienam pataisymui ar atmetimui nurodomas trumpas priežasties kodas; šie kodai tampa jūsų klaidų statistika.
• Patikrinkite tikrintoją. Retkarčiais įterpkite žinomai klaidingą įrašą su įdėta klaida ir užfiksuokite, ar ji pastebėta.
• Registruokite, kas ką patvirtino ir per kiek laiko. Trisdešimties laukų sąskaita, patvirtinta per dvi sekundes, yra signalas, kurį verta patikrinti.

Tik remiantis išmatuotais įrodymais, dėl kurių susitarta iš anksto: imties dydis, klaidų riba, asmuo, patvirtinantis pakeitimą, ir taisyklė, grąžinanti žingsnį atgal, jei klaidos pasikartoja. Priežiūros mažinimas vien todėl, kad agentas „pastaruoju metu dirbo gerai“, yra kelias, kuriuo tylios klaidos pasiekia klientus.

Imties dydžiui padeda paprasta statistinė taisyklė. Jei patikrinote n atvejų iš eilės ir klaidų neradote, 95 % pasikliautinojo intervalo viršutinė tikrojo klaidų dažnio riba yra maždaug 3 ÷ n.¹⁶ Taigi penkiasdešimt švarių atvejų rodo tik tiek, kad klaidų greičiausiai mažiau nei 6 %. Norint teigti „mažiau nei 2 %“, reikia apie 150 švarių atvejų, o „mažiau nei 1 %“ - apie 300. Kiek tai užtruks, lemia srautas: žingsnis, apdorojantis 20 įrašų per darbo dieną, 300 pasiekia per tris savaites.

Tokį diegimą „Vertara“ taiko klientų projektuose: pirmiausia šešėlinis režimas, tada žmogaus patvirtinimas, tada prižiūrima autonomija, po vieną veiksmų klasę (visą bendradarbiavimo eigą aprašome puslapyje AI agentūra Lietuvoje). Šalia galioja dvi taisyklės. 3 lygio klaida, pasiekusi klientą, tiekėją ar instituciją, tą veiksmą iškart grąžina į tvirtinimo etapą. O pasikeitus įvesčiai, pavyzdžiui, atsiradus naujam tiekėjo sąskaitos maketui, naujam kainynui ar atnaujinus ERP, atitinkamo žingsnio skaičiavimas pradedamas iš naujo.

DI akto taisyklės dėl žmogaus atliekamos priežiūros taikomos didelės rizikos DI sistemoms, o šios pareigos dabar įsigalioja 2027 m. gruodžio 2 d. Dauguma biuro agentų, kurie skaito sąskaitas, suveda užsakymus ar rengia pasiūlymus, nėra didelės rizikos. Šiandien labiau tikėtina, kad jus palies BDAR - kai automatizuotas sprendimas reikšmingai paveikia žmogų.

DI aktas, 14 ir 26 straipsniai

14 straipsnis („Žmogaus atliekama priežiūra“) reikalauja, kad didelės rizikos DI sistemos būtų suprojektuotos taip, jog žmonės galėtų jas veiksmingai prižiūrėti. Paskirti asmenys turi gebėti suprasti sistemos galimybes ir ribas, žinoti apie automatišką šališkumą, teisingai interpretuoti jos išvedinį, nuspręsti jo nepaisyti, jį pakeisti ar atšaukti ir sistemą sustabdyti.¹ 26 straipsnis atitinkamą pareigą nustato diegėjams, t. y. sistemą naudojančioms įmonėms: priežiūra pavedama asmenims, turintiems reikiamą kompetenciją, mokymą ir įgaliojimus.¹ Didelė rizika reiškia akto III priede išvardytas naudojimo sritis, pavyzdžiui, darbuotojų atranką ir valdymą ar fizinių asmenų kreditingumo vertinimą, taip pat DI, įdiegtą į produktus, kuriems taikomi ES gaminių saugos teisės aktai.

Šią vasarą datos pasikeitė. Reglamentas (ES) 2026/1744, galiojantis nuo 2026 m. liepos 27 d., didelės rizikos pareigų taikymo pradžią nukėlė nuo 2026 m. rugpjūčio 2 d. į 2027 m. gruodžio 2 d. III priedo sistemoms ir į 2028 m. rugpjūčio 2 d. DI reguliuojamuose produktuose.²³ Tas pats reglamentas sušvelnino 4 straipsnio („Raštingumas DI srityje“) pareigą, kuri visiems tiekėjams ir diegėjams taikoma nuo 2025 m. vasario 2 d.: dabar įmonės turi imtis priemonių darbuotojų DI raštingumui ugdyti, o ne užtikrinti tam tikrą jo lygį.²

Net jei 14 straipsnis jums netaikomas, jo penki gebėjimai tinka kaip kontrolinis sąrašas bet kokiai tvirtinimo schemai, o įdiegti juos nuo pradžių kainuoja nedaug.

BDAR 22 straipsnis

22 straipsnis („Automatizuotas atskirų sprendimų priėmimas, įskaitant profiliavimą“) suteikia asmeniui teisę, kad jam nebūtų taikomas vien automatizuotu duomenų tvarkymu pagrįstas sprendimas, dėl kurio jam kyla teisinės ar panašiai reikšmingos pasekmės.⁴ Žmogaus peržiūra sprendimą iš šios kategorijos išima tik tada, kai ji tikra: ją atlieka asmuo, turintis įgaliojimus pakeisti rezultatą ir įvertinantis visus svarbius duomenis.⁵ 2023 m. SCHUFA byloje ES Teisingumo Teismas konstatavo, kad net automatizuotas kredito reitingas gali būti laikomas tokiu sprendimu, kai skolintojas juo labai remiasi.⁶ Biuro agentams testas dažniausiai paprastas. Sąskaitos ir užsakymai tarp įmonių retai būna sprendimai dėl žmonių; kandidatų į darbą atranka, individualios veiklos vykdytojo kredito sąlygų nustatymas ar darbuotojų pamainų planavimas - gali būti.

Lietuvoje

Ryšių reguliavimo tarnyba (RRT) nuo 2025 m. balandžio 1 d. paskirta nacionaline DI akto rinkos priežiūros institucija ir bendruoju kontaktiniu punktu, o Inovacijų agentūra - notifikuojančiąja institucija; rengiamo įgyvendinimo įstatymo projekte rinkos priežiūra būtų paskirstyta sektorių reguliuotojams, o RRT liktų kontaktiniu punktu.¹⁷ BDAR priežiūrą vykdo Valstybinė duomenų apsaugos inspekcija (VDAI), paskelbusi DUK apie dirbtinį intelektą ir teisę reikalauti žmogaus įsikišimo.¹⁸

Tokia eile projektuojame agento tvirtinimo sluoksnį. Tai daroma prieš pradedant kurti, ir būtent čia pašalinama didžioji dalis rizikos.

1. Surašykite veiksmus, o ne sistemą

   Užrašykite kiekvieną veiksmą, kurį agentas galėtų atlikti: skaityti, ištraukti, rengti juodraštį, rašyti į sistemą, siųsti, mokėti. Kiekvienas vertinamas atskirai.

2. Įvertinkite ir priskirkite lygį

   Pritaikykite keturis klausimus (atšaukimas, vertė, adresatas, žmonės). Lygį lemia griežčiausias atsakymas; pažymėkite veiksmus, kurie niekada nepereina į lengvesnį lygį.

3. Aprašykite patikras ir susilaikymo kelią

   Kiekvienam veiksmui išvardykite patikras, kurios turi praeiti prieš jam vykstant, ir ką agentas daro, kai viena nepavyksta: sustoja, nurodo priežastį, perduoda.

4. Paleiskite šešėlinį režimą su tikru darbu

   Agentas apdoroja tikrus įrašus, bet niekas neįsigalioja. Jo rezultatą palyginkite su tuo, ką padarė darbuotojai, laukas po lauko, ir pažymėkite skirtumus.

5. Tvirtinimo ekraną projektuokite dėmesiui

   Šaltinis šalia pasiūlymo, pažymėti nepraėję laukai, vienas veiksmas kiekvienam įrašui ir priežasties kodas kiekvienam pataisymui ar atmetimui.

6. Perėjimo ir grąžinimo taisykles užrašykite

   Imties dydis, klaidų riba kiekvienam lygiui, kas tvirtina lygio pakeitimą ir kokie įvykiai grąžina žingsnį į tvirtinimo etapą.

7. Imtis tikrinkite ir po paleidimo

   Net lengviausiame lygyje kas mėnesį atrinkite atsitiktinę imtį, o pasikeitus įvesčiai skaičiavimą pradėkite iš naujo. Jei norite, kad tai būtų suprojektuota ir įdiegta jūsų sistemose, žr. verslo procesų automatizavimas su „Vertara“.

Aurelijus Jakas

Įkūrėjas · Vertara

Projektuoja ir kuria individualias AI sistemas vidutinėms gamybos, logistikos, eksporto ir profesinių paslaugų įmonėms Lietuvoje ir Europoje. Medžiaga rinkta ir su AI įrankiais; straipsnį parašė ir patikrino autorius. Visi straipsniai