AI agentų testavimas prieš priimant darbą

Pardavimų vadovė stebi, kaip agentas praneša įvedęs kliento užsakymą. Prieš patvirtindama rezultatą ji atsidaro įmonės sistemą. AI agentų testavimas tikrina, ar sistema elgiasi pagal sutartus reikalavimus ir iš tikrųjų atlieka nurodytus veiksmus.
Įmonė turėtų priimti sprendimą pagal savo darbo užduoties bandymus. Įtikinama demonstracija parodo galimybę, tačiau kasdieniam naudojimui reikia patikrinti įprastus atvejus, išimtis ir leidžiamų veiksmų ribas.
AI agentų testavimas prasideda nuo priėmimo kriterijų
Proceso savininkas pirmiausia aprašo, kokį rezultatą turi palikti atlikta užduotis. Užsakymo atveju darbuotojas turėtų rasti įrašą, susietą su tinkamu klientu. Prekės ir kiekiai turi atitikti pradinę užklausą, o būsena turi rodyti sutartą darbo etapą.
Šiame tekste užsakymą naudojame kaip galimo bandymo pavyzdį. Tai nėra konkretaus MYGOM projekto ar pasiekto rezultato aprašymas. Komanda turi pritaikyti kriterijus savo sistemoms ir darbuotojų atsakomybei.
Sutarkite dėl rezultato prieš demonstraciją. Jeigu agentas turi parengti juodraštį, išsaugotas juodraštis gali reikšti sėkmę. Tas pats įrašas neatitinka reikalavimo patvirtinti užsakymą.
„Anthropic“ agentų vertinimo gairėse (opens in new tab) atskiria vykdymo įrašą nuo galutinės būsenos sistemoje. Pateiktame skrydžio pavyzdyje agento pranešimas apie rezervaciją skiriasi nuo duomenų bazėje esančio rezervacijos įrašo.
Paprašykite parodyti rezultatą atskirai atidarius tikslinę sistemą arba pakartotinai perskaičius jos duomenis. Patikrinkite klientą, svarbius laukus ir būseną. Paties agento pranešimo ekrano kopija šių faktų nepatvirtina.
Darbiniai pavyzdžiai turi apimti įprastas išimtis
Darbuotojai turėtų atrinkti užklausas, kurias gauna savo darbe. Greta aiškių užduočių reikia atvejų, dėl kurių kolegos paprastai tikslina informaciją. Naudokite praktikai leidžiamus duomenis ir pašalinkite asmeninę ar konfidencialią informaciją, kai neturite pagrindo jos naudoti.
Užsakymų bandymams tiktų neįprastas prekės aprašymas, trūkstamas pristatymo adresas ar prieštaringi kliento nurodymai. Prie kiekvieno pavyzdžio užrašykite laukiamą elgesį. Dėl adreso agentas gali paprašyti patikslinimo, o neatpažintą klientą perduoti darbuotojui.
Sustojimas irgi gali reikšti teisingai atliktą užduotį. Jeigu taisyklės draudžia spėti prekę, agentas turi palikti aiškią neišspręstos užklausos priežastį. Vertindama vien įvestus užsakymus komanda galėtų nepastebėti nepagrįstų sprendimų.
Dalį pavyzdžių palikite atskirai nuo instrukcijų tobulinimo. Taip galėsite patikrinti, ar sistema susitvarko su kita medžiaga. Pažymėkite pavyzdžio kilmę, tikrinamą elgesį ir žmogų, kuris patvirtino laukiamą rezultatą.
Mūsų agento kūrimo gidas (opens in new tab) apima architektūrą ir diegimo pasirinkimus. Šiame etape sprendžiate siauresnį klausimą: ar sukurta sistema atlieka sutartą darbą.
Nutrūkęs ryšys neturi palikti neaiškaus rezultato
Techninė komanda turėtų išbandyti darbo sutrikimus izoliuotoje aplinkoje. Įmonės programa gali išsaugoti užsakymą, nors agentas nesulaukia patvirtinimo. Pakartojęs veiksmą be papildomos patikros jis galėtų sukurti dublikatą.
Priėmimo bandymas turi parodyti, kaip sistema išsiaiškina pirmojo veiksmo rezultatą. Darbuotojas turi galėti atpažinti susijusią užklausą ir jos būseną. Tiekėjas turėtų paaiškinti apsaugą nuo dublikatų ir parodyti, kaip ji veikia.
Patikrinkite ir neprieinamą duomenų šaltinį. Nepavykusi paieška skiriasi nuo patvirtinimo, kad įrašo nėra. Negavęs sistemos atsakymo agentas neturėtų pranešti, kad klientas neturi užsakymų.
Atskiri atvejai turi tikrinti suteiktus leidimus. Prašymas parengti užsakymą savaime nesuteikia teisės siųsti patvirtinimą ar keisti sutartą kainą. Užrašykite leidžiamus veiksmus ir išbandykite užklausas, kurios tas ribas peržengia.
Sutrikimų bandymai gali laikinai nutraukti jungtis ar pakeisti teises. Techninė komanda turi juos vykdyti ten, kur neišsiųs tikrų laiškų ir nepakeis gyvų verslo įrašų. Prieš pradėdama ji turi sutarti, kaip atkurs bandymo aplinką.
Pakeistas modelis turi praeiti ankstesnius bandymus
Vienas pavykęs paleidimas dar neparodo nuoseklaus veikimo. „Anthropic“ rekomenduoja kartoti bandymus, nes modelio atsakymai skirtingais paleidimais gali skirtis. AI agentų testavimas turi leisti palyginti rezultatus žinomomis sąlygomis.
Užfiksuokite naudotą modelį, instrukcijas, įrankius ir bandymo duomenis. Po pakeitimo paleiskite tuos pačius atvejus. Vertinkite kiekvieną naują nesėkmę, ypač kai ji gali paveikti kliento ar finansinius duomenis.
„OpenAI“ agentų vertinimo dokumentacijoje (opens in new tab) siūlo nagrinėti vykdymo įrašus, o pakartojamiems palyginimams naudoti duomenų rinkinius ir vertinimo paleidimus. Vykdymo įrašai padeda tikrinti įrankių pasirinkimą, užduoties perdavimą ir instrukcijų laikymąsi.
Proceso savininkas turi nustatyti, kurios klaidos stabdo naujos versijos paleidimą. Sklandesnis atsakymas nekompensuoja klaidingai parinkto kliento. Atskirai vertinkite privalomus saugos reikalavimus ir pageidaujamus kokybės patobulinimus.
Universalaus priėmimo procento čia nesiūlome. Reikalavimai priklauso nuo užduoties ir klaidos pasekmių. Komanda turi nurodyti, kokius atvejus tikrino ir kokių situacijų bandymai dar neapima.
Priėmimo sprendimui reikia peržiūrimų įrodymų
Paprašykite rezultatų, kuriuos galėtų peržiūrėti už darbą atsakingas kolega. Juose turi būti sistemos versija, bandyti atvejai, lauktas elgesys ir faktinis rezultatas. Neišspręstos klaidos turi turėti atsakingą žmogų ir aiškų sprendimą.
AI agentų testavimas taip pat turi parodyti darbuotojams likusį darbą. Pažymėkite, kada žmogus taisė atsakymą, papildė informaciją ar pats užbaigė užduotį. Visoms užklausoms parengtas juodraštis dar neparodo, kiek pastangų reikės jo patikrai.
Prieš paleidimą atlikti bandymai neapima visų būsimų situacijų. Tikros užklausos gali skirtis, o prijungtos programos gali pasikeisti. Paskirkite žmogų, kuris nagrinės nesėkmes ir papildys bandymų rinkinį aktualiais atvejais.
Pagal surinktus įrodymus komanda gali patvirtinti ribotą naudojimą, palikti žmogaus patvirtinimą arba pirmiausia taisyti sistemą. Priėmimas turi aiškiai įvardyti leidžiamą darbo apimtį. Vėliau plėsdama apimtį komanda turėtų patikrinti ir naujas užduotis.
Kada atskiro projekto nereikia
Patikros apimtis priklauso nuo programos galimybių ir klaidos pasekmių.
- Jeigu tiekėjas jau pateikia tinkamus bandymus ir peržiūrimus rezultatus, pirmiausia įvertinkite juos. Papildoma testavimo paslauga gali kartoti jau atliktą darbą.
- Jeigu įrankis tik rengia vidinio teksto juodraščius, kuriuos darbuotojas visada patikrina, pradžiai gali pakakti aprašytos peržiūros tvarkos. Atskira vertinimo platforma nebūtinai padės.
- Jeigu komanda nesutaria, ką laikys tinkamu rezultatu, pirmiausia apibrėžkite reikalavimą. Papildomi programavimo darbai nepakeis trūkstamos verslo taisyklės.
Nuo ko pradėti
Pasirinkite agento atliekamą užduotį ir užrašykite, kokie įrodymai patvirtintų jos atlikimą. Pridėkite sąlygas, kuriomis agentas turi sustoti arba paprašyti pagalbos.
MYGOM kuriame agentus apibrėžtam procesui su valdomais veiksmais ir peržiūrimais rezultatais. Sutarti priėmimo kriterijai susieja kūrimo darbus su įmonei reikalingu rezultatu.
Susisiekite (opens in new tab) su mumis ir aptarkime užduotį bei patikrą, kurios reikės prieš pradedant naudoti agentą.


