PAGE
PROGRESS
0%
·7 min read

Ar visoms užduotims reikia stipriausio AI modelio?

Ar visoms užduotims reikia stipriausio AI modelio?

Does every task need the strongest AI model?  Mygom guide

Buhalteris atsidaro sąskaitą ir ieško ją atitinkančio mokėjimo. Suma aiški, tačiau banko išraše tiekėjas vadinasi kitaip. Mokėjimo paskirtis irgi nepadeda: pavedimas apima kelias sąskaitas. Tokiame procese AI modelio parinkimas priklauso nuo to, kurią užduotį norime patikėti sistemai.

Perskaityti sąskaitos numerį ir išsiaiškinti neaiškų pavedimą nėra tas pats darbas. Vienai užduočiai gali pakakti paprastesnio modelio, kitai prireiks daugiau duomenų ir žmogaus sprendimo. Stipriausią modelį verta rinktis ten, kur jo galimybės iš tiesų pagerina rezultatą.

AI modelio parinkimas prasideda nuo konkretaus darbo

Kurdami savo sąskaitų automatizaciją (opens in new tab), turėjome sujungti dokumentus, kurie mus pasiekdavo skirtingais būdais. Vieni ateidavo el. paštu, kitus rasdavome bendruose aplankuose. Tarp dokumentų buvo PDF failų, nuotraukų ir skaičiuoklių. Dalį informacijos siuntėjai įrašydavo tiesiog laiške.

Gauti sąskaitą buvo tik pradžia. Sistemai dar reikėjo perskaityti jos duomenis, patikrinti, ar dokumentas nesikartoja, ir rasti atitinkamą banko mokėjimą. Neaiškius atvejus turėjo peržiūrėti žmogus.

Šis procesas padeda paaiškinti, kaip skirtingoms užduotims galima parinkti įrankius. Toliau aptariame galimus pasirinkimus, o ne mūsų sistemoje naudojamų modelių sąrašą ar jų paskirstymą.

Jeigu visą darbą pavadintume tiesiog sąskaitos apdorojimu, būtų sunku nuspręsti, kur reikia stipresnio modelio. Atskyrus užduotis, klausimas tampa konkretesnis. Gal modelis puikiai perskaito dokumentą, bet klysta siūlydamas, kuris mokėjimas jam priklauso? Tuomet reikia gerinti būtent tą etapą.

Sąskaitos duomenis reikia patikrinti pagal originalą

Pirmiausia sistema iš dokumento turi perskaityti tiekėją, sumą, datą ir sąskaitos numerį. Mūsų projekte šį darbą apsunkino skirtingi dokumentų formatai. Modelio pasirinkimą tokiam darbui galima pradėti nuo įmonės jau turimų sąskaitų.

Komanda atsirenka įprastus dokumentus ir įtraukia tuos, su kuriais darbuotojai dažniau susiduria su sunkumais. Viena nuotrauka gali būti neryški, kitame dokumente tiekėjas neįrašo mokėjimo termino. Prieš bandymą darbuotojas patikrina, kokį atsakymą sistema turėtų pateikti kiekvienu atveju.

Tuomet skirtingi modeliai gauna tuos pačius dokumentus. Komanda žiūri, ar jie teisingai perskaito sumas, nepraleidžia numerių ir neprideda informacijos, kurios dokumente nėra. Jeigu datos trūksta, tinkamas rezultatas turi parodyti tą trūkumą.

„OpenAI“ modelių parinkimo gairėse (opens in new tab) rekomenduoja panašų palyginimą: išbandyti tuos pačius duomenis ir rinktis reikalavimus atitinkantį, mažiau išteklių naudojantį variantą. AI modelio parinkimas tada remiasi komandos dokumentais ir pastebėtomis klaidomis. Vien modelio pavadinimas nepasako, kaip jis susitvarkys su konkrečia sąskaita.

Pasikartojančio dokumento ne visada reikia klausti AI

Kai sistema jau perskaitė sąskaitos numerį ir tiekėjo duomenis, dalį tikrinimo galima atlikti įprastomis programinėmis taisyklėmis. Tarkime, ankstesniuose įrašuose komanda randa tą patį tiekėją ir sąskaitos numerį. Sistema galėtų pažymėti galimą dublikatą ir parodyti abu dokumentus.

Tokiam palyginimui nebūtinai reikia dar vienos modelio užklausos. Programuotojas gali tiksliai aprašyti, kuriuos laukus sistema lygina ir ką daro radusi sutapimą. Už apskaitą atsakingas žmogus turi paaiškinti, kaip elgtis su kreditinėmis sąskaitomis ir kitomis išimtimis.

Sunkumų atsirastų, jeigu modelis prieš tai neteisingai perskaitytų numerį arba tiekėjas dokumentuose vadintųsi skirtingai. Tokį atvejį reikėtų nagrinėti papildomai. Vien sutampančių reikšmių paieška nepadengtų visų situacijų.

Mūsų sąskaitų automatizacija tikrina dublikatus ir juos blokuoja prieš apmokėjimą. Tačiau šis pavyzdys neaprašo jos tikrinimo algoritmo. Jis parodo pasirinkimą, kurį verta apsvarstyti kuriant panašų procesą: kurią patikrą galime aprašyti aiškia taisykle?

Neaiškus pavedimas gali pareikalauti daugiau darbo

Perskaičiusi sąskaitą, sistema dar turi nustatyti, ar įmonė ją apmokėjo. Mūsų projekte šis etapas kėlė sunkumų dėl skirtingų tiekėjų pavadinimų ir neaiškių mokėjimų paskirčių. Kartais vienas pavedimas apimdavo kelias sąskaitas, o kitais atvejais mokėtojas sumą padalydavo.

Čia galima išbandyti stipresnį modelį, tačiau jam reikia tinkamos informacijos. Jeigu sistema pateikia tik vieną sąskaitą, modelis negali patikrinti jos ryšio su kitais dokumentais. Vien pakeistas modelis nepakeičia trūkstamų banko įrašų.

Gavęs reikalingus duomenis, modelis galėtų pasiūlyti, kuriuos dokumentus sieja mokėjimas. Kartu jis turėtų nurodyti konkrečius įrašus ir paaiškinti savo pasirinkimą. Darbuotojas tuomet galėtų patikrinti, ar sumos ir kiti duomenys pagrindžia siūlomą ryšį.

AI modelio parinkimas nesuteikia sistemai teisės patvirtinti ginčijamos sąskaitos apmokėjimo. Mūsų procese nepakankamai patikimus atvejus sistema perduoda žmogui. Stipresnis modelis gali padėti išnagrinėti duomenis, tačiau atsakomybę už sprendimą įmonė turi apibrėžti atskirai.

Modelio naudą parodo ir darbuotojo sugaištas laikas

Tarkime, komanda išbando paprastesnį modelį ir pastebi, kad jis greitai pateikia atsakymus. Tačiau buhalteris vėliau taiso praleistus laukus ir iš naujo ieško mokėjimų. Tokiu atveju vien modelio greitis neparodo, ar visas darbas tapo lengvesnis.

Lygindama variantus, komanda turėtų pasižymėti ir klaidas, ir laiką iki tinkamo rezultato. Svarbu matyti, kiek kartų sistema kartojo užklausą bei kiek darbo liko darbuotojui. Mažesnės modelio naudojimo sąnaudos gali neatsverti papildomo taisymo.

Klaidas taip pat reikia vertinti pagal pasekmes. Papildomai peržiūrėti teisingą sąskaitą nėra tas pats, kas klaidingai pažymėti ją kaip apmokėtą. Prieš bandymą komanda turi sutarti, kokio rezultato negalės priimti.

„Anthropic“ agentų vertinimo metodikoje (opens in new tab) siūlo tikrinti galutinį rezultatą ir kartoti bandymus, nes modelių atsakymai gali keistis. Todėl vienas sėkmingas pavyzdys dar nepatvirtina pasirinkimo. Jeigu svarbius atvejus sistema pakartotinai atlieka tinkamai, komanda turi tvirtesnį pagrindą sprendimui.

Kada papildomo modelio ar mūsų pagalbos nereikia

Po bandymo gali paaiškėti, kad dabartinis sprendimas jau atlieka darbą tinkamai. Tuomet papildomų modelių gali ir neprireikti. Prieš užsakant papildomą kūrimą verta įvertinti šias situacijas:

Nuo ko pradėti

Pasirinkite vieną pasikartojantį darbą ir užrašykite, kaip darbuotojas patikrina jo rezultatą. Pavyzdžiui, sąskaitos suma turi sutapti su originalu, o trūkstamą datą sistema turi pažymėti. Toks aprašymas suteikia konkretų pagrindą bandymui.

MYGOM komanda gali padėti išnagrinėti procesą ir palyginti, kur tinka taisyklės, modelis ar žmogaus peržiūra. AI modelio parinkimas tuomet remiasi patikrintu darbo rezultatu ir tuo, kiek pastangų jam prireikė.

Susisiekite su mumis (opens in new tab), jei norite įvertinti konkretų automatizacijos etapą.

Dirbkime kartu

Dirbkime kartu

Pasiruošę įgyvendinti savo idėjas? Mes esame čia, kad padėtume.