Pereiti prie turinio
Di Automatizacijos
Di Automatizacijos
SISTEMOS BŪSENA: VEIKIA
Sprendimas

Dokumentų apdorojimo automatizavimas: duomenys iš PDF – į jūsų Excel be perrašymo

Dokumentų apdorojimo automatizavimas reiškia, kad duomenis iš pasikartojančių PDF dokumentų į jūsų Excel lentelės stulpelius perkelia programa: ji perskaito dokumento tekstą, sąskaitos eilučių sumą sutikrina su bendra suma iki cento ir įrašo tik žmogui patvirtinus. Tokį sąskaitų suvedimą esame sukūrę Lietuvos logistikos įmonei, o užsakymams, kainoraščiams ar skenuotiems dokumentams tą patį principą galime pritaikyti, pirmiausia išbandę jį su jūsų pavyzdžiais.

01

Kodėl PDF dokumentų apdorojimas vis dar vyksta ranka?

PDF dokumentai biure perrašomi ranka, nes kiekvienas siuntėjas juos sudaro savaip, o jūsų lentelė turi savus stulpelius ir taisykles. Todėl duomenų perkėlimas iš PDF dokumentų tampa kasdieniu darbu: žmogus perrašo eilutė po eilutės ir pats sutikrina sumas.

  • Kelių puslapių sąskaitą su daugybe eilučių tenka eilutė po eilutės perrašyti į tinkamus stulpelius prie atitinkamų užsakymų.
  • Nukopijavus lentelę iš PDF į Excel, eilutės dažnai subyra, skaičiai tampa tekstu, o kelių eilučių aprašymai išsiskaido – tvarkyti vis tiek tenka ranka.
  • Kiekvieno siuntėjo dokumentas atrodo kitaip: data, prekės kodas ar PVM eilutė būna skirtingose vietose, todėl perrašantis žmogus turi prisiminti kiekvieną formą.
  • Sukeistas skaitmuo ar praleista eilutė paaiškėja tik sutikrinus bendrą sumą – arba tada, kai sąskaita jau apmokėta.
  • PDF priedai išmėtyti po pašto dėžutę, o ta pati sąskaita, atsiųsta dar kartą, lengvai suvedama dukart.
  • Kaip tvarkyti kiekvieno siuntėjo dokumentus, žino vienas ar du žmonės, todėl jiems atostogaujant darbas kaupiasi.
02

Kokius dokumentų apdorojimo darbus perima programa?

Pristatyta klientui

PDF su tekstu – į jūsų lentelės stulpelius

Programa skaito PDF dokumento teksto sluoksnį – be teksto atpažinimo iš vaizdo (OCR) ir be kalbos modelio spėjimų, todėl skaičiai imami iš paties dokumento teksto, o ne atpažįstami iš vaizdo ar spėjami. Ar jie perskaityti teisingai, tikrina kontrolinė suma. Perskaitytas sumas programa paskirsto į tuos jūsų lentelės stulpelius ir prie tų įrašų, kuriuos dabar pildo žmogus, pavyzdžiui, prie konkretaus užsakymo.

Pristatyta klientui

Suma tikrinama iki cento

Kur dokumente yra bendra suma, suvestų eilučių suma turi su ja sutapti iki cento. Sąskaita, kurios kontrolinė suma nesutapo, nelaikoma teisingai suvesta – ją peržiūri žmogus. Tokia patikra dar prieš paleidimą sugavo tylią mūsų pačių PDF skaitymo klaidą – ne sąskaitoje ir ne kliento duomenyse.

Pristatyta klientui

Neatpažintos eilutės lieka matomos

Jei programa kurios nors eilutės patikimai neatpažįsta, ji jos tyliai neišmeta ir spėdama nepriskiria konkrečiam stulpeliui: tokios eilutės suma dedama į sutartą stulpelį, pavyzdžiui, „Kita“, o pati eilutė parodoma žmogui dar prieš įrašant. Ką su ja daryti, sprendžia žmogus. Šiai taisyklei turime atskirą automatinį testą „jokia eilutė nedingsta tyliai“.

Pristatyta klientui

PDF priedai – tiesiai iš pašto dėžutės

Programa pati surenka naujų laiškų PDF priedus iš nurodytos pašto dėžutės į vieną aplanką; jau paimtas laiškas antrą kartą neparsiunčiamas. Jei ta pati sąskaita atsiunčiama dar kartą ir suvedama pakartotinai, jau įrašytos reikšmės nedubliuojamos – programa jas pažymi kaip jau esančias. Nebereikia ieškoti laiškų ir išsaugoti priedų po vieną.

Pristatyta klientui

Kiekvienam siuntėjui – atskiras profilis

Kiekvieno siuntėjo dokumento forma aprašoma atskiru profiliu – to dokumento skaitymo taisyklėmis, o bendras programos branduolys, patikros ir rašymas į lentelę nuo jo nepriklauso. Atsiradus naujam siuntėjui, kurio PDF yra su tekstu, aprašomas ir patikrinamas naujas profilis, o branduolio iš naujo kurti nereikia.

Pristatyta klientui

Žmogus patvirtina, programa rašo saugiai

Prieš rašydama programa parodo santrauką: kiek reikšmių įrašys, kurių dokumento įrašų lentelėje nerado ir kokių eilučių neatpažino. Ji pildo tik tuščius langelius, ranka įvestų reikšmių neperrašo – jei langelyje jau yra kita reikšmė, programa ją palieka ir parodo nesutapimą. Be žmogaus patvirtinimo į lentelę nerašo – tai užtikrina pats programos kodas, ne vien susitarimas.

Pristatyta klientui

Sutikrinimas su jūsų lentele prieš apmokant

Suvedusi sąskaitą, programa parodo, ką verta patikrinti: dokumento įrašus, kurių lentelėje nėra, ir langelius, kuriuose ranka įvesta reikšmė skiriasi nuo dokumento. Bandyme ji taip pat parodė užsakymus, kuriems lentelėje pažymėtas papildomas darbas ar mokestis, o sąskaitoje jo nėra. Tai signalai patikrai, o ne savaime prarasti pinigai – dalis tokių sumų gali būti apmokama vėliau.

Galimas sprendimas

Užsakymų suvedimas iš PDF ir Excel priedų

Užsakymo eilutės – prekės kodas, kiekis, kaina, pristatymo data – gali būti perkeliamos į jūsų užsakymų lentelę ir sutikrinamos su jūsų prekių sąrašu: nežinomas kodas pažymimas, o ne spėjamas. Kur užsakyme yra bendra suma, ji būtų tikrinama iki cento, kaip ir sąskaitoje. Kaip tai atrodo didmeninėje prekyboje, rašome puslapyje apie didmeninės prekybos automatizavimą.

Galimas sprendimas

Kainoraščiai ir kiti dokumentai be bendros sumos

Tiekėjų kainoraštis bendros sumos neturi, todėl jį tikrintume kitaip: suskaičiuojama, kiek eilučių dokumente yra ir kiek jų perkelta, o neatpažintos eilutės rodomos atskirai. Kaip kainoraščius perkelti į vieną kainų lentelę ir matyti, kas pasikeitė nuo ankstesnio karto, aprašėme puslapyje apie didmeninės prekybos automatizavimą.

Galimas sprendimas

Skenuoti ir laisvos formos dokumentai

Skenuotam ar nufotografuotam dokumentui reikia OCR, o laisvos formos tekstui, pavyzdžiui, užsakymui, parašytam tiesiog laiške, – DI (AI) modelio. Tokį sprendimą siūlome tik išbandę jį su jūsų dokumentų pavyzdžiais, o rezultatą tikrintų tos pačios patikros: suma, kur ji yra, eilučių skaičius ir neatpažintų eilučių sąrašas. Kur reikia DI, iš anksto pasakome, kokie duomenys bus siunčiami jo teikėjui.

03

Kaip atrodo PDF sąskaitos suvedimas į Excel?

Pavyzdys su demonstraciniais duomenimis. Tiekėjas atsiunčia kelių puslapių sąskaitą su daugybe eilučių. Programa paima PDF iš pašto dėžutės, perskaito eilutes iš dokumento teksto ir paskirsto sumas į lentelės stulpelius prie atitinkamų užsakymų. Visų perskaitytų eilučių suma iki cento sutampa su sąskaitos eilutės „Iš viso“ suma – taip patikrinama, ar perskaitytos visos eilutės. Tačiau vienos eilutės aprašymas neatitiko nė vienos taisyklės, todėl programa jos sumą skyrė į stulpelį „Kita“ ir prieš įrašydama parodė šią eilutę santraukoje. Darbuotojas nusprendžia, ką su ja daryti, peržiūri, kiek reikšmių bus įrašyta, ir patvirtina – tik tada reikšmės įrašomos į tuščius langelius.

  1. PDF sąskaita
  2. Eilutės
  3. Suma iki cento
  4. Žmogus patvirtina
  5. Excel

Kur dokumente yra bendra suma, ji turi sutapti iki cento; dokumentams be bendros sumos, pavyzdžiui, kainoraščiams, tikrintume eilučių skaičių ir rodytume neatpažintas eilutes. Ko dokumente nėra, to programa neužpildys – tai pasakome iš anksto.

04

Kam tinka dokumentų apdorojimo automatizavimas, o kam – ne?

Verta, kai

  • Tie patys tiekėjai, užsakovai ar vežėjai PDF dokumentus atsiunčia kas savaitę ar dažniau, o jų forma iš esmės nesikeičia.
  • PDF yra su tekstu: jį sukūrė apskaitos ar kita programa, todėl dokumente galite pele pažymėti ir nukopijuoti skaičių.
  • Duomenys turi atsidurti jūsų lentelės stulpeliuose prie konkrečių užsakymų ar įrašų, o ne tiesiog būti išsaugoti kaip failas.
  • Dokumentuose daug eilučių ir puslapių, todėl perrašant lengva praleisti ar sukeisti eilutę.
  • Norite toliau dirbti savo Excel lentelėje, o ne kraustytis į naują sistemą.
  • Svarbu, kad kiekvienas skirtumas būtų parodytas ir paaiškintas, o ne tyliai ištaisytas.

Neverta, kai

  • Reikia tik perkelti įprastas pirkimo sąskaitas į apskaitos programą – tam greičiausiai pakaks gatavo sąskaitų skaitmeninimo įrankio ar jūsų apskaitos programos dokumentų atpažinimo modulio, o tai dažniausiai pigiau nei individualus sprendimas.
  • Dokumentai – tik ranka rašyti ar prastai nuskenuoti lapai: teksto juose nėra, o atpažinimas iš vaizdo be patikimos patikros būtų spėjimas.
  • Dokumentas retas ir kaskart kitoks – greičiau jį perrašyti ranka, nei aprašyti taisykles.
  • Tikitės, kad programa veiks visai be žmogaus patvirtinimo.
  • Reikiamų duomenų dokumente iš viso nėra, pavyzdžiui, jūsų vidinio užsakymo numerio, kurio siuntėjas nenurodo, – programa jų neatspės.
05

Ar toks sąskaitų suvedimas jau išbandytas su tikros įmonės duomenimis?

Taip. Lietuvos logistikos įmonei sukūrėme užsakovo sąskaitų PDF suvedimą su kontroline suma į jos pačios Excel lentelę ir sąskaitų surinkimą iš pašto dėžutės. Bandyme programos rezultatai sutapo su ranka įvestais duomenimis, o sąskaitos suma – iki cento. Užsakymų, kainoraščių ir skenuotų dokumentų šis bandymas neapėmė – juos aprašome kaip galimus sprendimus.

Visas atvejo aprašymas: Kilometrai, kelių mokesčiai ir sąskaitos – kliento Excel lentelėje →
06

Kaip vyksta projektas

  1. 01

    Auditas

    Randame procesą, kuris kainuoja daugiausiai.

  2. 02

    Žemėlapis

    Nubraižome, kas, kur ir kada vyksta.

  3. 03

    Kūrimas

    Sukuriame sprendimą ir jį išbandome.

  4. 04

    Sujungimas

    Prijungiame prie jūsų įrankių.

  5. 05

    Automatizavimas

    Paleidžiame – programa siūlo, žmogus patvirtina.

  6. 06

    Matavimas

    Matuojame laiką ir klaidas prieš ir po.

Pirmas žingsnis – nemokamas auditas: kartu randame procesą, kuris atima daugiausia laiko.

07

Dažni klausimai

Kaip veikia sąskaitų suvedimo automatizavimas?

Sąskaitų suvedimo automatizavimas veikia taip: programa surenka naujų laiškų sąskaitų PDF iš nurodytos pašto dėžutės, perskaito eilutes iš dokumento teksto ir paskirsto sumas į jūsų lentelės stulpelius. Tada patikrina, ar suvestų eilučių suma iki cento sutampa su sąskaitos suma, o neatpažintas eilutes parodo žmogui.

Darbuotojas, atsidaręs savo lentelę, suvedimą paleidžia iš Excel meniu, peržiūri santrauką – kiek reikšmių programa įrašys ir kokių eilučių neatpažino – ir patvirtina; tik tada reikšmės įrašomos į tuščius langelius. Lentelė lieka paprastas Excel failas be makrokomandų; kaip veikia toks priedas, rašome puslapyje apie Excel automatizavimą įmonei. Tokį sprendimą sukūrėme Lietuvos logistikos įmonei, o kaip jį išbandėme, aprašėme atvejyje apie kilometrus, kelių mokesčius ir sąskaitas.

Kada pakanka gatavo sąskaitų skaitmeninimo įrankio, o kada reikia individualaus sprendimo?

Gatavo įrankio dažniausiai pakanka, kai įprastas pirkimo sąskaitas reikia perkelti į apskaitos programą: tam skirtos sąskaitų skaitmeninimo programos ir apskaitos programų dokumentų atpažinimo moduliai, todėl kurti individualų sprendimą neverta.

Individualus sprendimas pasiteisina, kai duomenys turi atsidurti ne apskaitoje, o jūsų pačių lentelės stulpeliuose prie konkrečių užsakymų; kai dokumentas – kelių puslapių su daugybe eilučių, kurias reikia paskirstyti pagal jūsų taisykles; kai dokumentą reikia sutikrinti su užsakymais ar kita jūsų lentele; arba kai tai ne sąskaita, o, pavyzdžiui, užsakymas ar kainoraštis.

Abu būdus galima derinti: įprastos sąskaitos į apskaitą keliauja gatavu įrankiu, o programa tvarko tik tuos dokumentus, kuriems reikia jūsų taisyklių. Kaip pasirinkti, aprašėme straipsnyje gatavas įrankis ar individualus sprendimas.

Ar skaitote skenuotus PDF?

Mūsų sukurtas sprendimas – kol kas ne: jis skaito tik PDF su tekstu, tokius, kuriuos sukūrė apskaitos ar kita programa. Ar PDF yra su tekstu, patikrinti paprasta: atsidarykite jį ir pabandykite pele pažymėti vieną skaičių. Jei pažymėti nepavyksta arba pažymimas visas puslapis kaip paveikslėlis, greičiausiai tai skenuotas vaizdas. Ką su tokiu PDF galite padaryti patys, aprašėme straipsnyje kaip perkelti duomenis iš PDF į Excel.

Skenuotiems ar nufotografuotiems dokumentams reikia OCR. Kai kurie skeneriai atpažintą tekstą prideda patys, bet ir tada skaičiai atpažinti iš vaizdo, todėl patikros tampa dar svarbesnės. Tokį sprendimą siūlome tik išbandę jį su jūsų dokumentų pavyzdžiais: rezultatą tikrintų tos pačios patikros – kontrolinė suma, kur dokumente yra bendra suma, ir neatpažintų eilučių sąrašas, o tikslumo iš anksto nežadame.

Ar naudojate DI?

PDF su tekstu skaitome be DI: eilutes ir sumas programa ima iš dokumento teksto pagal taisykles, nes tie patys duomenys visada turi duoti tą patį rezultatą, o kalbos modelis gali suklysti skaičiuose. Vienu atveju mažas modelis pateikė kiekį, daugiau nei dvigubai viršijantį teisingą.

DI naudingas ten, kur tekstas laisvas, pavyzdžiui, kai kiekvienas klientas užsakymą rašo savais žodžiais laiške – tai jau DI agentų sritis. Tada iš anksto pasakome, kokie duomenys bus siunčiami ir kam: debesijos DI modelio teikėjas gauna apdorojamą tekstą, o kai kurie teikėjai duomenis apdoroja ir už ES ribų, pavyzdžiui, JAV.

Kas bus, kai siuntėjas pakeis PDF formą?

Dažniausiai tai parodo kontrolinė suma ar neatpažintų eilučių sąrašas, bet ne visada: jei nauja ar pervadinta eilutė panaši į jau žinomą, ji gali patekti ne į tą stulpelį, o bendra suma vis tiek sutaps. Todėl siuntėjui pakeitus formą profilį reikia atnaujinti ir patikrinti su naujais dokumentais; kaip tai darome, sutariame prieš pradedant.

Kadangi kiekvieno siuntėjo taisyklės laikomos atskirame profilyje, vieno siuntėjo profilio pakeitimas kitų siuntėjų taisyklių neliečia. Po kiekvieno kodo pakeitimo automatiniai testai patikrina, ar anksčiau gauti rezultatai nepasikeitė.

Ar programa mato visus pašto laiškus?

Programa pasiekia tik tą pašto dėžutę, prie kurios ją prijungiate, todėl dokumentams rekomenduojame skirti atskirą pašto dėžutę, į kurią sąskaitos siunčiamos ar persiunčiamos automatiškai, – tada programa nemato darbuotojų susirašinėjimo. Jei atskiros dėžutės nėra, priedus galima imti tik iš sutarto aplanko, tačiau tada programos prisijungimas techniškai leidžia pasiekti visą dėžutę, todėl atskira dėžutė saugesnė.

Kokią prieigą programa gauna ir kokius dokumentų duomenis matome kurdami ar prižiūrėdami sprendimą, sutariame prieš pradedant.

Mūsų sukurtame sprendime variklis veikia įmonės kompiuteryje, o PDF su tekstu skaitomi be kalbos modelio, todėl dokumentų turinys DI teikėjui nesiunčiamas.

Ar galima duomenis įrašyti tiesiai į apskaitos programą?

Įmanoma, jei apskaitos programa turi API ar importo galimybę ir jos licencija tai leidžia. Tai patvirtiname tik pamatę licenciją ir API dokumentaciją, todėl integracijos su sistema, kurios nematėme, iš anksto nežadame. Kol kas mūsų sukurti sprendimai rašo į įmonės Excel ar Google Sheets lentelę.

Kokie keliai galimi – API, importo failas ar eksportas atgal į jūsų lentelę – aprašėme puslapyje apie integraciją su apskaitos programa. Nesvarbu, kur rezultatas įrašomas, įrašytų eilučių suma turi sutapti su dokumento suma.

Kaip įsitikinate, kad programa suveda teisingai?

Pirmą kartą sprendimą paleidžiame tik su jūsų lentelės kopija ir programos rezultatą lyginame su tuo, ką darbuotojai jau buvo suvedę ranka iš tų pačių dokumentų – jei reikia, tas reikšmes kopijoje ištriname ir leidžiame programai jas užpildyti iš naujo. Rezultatą lyginame stulpelis po stulpelio, o palyginimo rezultatus skirstome į keturias grupes: sutampa, vertė skiriasi, tipas skiriasi (pavyzdžiui, skaičius įrašytas kaip tekstas) ir nelyginta.

Vėliau kiekvieną suvedamą dokumentą su bendra suma tikrina kontrolinė suma – visas mūsų patikras aprašėme straipsnyje kaip tikriname automatizaciją, o po kiekvieno kodo pakeitimo automatiniai testai patikrina, ar rezultatai nepasikeitė. Kodėl to reikia net tada, kai programa nerodo jokių klaidų, aiškiname straipsnyje apie tylias automatizavimo klaidas.

Kiek kainuoja dokumentų apdorojimo automatizavimas?

Fiksuotos kainos neskelbiame: ją lemia, kiek skirtingų siuntėjų ir dokumentų formų reikia aprašyti, ar PDF yra su tekstu, ar skenuoti, kiek dokumentuose eilučių ir išimčių, kur duomenys turi atsidurti ir ar juos reikia sutikrinti su užsakymais. Jei sprendimui reikia OCR ar DI paslaugos, prisideda jos naudojimo mokestis, dėl kurio susitariame iš anksto.

Kainą įvardijame tik pamatę jūsų dokumentų pavyzdžius ir lentelę. Kaip kiekvienas iš šių veiksnių keičia kainą ir kada pigiau rinktis gatavą įrankį, rašome straipsnyje apie tai, nuo ko priklauso automatizavimo kaina. Kainų ribas rasite kainų puslapyje. Pirmas žingsnis – nemokamas auditas.

08

Kokius PDF dokumentus jūsų biuras vis dar perrašo ranka?

Aprašykite, kokie dokumentai ateina, iš kiek siuntėjų ir kur jų duomenys turi atsidurti. Per nemokamą auditą pateikiame pirminį įvertinimą, ar šį darbą verta automatizuoti, ir susitariame dėl vieno konkretaus tolesnio žingsnio. Jei nuspręsite tęsti, pradžiai užteks kelių tipinių dokumentų kopijų – originalų nereikia, o asmens duomenis iš jų galima pašalinti.