Vytauto Didžiojo universiteto (VDU) vadovaujamas konsorciumas sukūrė Bendrąjį lietuvių kalbos tekstyną (BLKT) ir du vektorizuotus lietuvių kalbos modelius. Projektą įgyvendino Valstybės skaitmeninių sprendimų agentūra (VSSA), o darbus atliko – Vytauto Didžiojo universitetas, UAB „Neurotechnology“, UAB „Tilde IT“ ir MB „Krilas“.
Darbai truko nuo 2024 m. gruodžio iki 2026 m. balandžio, o visi jų rezultatai – atvirojo kodo DI modeliai ir tekstynas yra laisvai prieinami „Hugging Face“ platformoje, o tekstynas taip pat ir CLARIN-LT platformoje.
„Šis projektas parodė, kad akademinės bendruomenės ir verslo bendradarbiavimas leidžia kurti sprendimus, kurie yra reikšmingi visai Lietuvai. Naujieji kalbos ištekliai ir modeliai bus naudingi tiek mokslininkams, tiek organizacijoms, kuriančioms dirbtinio intelekto sprendimus lietuvių kalba“, – teigia Vytauto Didžiojo universiteto Humanitarinių mokslų fakulteto docentas dr. Andrius Utka, konsorciumo vadovas.
Du modeliai skirtingiems dirbtinio intelekto sprendimams
Efektyvių kalbos modelių kūrimas reikalauja ne tik kokybiškų lingvistinių duomenų, bet ir didelių skaičiavimo išteklių. Remdamasi Vytauto Didžiojo universiteto ir „Tilde IT“ parengtu Bendruoju lietuvių kalbos tekstynu, „Neurotechnology“ komanda, peržengusi eksperimentinį etapą, modelių mokymui ir optimizavimui sutelkė itin didelius resursus ir sukonstravo du visiškai skirtingus modelius.
Pirmasis – maskuotosios kalbos (angl., Masked Language Model, MLM) tipo modelis, iš anksto apmokytas dalimi (1,87 mlrd. žodžių) Bendrojo lietuvių kalbos tekstyno duomenų. Jis skirtas išmaniai semantinei paieškai bei kitoms nesudėtingoms natūralios kalbos apdorojimo užduotims atlikti.
Antrasis modelis – didysis lietuvių kalbos vektorizuotas modelis (angl., Large Language Model, LLM), sukurtas remiantis „Llama 3“ architektūros principais ir nuo nulio apmokytas naudojant visą Bendrojo lietuvių kalbos tekstyno medžiagą (3,9 mlrd. žodžių). Tai pamatinis kalbos modelis, skirtas kalbinio turinio kūrimui, jis taip pat gali būti pritaikytas skirtingoms DI technologijoms ir moksliniams tyrimams.
„Lietuvių kalba pasižymi sudėtinga gramatine sandara, todėl negalėjome tiesiog pritaikyti jau egzistuojančių metodų. Kūrėme ir optimizavome modelius taip, kad jie perprastų lietuvių kalbos struktūrą ir galėtų būti naudojami skirtingiems dirbtinio intelekto sprendimams“, – sako „Neurotechnology“ Natūralios kalbos apdorojimo skyriaus techninis vadovas Artūras Nakvosas.
Modelių kūrimui prireikė daugiau nei 2 000 valandų
Siekdama tiksliausio rezultato, įmonė abiejų modelių apmokymui bendrai skyrė daugiau nei du tūkstančius valandų. Didysis vektorizuotas lietuvių modelis, turintis apie 1,04 mlrd. parametrų, įsisavindamas visą tekstyno medžiagą buvo nepertraukiamai mokomas beveik 1 920 valandų. Tuo tarpu maskuotosios kalbos, apie 200 mln. parametrų modelio variantui apmokyti prireikė dar 210 valandų. Apmokytų modelių patikimumą ir tinkamumą realioms užduotims įvertino projekto partnerė MB „Krilas“, atlikusi sistemos validaciją ir testavimą.
„Mūsų komanda skyrė daug laiko ir pastangų, kad būtų užtikrintas sklandus ir patikimas modelio veikimas. Norime pagerinti sąlygas DI sprendimams lietuvių kalba kurti, kad visuomenei būtų prieinami patogūs, modernūs įrankiai, o skaitmeninių paslaugų kokybė Lietuvoje galėtų toliau augti“, – teigia Vytas Mulevičius, „Neurotechnology“ natūralios kalbos apdorojimo komandos vadovas.
Be pačių lietuvių kalbos modelių, šio darbo rezultatas yra ir universaliai pritaikoma jų kūrimo metodika, įskaitant specialiai lietuvių kalbai pritaikytą tokenizatorių. Tokenizatorius – tai metodas, kurio metu tekstas yra suskaidomas į mažiausius reikšminius vienetus. Visa sukurta treniravimo schema ir metodika gali būti lengvai pritaikoma naujų kalbos modelių kūrimui.
Partnerių vaidmuo projekte
Lietuvių kalbai pritaikytiems DI modeliams sukurti reikėjo didelės apimties kokybiškų kalbinių duomenų. Vytauto Didžiojo universitetas ir UAB „Tilde IT“ surinko grožinės ir negrožinės literatūros, žiniasklaidos, sakytinės kalbos bei dokumentų tekstus, tapusius pagrindu „Bendrojo lietuvių kalbos tekstyno“ rengimui.
„Neurotechnology“ komanda, remdamasi parengtu tekstynu, sukūrė ir apmokė du lietuvių kalbos modelius, optimizavo jų veikimą bei parengė modelių treniravimo metodiką ir specialiai lietuvių kalbai pritaikytą tokenizatorių. Prie projekto duomenimis ženkliai prisidėjo DELFI, LRT.lt, „Vakarų ekspresas“, Lrytas.lt, „Švenčionių kraštas“, Gargždai.lt, „Sena.lt“, AutoGidas.lt, 15min, Bernardinai.lt, „Humanitarų meka“, ELTA, BNS, „Kas vyksta Kaune“, VDA ir kiti duomenų tiekėjai.
Sukurto tekstyno ir modelio patikimumą bei tinkamumą naujos programinės įrangos kūrimui vertino MB „Krilas“, atlikusi sistemos validaciją ir testavimą. Šis etapas padėjo įvertinti, kaip modeliai veikia realiomis sąlygomis ir apdoroja sudėtingus lietuviškus tekstus. Tekstynas buvo tikrinamas įvairiais pjūviais: vertinta jo apimtis ir reprezentatyvumas, kalbinė kokybė, temų bei stilių įvairovė, taip pat tai, ar jame nėra šališko, diskriminuojančio turinio ar privačių asmens duomenų.
Projekto metu nustatyta, kad tekstynas yra kokybiškas, subalansuotas ir saugus naudoti. Modelio gebėjimai patikrinti pasitelkus praktinę užduotį – lietuviškų tekstų santraukų kūrimą, o atskirai įvertinta, kaip gerai modelis išmoko lietuvių kalbą, ar nekuria klaidingos, prasimanytos informacijos ir ar išlieka nešališkas. Rezultatai parodė, kad modelis lietuvių kalbą įsisavino gerai, generuoja sklandų ir daugeliu atvejų faktiškai teisingą tekstą, tad yra tinkamas pritaikymui realių problemų sprendime.
