Šiuolaikinės technologijos kartais gali daugiau nei magija ar fantastiniai filmai.

Kai mokslininkai susivienija su gydytojais, tampa įmanoma net pagal žmogaus balsą aptikti ir nustatyti pakitimus ar netgi ligas, tokias kaip gerklės vėžys.

Kad tai taptų tikrove, Vilniaus universiteto (VU) mokslininkai, bendradarbiaudami su gydytojais, kuria balso vertinimo metodiką, kuri leistų iš balso įrašo pačiam žmogui pasitikrinti, ar jo balsas neturi pakitimų, įspėjančių apie galimas sveikatos problemas.

Savo patirtį VU Matematikos ir informatikos fakulteto mokslininkai kaupė kurdami balso jausmų atpažinimo būdus. „Mes turime prieigą prie jausmingos kalbos duomenų bazių.

Esame pasiūlę būdą, kuris gali atpažinti jausmus: ar žmogus piktas, ar liūdnas, ar susierzinęs, pasibjaurėjęs“, – pasakoja VU Matematikos ir informatikos fakulteto mokslininkas doc. Gintautas Tamulevičius.

Kelerius metus trukusio tyrimo metu jis su komanda ieškojo požymių, kurie gerai atspindi jausmus.

Iš pradžių tam bandė taikyti įprastinius akustinius požymius (pvz., tonas, tono pokyčiai, šnekos dinamika), vėliau ieškojo naujų požymių.

Pavyzdžiui, jausmams atpažinti pasiūlė fraktalinius požymius, kurie yra visiškai matematinės kilmės, skirti aprašyti ir įvertinti geometrines struktūrų pasikartojamumo savybes.

Kaip apskaičiuoti žmogaus jausmą?

„Kai mes įrašome balsą, t. y. garso signalą, jį skaitmenizuojame – paverčiame skaičių seka, kuri aprašo mūsų šneką.

Turėdami taip išreikštą signalą, jam analizuoti mes galime taikyti matematinius būdus“, – paaiškina doc. G. Tamulevičius.

Analizuodami skaitmeninį balso signalą mes galime spręsti įvairius uždavinius – paversti žmogaus šnekos turinį tekstu, atpažinti kalbantįjį asmenį, išskirti ir atpažinti žmogaus psichinę būklę, galbūt net aptikti pakitusį balsą ir įspėti apie galimus susirgimus.

Praėjusio amžiaus pabaigoje Masačusetso technologijų instituto tyrėja Rosalinda Pikardi (Rosalind Picard) savo knygoje „Emocinė kompiuterija“ („Affective Computing“) iškėlė mintį, kad mūsų jaučiami jausmai atlieka svarbų vaidmenį mąstant ir bendraujant – mokantis, suvokiant, perduodant mintis ir žinias, priimant sprendimus.

Taigi, jei sąveikai su kompiuteriais ar robotais mes norime suteikti žmogiškųjų savybių (natūralumo, empatijos, veiksmingumo, išsamumo), mes turime „išmokyti“ kompiuterius ir robotus aptikti ir atpažinti mūsų jausmus, perduodamas balsu (veido išraiškomis, kūno poza ar gestais).

Viena iš šnekamosios kalbos signalų tyrimų sumanymų ir yra žmogaus psichinės būklės vertinimas pagal balsą.

Jeigu mūsų turimas balso asistentas (pvz., Alexa ar Siri), mūsų balse aptikęs apatijos požymių, pasiūlytų ramios muzikos, pakeistų apšvietimą ar pasiteirautų, kas atsitiko, toks bendravimas mums atrodytų kur kas žmogiškesnis ir priimtinesnis.

O jeigu asistentas gebėtų ir atitinkamai pakeisti balso intonaciją ar jausmą (kas reiškia balso jausmo sintezę)?

Kita balso jausmų analizės ir sintezės taikymo kryptis – robotika. Mus supančių robotų skaičius sparčiai auga ir ateityje teks neišvengiamai su jais bendrauti aptarnavimo, galbūt socialinių paslaugų srityse.

„Bendraudami su robotais mes tikėsimės žmogiškumo, empatijos, tad tokie tyrimai ir veda mus link šio tikslo“, – paaiškina doc. G. Tamulevičius.

Ką tai reiškia technologijų pasaulyje? Tai reiškia, kad tokie robotai turės gebėti tiek analizuoti (išskirti ir atpažinti) jausmus balse, tiek sintezuoti (parinkti ir sukurti).

Pasak doc. G. Tamulevičiaus, VU Matematikos ir informatikos fakulteto mokslininkai dirba su panašiais robotikos uždaviniais.

Kaip robotas mokomas suprasti mūsų šneką ir atsakyti? Roboto mokymas – tai paruoštų kalbos modelių įdiegimas.

„Mokymas ne toks kaip vaikų, nors sumanymas panašus. Šiuo atveju mokymas yra matematinės kilmės: išmokome robotą visų garsų, jų sekų tam, kad jis galėtų juos atpažinti.

Išgirdęs ir atpažinęs garsus, robotas pagal turimą žodyną sudeda juos į prasmingą sakinį, į kurį gali reaguoti, atsakyti ir taip palaikyti minimalų dialogą“, – patikslina docentas.

O jeigu jau robotas geba suprasti lietuvių šnekamąją kalbą ir atsakyti ja, tai ateities galimybės mums diktuoja ir jausmų atpažinimo, jausmingos intonacijos kūrimo uždavinius.

Prie tokių tyrimų gali prisidėti ir studentai, norintys gilintis į šią tematiką. Tuomet būtų galima dar labiau praplėsti ir sparčiau judėti prie jausmų informatikos būdų pritaikymo gyvenime.

„Jeigu mūsų turimus robotus Ąžuolą ir Liepą, kurie priklauso NAO robotų šeimai, išmokysime atpažinti jausmus, tada mes būsime pasiruošę to išmokyti ir kitus robotus, spręsti tolimesnius uždavinius“, – sako mokslininkas.

Balso kokybės vertinimas – pagalba gydytojams

Kalbėdamas apie tyrimus, doc. G. Tamulevičius pabrėžia, kad labai svarbu nauji sumanymai, bendradarbiavimas su kitų sričių žinovais.

Kartu dirbant su šnekos signalo analize, gydytojai pasiūlė balso kokybės vertinimo sumanymą – įvertinti balso tembrą, balsingumą, spalvingumą, kitas savybes.

Įvertinę balso kokybę, mes galėtume įvertinti žmogaus balsą, priimti sprendimą dėl žmogaus vokalinių sugebėjimų, galbūt net aptikti kokios nors ligos apraiškas.

Doc. G. Tamulevičius paaiškina, kad balso klosčių uždegimo, polipų, paralyžiaus ar kitų pakitimų atveju keičiasi žmogaus balsas, jo kokybinės savybės.

Įrašius ir įvertinus balso pakitimus būtų galima įgyvendinti ankstyvosios diagnostikos sumanymus, o tai padėtų įspėti apie ligos požymius ir taip galbūt užkirsti kelią sunkesnei ligos eigai.

„Turime sumanymą pasiūlyti balso kokybės vertinimo metodiką ir jos pagrindu – balso kokybės testą.

Tai galėtų būti specializuota medicininės paskirties programa ar kiekvienam prieinama ir paprastai naudojama programėlė, gebanti įvertinti balsą ir pateikti patarimus.

Ligoniui (ar programėlės naudotojui) reikėtų ištarti tam tikrus žodžius ar sakinius, jo balsas būtų analizuojamas ir programa pateiktų vertinimo rezultatus, nustatytų galimus sutrikimus“, – sumanymais dalijasi doc. G. Tamulevčius.

Pasak mokslininko, tam, kad tai taptų tikrove, reikalingas ne tik mokslininkų darbas ir gydytojų žinios, bet ir verslo indėlis – prisidėjimas prie gaminio įgyvendinimo: „Dabar mes dirbame su gydytojais, bandome sukaupti patologinių balsų duomenų bazę.

Kitas žingsnis – sumanymo ir metodikos pristatymas, vystymo partnerių paieškos.“