Čita(n)j(e) između redova – predviđanje uspjeha na temelju načina izražavanja

U četvrtak, 25. ožujka 2021., održano je šesto predavanje u sklopu 9. ciklusa Otvorenog četvrtka. O predviđanju uspjeha na temelju načina izražavanja govorili su profesori s FERIT-a doc. dr. sc. Dragana Božić Lenard i dr. sc. Krešimir Romić. Zbog epidemioloških okolnosti predavanje je održano putem Zooma te ga je pratila publika od 35 osoba.

Može li računalni program zamijeniti ljudskog ocjenjivača u ocjenjivanju određene vrste eseja pitanje je koje se nametnulo kao glavno u predavanju i raspravi te su predavači pokušali na njega dati odgovor. U prvom dijelu predavanja docentica Božić Lenard upoznala nas je s lingvističkom osnovom programa i istraživanja. U pilot-istraživanju sudjelovali su studenti na kolegiju tehničkog engleskog koji su pisali autobiografski esej duljine od 200 do 250 riječi. Prikupljena je baza od 442 autobiografska eseja (292 s FERIT-a i 150 sa srodnog fakulteta u Trnavi u Slovačkoj).

Istraživanje se sastojalo od računalne, statističke i kvalitativne analize, a rezultati trebaju pomoći u daljnjem razvoju aplikacije koja bi mogla ocjenjivati eseje i predviđati uspjeh na temelju načina izražavanja. Kategorije koje su proučavane i uspoređivane sa završnim ocjenama studenata iz kolegija bile su riječi od 6 i više grafema, kategorija osobnih zamjenica i zamjenice ja, kategorija članova i imenica, kategorija vezana uz temu uspjeha te kategorija vezana uz temu slobodnog vremena. U drugom dijelu predavanja poslijedoktorand Romić upoznao nas je s tehničkom stranom istraživanja i programa. Kao problem istaknuo se rad s velikim brojem parametara te spora ručna analiza, a ti se problemi pokušavaju riješiti kroz različita programska rješenja (npr. automatski pronalazak optimalnih parametara i fino podešavanje parametara, automatska analiza podataka). Rezultati pilot-istraživanja pokazali su da studenti koji su imali završnu ocjenu iz kolegija vrlo dobar i izvrstan pišu leksički i sintaktički složenije eseje, fokusirani su na zadatak te rabe dosta različitih imenica, a više se referiraju na akademski, a manje na privatni život. Što se tiče uspješnosti programa u predviđanju uspjeha, program je u 62 % slučajeva točno pogodio ocjenu, u 92 % slučajeva ocjena je približno pogođena (razlika u ocjeni jednaka ili manja od 1), prosječno odstupanje predviđene ocjene od konačne manje je od 0,5.



Iako računala olakšavaju istraživanja u području analize teksta te mogu ukazati na veze između određenih parametara u analizi teksta s konačnom ocjenom studenta, ipak ostaje pitanje trebaju li i, možda još važnije, mogu li računalni programi zamijeniti ljudske ocjenjivače. Mišljenje je autora ovih redaka da ne trebaju i ne mogu, ali to je svakako pitanje za raspravu. Rasprava se razvila već nakon samog predavanja, a tijekom nje smo vidjeli da postoji interes za takvim programima.



Tekst: Domagoj Kostanjevac, suvoditelj Otvorenog četvrtka