U delu istraživačke zajednice postoji bojazan da bi izmeštanje realizacije istraživanja iz nezavisnih istraživačkih institucija, kakve su Institut za psihologiju Filozofskog fakulteta u Beogradu (koji je do sada sprovodio PISA studiju) i Institut za pedagoška istraživanja (bio je zadužen za TIMSS) i njihovo prebacivanje pod okrilje države moglo da utiče na „štelovanje“ rezultata.
Međutim, iz Zavoda za vrednovanje kvaliteta obrazovanja i vaspitanja, koji će ubuduće realizovati sva međunarodna istraživanja, uveravaju da razloga za nepoverenja nema.
Zasad su, bar što se javnosti tiče, na nivou spekulacija ostale priče da je moguće „nameštanje“ uzorka tako što bi se izbegli loši učenici, te da nije isključeno da nastavnici koji dežuraju kada se radi istraživanje pomažu đacima.
Kada su objavljeni rezultati PISA 2015, jedan od tadašnjih hrvatskih zvaničnika je, komentarišući loš rezultat učenika iz te zemlje, izjavio da su u uzorak ušli svi učenici, a ne samo najbolji.
„U nekim evropskim zemljama kažu lošijim učenicima da na dan testiranja ne dođu na nastavu. Kod nas su u statistiku ušla i deca s posebnim potrebama i nacionalne manjine“, rekao je on, ali je njegovu izjavu demantovala tadašnja koordinatorka PISA istraživanja u Hrvatskoj.
Tokom vremena velike međunarodne studije u oblasti obrazovanja kao što su PISA i TIMSS izgradile su mrežu institucionalne podrške koja propisuje standarde kvaliteta istraživačkog procesa, uspostavlja procedure, instance i načine dokumentovanja izvedenih procedura.
– Jednostavno rečeno, sve aktivnosti su standardizovane i, načelno, nema razloga za brigu da rezultati neće biti pouzdani. Kada stignu rezultati narednih studija, možemo mirno da ih analiziramo znajući da nam daju realističnu sliku i, nadam se, da ih pametno koristimo za unapređivanje obrazovanja. To je načelno, ali od svake zemlje učesnice očekuje se da, osim poštovanja standarda, preduzme i sve druge mere osiguranja pouzdanosti, jer su odstupanja moguća na svim nivoima. Do toga mogu da dovedu, na primer, nepouzdani ili nekompletni podaci, neažurirane baze, kašnjenja… koja mogu da daju efekte na mikro planu (na primer, na nivou škole), ali i da se agregiraju na višim nivoima – kaže Dragica Pavlović Babić, dugogodišnja nacionalna koordinatorka PISA istraživanja u Srbiji.
Za poverenje u rezultate, dodaje, važna okolnost je i interesovanje i atmosfera koja se formira oko studija i njihovih rezultata.
– Svedoci smo da se javnost, širom sveta pa i kod nas, interesuje za rezultate, a prosvetne vlasti obećavaju bolja postignuća i traže „odgovorne“. Setite se samo epizode posle objavljivanja rezultata ciklusa PISA 2015. kada je jedan hrvatski zvaničnik izjavio da su učenici pripadnici manjinskih zajednica najviše doprineli rezultatima nižim od očekivanih. Nije bez razloga praksa koja se primenjuje u većini zemalja da se ove i ovakve istraživačke studije poveravaju autonomnim institucijama koje, po definiciji, imaju veću otpornost na različite vrste pritisaka, direktnih i indirektnih – navodi Pavlović Babić.
Ona misli da je praksa diversifikacije istraživačkih aktivnosti u proceni obrazovnih postignuća koju smo imali bila jako dobra, pametna i dalekovida. Time se prevashodno umnožavaju i izgrađuju istraživački i analitički kapaciteti u zemlji, ali i demonstrira dobra praksa decentralizacije aktivnosti, što je posebno važno u jednom obrazovnom sistemu koji je, kao naš, visoko centralizovan, ističe Pavlović Babić.
– Prema našim saznanjima na primeru TIMSS istraživanja u okviru Instituta za pedagoška istraživanja, nikad se nisu dogodile bilo kakve malverzacije. Čak se ne mogu birati odeljenja i učenici koji će da učestvuju u istraživanju, to ne čini škola ni druge institucije, već specijalizovani softver kojem imaju pristup nacionalni koordinator i data menadžer, a svako odeljenje ima i dobre, prosečne i loše učenike. Svaka vrsta malverzacija u IEA studijama (TIMSS, PIRLS, LANA, ICCS) svedena je na minimum i ne može bitno uticati na konačan rezultat. Ovo je obezbeđeno kroz veoma stroge procedure i kontrole na međunarodnom nivou. Zato možemo da tvrdimo da svaka zemlja dobija validne i korisne podatke o svom obrazovom sistemu, napominju u Institutu za pedagoška istraživanja.
Na pitanje da li je moguće izbegavanje „loših“ škola pri formiraju uzorka, iz Instituta kažu da je eventualna zamena škola koje su odabrane u uzorku strogo kontrolisana i potrebno je jako opravdanje za takav postupak.
– Dodatno zamena velikog broja škola utiče direktno na ocenu reprezentativnosti uzorka. U slučaju da se zemlja odluči za određene zamenske škole u više od 10 odsto slučaja, u internacionalnom izveštaju će se rezultati za tu zemlju tretirati kao nereprezentativni za populaciju. Čak i da vam padne na pamet ideja da ustupite „ograničen“ spisak škola, toliko baza podataka je dostupno javno na domaći i inostranim obrazovno-naučnim i stručnim portalima koji vrlo transparentno iznose podatke o obrazovnim sistemima i školama. Promena škole ne bi značajno mogla da utiče na konačne skorove, a na taj način bi se rizikovalo da se dobije oznaka u internacionalnom izveštaju da uzorak nije reprezentativan, čime bismo doveli celo istraživanje u pitanje. Što se tiče „fingiranja“ podataka, istraživačka etika nalaže odgovorno i ekspertsko ponašanje svakog naučnika i istraživača – navode u Institutu.
Branislav Ranđelović, direktor Zavoda za vrednovanje kvaliteta obrazovanja i vaspitanja, objašnjava da uzorke za svako od međunarodnih testiranja koja se realizuju u saradnji sa Međunarodnom asocijacijom za evaluacije u obrazovanju IEA (a to su PIRLS, TIMSS, ICCS i ICILS) bira i selektuje IEA, koristeći identičan postupak i algoritam koji se primenjuje u svim zemljama učesnicama.
Uzorak za PISA istraživanje prirpemaju organi OECD.
– Ni Zavod, niti država Srbija, ni na koji način ne mogu da utiču na uzorak škola koje će biti uključene u ova testiranja. Kompletnu bazu škola iz Srbije nacionalni tim dostavlja internacionalnim partnerima koji po principu trostruke stratifikacije uzorkuju škole koje će se naći u istraživanju. Dalje su uslovi za izostavljanje bilo kog učenika iz istraživanja strogo propisani i tu niko od nas nema instrumente, niti mogućnost da bilo šta “namesti”. S druge strane, nema ni razloga za to. Cilj učešća Srbije u istraživanjima nije da dobijemo lažne podatke samo da bismo bili bolje plasirani na svetskoj skali, već da dobijemo realne i prave rezultate koji bi nam pomogli u daljim koracima ka poboljšanju kvaliteta našeg obrazovanja – poručuje Ranđelović.
U narednom periodu Zavod će pripremiti i realizovati više važnih međunarodnih istraživanja u obrazovanju.
– Početkom marta nas očekuje istraživanje čitalačke pismenosti desetogodišnjaka (4. razred) PIRLS 2021, u kome će učestvovati preko 5.000 učenika, iz skoro 240 odeljenja, u 170 škola širom Srbije. Krajem marta i u aprilu biće probno istraživanje PISA 2022, koje je pomereno za godinu dana zbog situacije sa kovidom 19 u celom svetu. Probna PISA realizovaće se na uzorku od oko 2.000 učenika prvih razreda iz 43 srednje škole – objašnjava Danijela Đukić, rukovoditeljka Centra za međunarodna istraživanja u Zavodu.
U drugoj polovini godine počinju pripreme za istraživanje poznavanja građanskih obaveza i aktivnog učešća u društvu pod nazivom ICCS 2022.
U njemu učestvuju đaci osmog razreda.
Probno istraživanje je bilo krajem prošle godine u 32 škole.
Preostala dva istraživanja koja će pripremati Zavod su ICILS 2023 (Međunarodno istraživanje informatičke pismenosti kod petnaestogodišnjaka ) i TIMSS 2023 (istraživanje u oblasti matematike i prirodnih nauke za desetogodišnjake), a očekuju nas u 2022. (probna testiranja) i 2023. (glavna testiranja).
– Tek nakon zaokruživanja kompletnog ciklusa svih ovih istraživanja imaćemo pravu sliku stanja našeg obrazovnog sistema, koja ne mora da bude baš onakva kakva nam deluje nakon prikaza rezultata samo jedne od ovih studija. Naravno, sve ovo će se realizovati samo ukoliko nam epidemiološka situacija dozvoli da sprovedemo planirane aktivnosti – ističe Đukić.
Poverenje
Branislav Ranđelović kaže da Zavod ima kapacitete da sprovede istraživanja kakva su TIMSS i PISA, i da u svom okviru ima posebnu organizacionu jedinicu koja se bavi ovim poslovima.
– Za razliku od nekih drugih institucija, Zavod kao državna institucija predstavlja ozbiljan autoritet školama koje se uključuju u istraživanja. Kada se tokom realizacije ukaže potreba za angažovanjem nekih kapaciteta kojima se trenutno ne raspolaže, Zavod, kao što je bila praksa i do sada, angažuje privremeno spoljne saradnike ili uspostavlja saradnju sa odgovarajućim ustanovama ili fakultetima. Na primer, tokom pripreme PIRLS istraživanja, Zavod je privremeno uključio određeni broj stručnjaka jednog od pomenutih instituta – ističe Ranđelović.
Dodaje da se ovakvim načinom realizacije dobija i na ozbiljnosti pristupa škola ovim istraživanjima, jer obrazovne ustanove prepoznaju da iza istraživanja stoji i Ministarstvo prosvete i država, pošto ih sprovodi državni zavod. Kao benefit ovakvog pristupa navodi i to što će se uštedeti sredstva namenjena za međunarodna istraživanja, jer će većinu poslova obavljati službenici Zavoda u okviru svojih redovnih poslova.
Pratite nas na našoj Facebook i Instagram stranici, ali i na Twitter nalogu. Pretplatite se na PDF izdanje lista Danas.
