Probno istraživanje 2005.

U prvoj fazi ciklusa PISA 2006, još tijekom 2004. godine, grupa viših savjetnika tadašnjeg Zavoda za školstvo (D. Garašić, M. Petković, V. Milić i Ž. Jakopović) sustavno je analizirala ponuđena ispitna pitanja iz prirodoznanstvenih predmeta. Njihova se zadaća odnosila na procjenu relevantnosti pitanja s obzirom na naše nastavne programe, zatim s obzirom na njihovu primjenjivost u svakodnevnom životu, razinu interesa petnaestogodišnjaka za pojedina prirodoslovna područja, a trebalo je i  predvidjeti kod kojih se pitanja mogu očekivati teškoće u prevođenju. Naša stajališta uključena su u međunarodnu analizu i krajem 2004. godine australska organizacija ACER (Australian Council for Educational Research) konačno je završila međunarodno usklađivanje ispitnih pitanja. Time je započela duga i složena procedura prevođenja ispitnih pitanja. Propisana procedura nalaže da se pitanja prevode na hrvatski s engleskoga i francuskog jezika. Zatim ta dva, neovisno izrađena prijevoda, usklađuje treći prevoditelj. Usklađeni se prijevod zatim šalje na verifikaciju i konačno potvrđuje u završnoj kontroli grafički oblikovanog teksta.

Ispitne knjižice i upitnici tiskani su pod strogo zaštićenim uvjetima, a na dan ispitivanja zaštitarska agencija dostavila je ispitni materijal u škole, pazeći da se u potpunosti sačuva njegova tajnost.

Cilj probnog istraživanja je provjera ispitnog materijala, njegovih psihometrijskih svojstava, kao i provjera funkcioniranja ispitne procedure, odnosno mogućnost poštivanja međunarodno zadanih ispitnih uvjeta koje se potom primjenjuju u glavnom istraživanju.
       
Probno PISA istraživanje provedeno je u četrdeset srednjih škola u Hrvatskoj. Tijekom ispitnog perioda,  od 11. travnja do 21. svibnja 2005.,  obavljeno je testiranje i anketiranje velikog broja učenika, njihovih roditelja i ravnatelja.
Stratifikacijskim nacrtom bilo je predviđeno obuhvatiti 1600 učenika (i isto toliko roditelja) iz svih regija Hrvatske, podijeljenih prema vrsti programa i stupnju urbanizacije mjesta u kojem se škola nalazi.

Informiranje škola u kojima se provelo probno istraživanje obavljeno je potkraj ožujka 2005. Prvo je u svakoj od njih imenovan školski koordinator, najčešće pedagog ili psiholog. Školski koordinatori su osim priručnika s detaljnim uputama o radu prošli i posebnu edukaciju PISA centra kako bi optimalno pripremili uvjete za testiranje. Radni dogovori s ravnateljima i školskim koordinatorima uzorkovanih škola rezultirali su izvrsnom pripremom učenika, roditelja i organizacijskih uvjeta za samo testiranje.  Učenici su obaviješteni nekoliko dana prije ispitivanja, objašnjeno im je da rezultati testova ni na koji način neće utjecati na njihov školski uspjeh te ih se nastojalo motivirati da svakako pristupe ovom projektu.    

Analiza odaziva  pokazala je da je testiranju pristupilo 94%  učenika (1508)  i čak 97,08 roditelja (1465) te je Hrvatska time po odazivu među prvima od ukupno 58 zemalja sudionica ovog PISA ciklusa. Oko 6% učenika nije obuhvaćeno procjenom zbog bolesti ili preseljenja u drugu školu.

Testiranje je  trajalo ukupno 120 minuta, s kratkom stankom nakon prvog sata rada. Nakon dvadesetak minuta stanke  učenici su  sljedećih 45 minuta ispunjavali upitnik s nizom pitanja o socioekonomskom okružju u kojem uče i žive, svom odnosu prema školi, učenju te korištenju računala. Tjedan dana nakon testiranja škole su vratile ispunjen upitnik za roditelje.

Svaki je učenik dobio jednu od trinaest različito koncipiranih ispitnih knjižica sa zadacima iz tri ispitne domene. U njima se našlo ukupno 247 pitanja iz područja prirodoslovne pismenosti, 26 pitanja iz matematičke i 28 iz čitalačke pismenosti. Osim toga, učenici su odgovorili i na ukupno 291 pitanje u kojem se očekivalo da iskažu svoje stavove o prirodnim znanostima, ekologiji, zdravim stilovima života i slično. Svaki je učenik rješavao od 60 do 70 pitanja.

Kodiranje - ispravljanje učeničkih odgovora bilo je povjereno dvanaestorici iskusnih profesora koji su prethodno zadovoljili na selekcijskom testu brzine i točnosti kodiranja ispitnog materijala te koji su prošli posebnu edukaciju za kodiranje pitanja otvorenog tipa. Povratni podaci ACER-a nakon analize višestrukog kodiranja u 370 ispitnih knjižica govore da su naši koderi postigli izuzetno visok stupanj pouzdanosti, među najboljima od svih zemalja sudionica i to prvenstveno zbog temeljite  i kvalitetne edukacije za kodiranje svakog pojedinog clustera pitanja.

Unos kodiranog ispitnog materijala u poseban računalni program (KeyQuest) izvršilo je 14 studenata psihologije s prethodnim iskustvom na takvim poslovima. Unešeno je ukupno 1.470.000 podataka, a unos je završio čak desetak dana prije predviđenog roka te je kompletna baza podataka s pratećim izvješćem 2. srpnja 2005. poslana Konzorciju PISA projekta na daljnju obradu.

 

OECD Publikacije

  • OECD Publikacije
  • OECD Publikacije
  • OECD Publikacije
  • OECD Publikacije
  • OECD Publikacije
  • OECD Publikacije
  • OECD Publikacije
  • OECD Publikacije
  • OECD Publikacije
Baner
Baner