TIMSS (Trends in International Mathematics and Science Study) este un studiu internațional comparativ privind performanța școlară care are ca scop să indice și să examineze evoluțiile pe termen lung ale sistemelor de învățământ din țările participante. Sondajul TIMSS se concentrează pe evaluarea competențelor matematice și științifice ale elevilor. Sondajele au loc o dată la patru ani pentru a documenta evoluțiile pe termen mai lung din sistemele de învățământ participante.
Aceast articol descrie fazele și pașii ce au dus la colectarea cu succes a datelor din România pentru ediția 2019 a TIMSS.
Proiectul a constat în două mari activități generale: Pilotarea (Field Test) și Testarea propriu-zisă (Main Data Collection). Acestea au implicat o serie standardizată de acțiuni și proceduri ce va fi descrisă în cele ce urmează:
Fiind vorba de o testare internațională cu itemi construiți pentru a fi aplicați tuturor elevilor participanți la nivel internațional, itemii au trebuit traduși, adaptați și supuși procesului de pilotare pentru a asigura fielitatea și validitatea testelor aplicate.
Testul Pilot TIMSS 2019 (desfășurat în anul 2018) a constat în administrarea a 5 variante de caiete de testare pentru elevi (itemii ce au măsurat performanța în matematică și științe) (o anumită versiune fiind administrată aleatoriu fiecărui elev). De asemenea, s-au aplicat patru chestionare de context diferite: chestionarul pentru școală, chestionarul pentru profesorul de matematică, chestionarul pentru profesorul de științe și chestionarul pentru elevi.
Testarea propriu-zisă TIMSS 2019 (desfășurat în anul 2019) și a constat în administrarea a 14 variante de caiete de testare pentru elevi (itemii ce au măsurat performanța în matematică și științe) (o anumită versiune fiind administrată aleatoriu fiecărui elev). De asemenea, s-au aplicat patru chestionare de context diferite: chestionarul pentru școală, chestionarul pentru profesorul de matematică, chestionarul pentru profesorul de științe și chestionarul pentru elevi.
Atât pentru pilotare cât și pentru testarea propriu-zisă, toate materialele au fost traduse și adaptate pentru România în conformitate cu instrucțiunile oferite de Centrul Internațional de Studii TIMSS & PIRLS și toate testele au fost supuse unui de proces de revizuire și verificare IEA. Pentru a pregăti toate instrumentele s-au folosit materialele specifice furnizate de Centrul Internațional de Studii TIMSS & PIRLS.
Pentru etapa de pilotare s-a tipărit un total de 100.000 pagini, atât pentru caietele de testare cât și pentru chestionarele de. Toate caietee de testare și chestionarele de context au fost etichetate în conformitate cu instrucțiunile Centrului Internațional de Studii TIMSS & PIRLS.
Pentru etapa propriu-zisă de testare s-a tipărit un total de 667.000 pagini atât pentru caietele de testare cât și pentru chestionarele de. Toate caietee de testare și chestionarele de context au fost etichetate în conformitate cu instrucțiunile Centrului Internațional de Studii TIMSS & PIRLS.
Pentru etapa de pliotare Centrul Național TIMSS România, împreună cu IEA Hamburg, a selectat, prin eșantionare reprezentativă, un total de 32 de școli. Pentru etapa de pliotare Centrul Național TIMSS România, împreună cu IEA Hamburg, a selectat, prin eșantionare reprezentativă, un total de 200 de școli.
În etapa de pilotare, toate cele 32 de școli au fost contacate de echipa TIMSS și informate cu privire la scopul si modalitatea de desfășurare a proiectului. Dintre cele 32 de școli eșantionate, 4 au refuzat participarea și au fost înlocuite cu școli care au îndeplinit aceleași criterii de eșantionare pentru a asigura reprezentativitatea eșantionului.
În etapa de testare propriu zisă, toate cele 200 de școli au fost contacate de echipa TIMSS și informate cu privire la scopul si modalitatea de desfășurare a proiectului. Dintre cele 200 de școli eșantionate, 12 au refuzat participarea și au fost înlocuite cu școli care au îndeplinit aceleași criterii de eșantionare pentru a asigura reprezentativitatea eșantionului.
Pentru a asigura desfăsurarea uniformă și de bună calitate a procesului de testare la nivel internațional, IEA Hamburg a furnizat mai multe resurse și documente pentru a fi utilizate în relația cu școlile pentru a se pregăti administrarea testelor. Acestea sunt descrise mai jos. Manualul coordonatorului școlii
Versiunea internațională a Manualului coordonatorului școlii descrie pașii care trebuie luați de coordonatorul școlii din momentul în care școala este de acord să participle la proiect până în momentul în care materialele de testare completate sunt returnate la centrul național. Acest material, format din 30 de pagini, a fost tradus și adaptat pentru România în conformitate cu instrucțiunile furnizate de Centrul Internațional de Studii TIMSS & PIRLS.
Manualul administratorului de testare
Manualul descrie rolul administratorului de testare TIMSS și acoperă procedurile de evaluare și administrarea a caietelor de testare si a chestionarului pentru elevi. Acest material, format din 27 de pagini, a fost tradus și adaptat pentru România în conformitate cu instrucțiunile furnizate de Centrul Internațional de Studii TIMSS & PIRLS.
Centrul Național de Cercetare România a oferit instruire personalului implicat în procesul de colectare a datelor, atât în etapa de pilotare cât și pentru testarea propriu-zisă. Scopul instruirii a fost familiarizarea personalului cu cerințele de evaluare, așa cum este descris în Manualul coordonatorului școlii și în Manualul administratorului de testare.
La finalizarea instruirii, personalul TIMSS din cadrul centrului național a ambalat și a trimis materialele de testare la școlile eșantionate. S-au urmărit în mod constant materialele, starea școlilor și calendarul de evaluare. S-a oferit coordonatorilor școlii sprijin permanent și fiecare problemă apărută a fost abordată în câteva ore de la primirea acesteia. Peste 5000 de e-mailuri au fost schimbate între personalul centrului național și școli.
După contactul inițial cu școlile și după obținerea acordului de participare, școlilor le-au fost furnizate cele două manuale necesare pregătirii pentru administrarea testelor. Școlile au fost rugate să numească un coordonator școlar și un administrator de testare. Datele de aplicare a testelor au fost stabilite de centrul național și de fiecare școală în parte, în conformitate cu calendarul specific al fiecărei școli, astfel încât să se potrivească nevoilor fiecărei școli participante, atât în etapa de pilotare cât și în timpul testării propriu-zise.
Școlile au primit materialele necesare conform instrucțiunilor oferite de Centrul Internațional de Studii TIMSS & PIRLS. Centrul Național de Cercetare România și-a instruit personalul pentru a oferi asistență școlilor. De asemenea, personalul Centrului Național de Cercetare România a fost prezent în timpul administrării testelor pentru toate școlile, atât în etapa de pilotare cât și în timpul testării propriu-zise. Aceștia au oferit asistență coordonatorului școlii și administratorului de teste, au păstrat legătura cu centrul național și s-au asigurat că au fost respectate instrucțiunile Centrului Internațional de Studii TIMSS & PIRLS.
În conformitate cu procedurile TIMSS & PIRLS, rata de participare a elevilor a fost de cel puțin 90%, cu excepția unei școli unde rata de participare a fost de 80%. Acest lucru a fost raportat la IEA Hamburg și, dat fiind că au fost completate peste 1000 de caiete de testare și chestionare de context pentru etapa de pilotare și peste 5000 de caiete de testare și chestionare de context pentru testarea propriu-zisă (minimul necesar), acest lucru nu a fost considerat o problemă.
Următoarea etapă importantă în procesul de pilotare cât și în etapa de testare propriu-zisă a constat în scorarea materialelor. Înainte de a începe procesul de scorare, centrul național a trebuit să selecteze evaluatori. Datorită mai multor aspecte de context, centrul național a selectat 2 evaluatori care să ia parte la proiect. Pentru notarea elementelor de răspuns construite, a fost aleasă o persoană cu experiență educațională și o persoană cu un background în cercetare.
După ce au fost selectați, cei doi evaluatori au fost instruiți de centrul național, timp de 5 zile. Fiecărui evaluator i s-a furnizat o copie a Ghidurilor de evaluare a testelor pentru elementele de răspuns construite, precum și răspunsurile de exemplu și de practică oferite de Centrul Internațional de Studii TIMSS & PIRLS și exemple naționale și răspunsuri practice. În plus, Centrul Internațional de Studii TIMSS & PIRLS a pregătit seturi de exemple și răspunsuri practice au fost traduse și furnizate evaluatorilor. Procesul de scorare a materialelor a durat 24 de zile pentru etapa de pilotare și 62 de zile pentru etapa de testare propriu-zisă.
Ulterior finalizării procesului de scorare, toate datele au fost încărcate în soft-ul pus la dispoziție de IEA și rezultatele testului pilot desfășurat de Romania au fost transmise spre analiză către IEA Hamburg și Statistics Canada.