Metodologia de construcţie a indicatorilor de referinţă
Livrabile realizate în cadrul acestei activități (selecție):
• Documentul „Propunere de indicatori pentru benchmarking” (anul I al proiectului). Ulterior unei perioade de documentare privind benchmarking-ul, standardele şi indicatorii de performanţă, echipa de experţi din cadrul acestei activităţi a comparat metodologia existentă cu rezultatele obţinute în urma documentării (alte sisteme europene etc.), în vederea elaborării unei propuneri iniţiale de indicatori generali şi pe tipuri de instituţii.
• Documentul „Indicatori primari și secundari pentru evaluarea calității” (primul an al proiectului). Acesta a oferit posibilitatea de a participa la o dezbatere cu privire la noile propuneri de indicatori primari şi secundari pentru evaluarea calităţii, conform cercetării desfășurate la începutul al proiectului. Documentul este disponibil și în limba engleză „Primary and secondary indicators for quality evaluation”.
• Documentul „Glosar bilingv (român-englez) de termeni pentru învăţământul superior” (anul I al proiectului), în care este realizată o selecție și o adaptare actualizată a terminologiei specific academice şi a celei uzitate preponderent de organismele internaţionale de profil.
• O propunere pentru o nouă fișă a vizitei (anul I și II al proiectului). Fişa vizitei a păstrat cele trei dimensiuni ale evaluării calităţii stabilite prin lege („capacitatea instituţională”, „eficacitatea educaţională” şi „managementul calităţii”), amendând însă indicatorii vechi. Astfel, a crescut ponderea indicatorilor de ieşire şi rezultat (output şi outcome); a fost eliminat caracterul vag sau imprecis al unora dintre indicatori; au fost (re)formulați indicatori în scopul cuantificării mai uşoare a acestora; s-a avut în vedere colectarea de date comparabile; a crescut accentul pus pe dimensiunea „managementului calităţii”. Aplicată pe universitățile evaluate în cadrul proiectului, fișa a fost amendată constant în funcție de feedback-ul primit.
• O propunere pentru o fișă unitară a disciplinei (însoțită de un ghid de completare a fişei unitare) și pentru o fișă a programului (însoțită, de asemenea, de un set de instrucţiuni specifice de completare). Documentele au fost elaborate în urma colaborării cu ACPART, având în vedere stabilirea corelației între indicatorii instituționali și terțiari și competențele dezvoltate de această agenție.
• Un număr special al revistei bi-anuale Quality Assurance Review for Higher Education (anul al II-lea al proiectului). Numărul conţine o secţiune tematică privind „Abordările analitice ale metodelor şi instrumentelor de evaluare a calităţii în învăţământul superior”, o secţiune de articole privind „Dezvoltarea comunităţilor”, precum şi o recenzie şi o serie de anunţuri privind conferinţele naţionale şi internaţionale.
• Un capitol - Practici universitare de asigurare şi evaluare a calităţii educaţiei superioare - în „Barometrul Calităţii 2010: Starea calităţii în învăţământul superior din România” (anul al II-lea al proiectului). Studiul conține: o analiză a diversității instituționale și a caracterului dezirabil a acesteia, fiind prezentate tipuri de diversitate instituțională; o analiză a diversității instituționale în IS din România; o discuție despre autonomia universitară, omogenitatea instituţională şi asigurarea calităţii; considerații privind nevoia creşterii diversităţii între IIS şi practica benchmarks-urilor în asigurarea calităţii programelor universitare; o analiză referitoare la practica asigurării calităţii aşa cum reiese din benchmarks-urile instituţionale ș.a.
• O propunere de metodologie pentru evaluarea externă în vederea autorizării provizorii, acreditării și pentru evaluarea periodică a școlilor doctorale (anul al III-lea al proiectului).
• O propunere privind metodologia de construcţie a indicatorilor de referinţă (anul al III-lea al proiectului). Raportul, preponderent descriptiv, oferă informații cu privire la asumpțiile și filosofia care întemeiază metodologia de construcție a noului set de indicatori de referință propus pentru evaluarea externă a calității învățământului superior din România. De asemenea, documentul scoate în evidență legătură inferențială existentă între natura indicatorilor de referință propuși și posibilitatea utilizării acestora în proceduri și practici organizaționale de îmbunătățire a calității la nivel instituțional (e.g. exercițiile de tip benchmarking). În contextul diferitelor procese de colectare sistematică de date empirice de la nivelul universităților derulate la nivelul sectorului educației superioare românești, documentul pune accent pe relația de complementaritate dintre demersurile ARACIS de măsurare externă a gradului de asigurare a calității educației superioare și alte demersuri naționale similare, precum exercițiul de clasificare a universităților și ierarhizare a programelor de studii sau exercițiul de evaluare a calității cercetării științifice.
Activitatea comisiilor de elaborare a indicatorilor de referinţă pentru domenii de studii
În cadrul acestei subactivități (desfășurate în primul an al proiectului) au fost analizate noile propuneri de indicatori generali şi au fost elaborate propuneri de modificare a acestora; de asemenea, au fost elaborate listele primare cu indicatori de referinţă pentru cele 10 domenii de studii selectate. Activitatea experților din cadrul acestor comisii a stat la baza următoarei subactivități, „Simularea aplicării indicatorilor selectaţi şi formularea indicatorilor de performanţă”. Documente-suport pentru activitatea comisiilor de experți:
• Implementarea noilor indicatori de referinţă
• Descriere a indicatorilor terţiari
• Sistemul de credite în învățământul superior
Simularea aplicării indicatorilor
În cadrul acestei subactivități:
- a fost simulată aplicarea noii propuneri de fișă a vizitei pe universitățile evaluate extern în această perioadă;
- au fost perfecționate listele cu indicatori terțiari, precum și secţiunile distincte ale fişelor vizitei (privind cerinţele normative obligatorii, respectiv standardele şi indicatorii de performanţă) pentru autorizarea/acreditarea programelor de studii, fiind simulată aplicarea acestora la nivelul unor diferite programe de studii.
Perfecționarea fișei vizitei pentru autorizarea / acreditarea programelor de studii s-a bazat o selecţie din rândul indicatorilor experimentali propuşi în cadrul Proiectului, indicatori propuşi pentru utilizare în vederea elaborării unei fişe pentru vizitele de evaluare privind acreditarea instituţională. Selecţia a fost făcută pornind de la denumirea indicatorilor actuali existenţi în metodologia folosită de ARACIS pentru evaluarea instituţională. S-a sugerat adăugarea altor indicatori din propunerea de indicatori, sau completarea cu indicatorii terţiari, specifici domeniilor de studii.
Perfecționarea indicatorilor terțiari a avut ca obiectiv colectarea acelor date considerate relevante pentru domeniul de studii, care să poată fi obiectiv măsurate şi să producă în final o evaluare clară a unui anumit program de studii. În acelaşi timp, s-a avut în vedere o corelare a indicatorilor terţiari cu cei primari şi secundari, necesară pentru a asigura o coerenţă internă a procesului de evaluare. De asemenea, perfecţionarea a urmărit și stabilirea unei concordanțe între indicatori și competențele obținute în urma programelor de studii.
În urma pilotării şi a feedbackului obținut în acest mod, pentru fiecare dintre comisiile pe domenii de studiu a fost elaborat câte un „Raport final privind elaborarea şi pilotarea indicatorilor terţiari” (rapoarte conținând propuneri finale pentru fișele de autorizare/acreditare de programe). Fiecare dintre acest documente a urmărit un model prestabilit, cu următoarea structură:
- Precizări generale: principalele puncte vulnerabile identificate la nivelul standardelor specifice supuse modificării; principalele noutăți introduse de comisie, prin intermediul indicatorilor terțiari, cu privire la evaluarea programelor de studii aferente domeniului/domeniilor avut/avute în vedere; principalele consecințe/efecte pe care comisia le urmărește, prin propunerea listei de indicatori terțiari la nivelul evaluării programelor de studii aferente domeniului/domeniilor avut/avute în vedere;
- Analiza feedbackului (prezintă principalele observații legate de pilotarea fișelor de indicatori terțiari, la nivelul programelor de licență și masterat, concentrându-se pe nivelul variabilelor care au înregistrat probleme de măsurare; discută reacțiile care au venit din partea universităților la nivelul cărora a fost pilotată fișa de indicatori terțiari);
- Considerații finale cu privire la procesul de evaluare și asigurare a calității (relevă limitele listei de indicatori terțiari propuse; indică aspectele ce țin de calitatea programelor de studii universitare (aferente domeniului / domeniilor avute în vedere) despre care comisia consideră că vor rămâne în afara ariei de acțiune a indicatorilor terțiari propuși; face referiri la principalele dificultăți anticipate în procesul de aplicare a noilor indicatori terțiari; discută procesul de evaluare și asigurare a calității în contextul Legii Educației Naționale nr. 1/2011 și a Exercițiului Național de Evaluare în vederea clasificării universităților și ierarhizării programelor de studii).
La final, a fost elaborat un Raport Final conținând recomandările şi anexe cu domeniile de specializare analizate. Raportul reunește, într-o formă sintetizată, principalele recomandări făcute de comisiile de experți reunite în cadrul proiectului. Forma de prezentare a recomandărilor este structurată în așa fel încât să acopere atât limitele seturilor de indicatori terțiari specifici domeniilor de specializare analizate, cât și corespondența acestora cu sistemul de indicatori instituționali. De asemenea, raportul prezintă în format tabelar principalele categorii de feedback primite din partea programelor de studii universitare la nivelul cărora indicatorii terțiari au fost simulați.
Analiza spațiilor de variație, validarea indicatorilor propuși și elaborarea unui raport de benchmark
În cadrul acestei subactivități desfășurate în ultimul an al proiectului, a fost elaborat un raport de benchmarking conținând analiza spațiilor de variație pentru indicatorii propuși și validați.
Documentul raportează rezultatele primului exercițiu de benchmarking pe baze de date realizat la nivelul sectorului educației superioare din România. Rezultatele servesc mai multor finalități:
a) oferă o imagine generală cu privire la profilul instituțional pe care îl dețin 43 de universități publice și particulare;
b) oferă informații cu privire la modul în care valorile înregistrate la nivelul universităților analizate variază pe diferite spații asociate unui ansamblu destul de larg de variabile și indicatori referitori la procesul de asigurare a calității;
c) oferă o procedură pe care universitățile ce fac parte din sistemul de învățământ superior o pot folosi în direcția proiectării unor strategii personalizate de îmbunătățire a calității educației superioare pe care o furnizează.
Datele empirice găzduite în cadrul acestui raport au fost colectate folosindu-se ca și instrument o fișă instituțională a vizitei compusă din trei categorii de variabile (i.e. input, proces și ieșire). Aceste variabile au fost obținute în urma operaționalizării standardelor cu privire la asigurarea calității existente în actuala metodologie de evaluare ARACIS.
