Lucian Ancu publică un articol interesant în care compară distribuţia reală a rezultatelor la examene cu o distribuţie gaussiană. Premisele sale spun:

Absolut toata lumea se asteapta ca notele la un examen sa fie distribuite gaussian (am cautat intrarea in limba romana referitoare la distributia gausiana dar n-am gasit-o ). Aceste distributii nu sunt insa niciodata prezentate in conferintele de presa de dupa examene.

Apoi, dl Ancu încearcă să arate că distribuţiile ce pot fi deduse din datele Ministerului sunt în cel mai buna caz fragmente de curbe Gauss. Aici apare un indicator numit „grad de acoperire”: cât din curba gaussiană dedusă teoretic este exprimată în rezultatele oficiale. Unele dintre rezultate sunt abisale, dar Lucian Ancu eşuează în a explica ce măsoară acest indicator şi dacă măsoară cu adevărat ceva.

Dealtfel, nu este perfect clar care e scopul articolului. Dacă doreşte să arate că metoda de evaluare este intrinsec viciată, cred că autorul face o treabă foarte bună. Dacă încearcă să măsoare cât de viciată este proba, cred că eşuează.

Probleme

Există două puncte în care articolul poate fi atacat. Primul a fost observat de Lucian Davidescu, care spune că „adevărul este că rezultatele de la un examen se aşează pe curba Gauss doar în una din două situaţii: absolut întâmplător sau dacă examenul a fost calibrat în mod expres în aşa fel încât să ducă la o astfel de distribuţie”. Adevărul este puţin mai complex. Ideea că competenţele oamenilor se aşează pe curbe ale lui Gauss nu este o poveste aleatorie. Dar nu există o metodă inatacabilă de a defini notele de la 1 la 10 astfel încât distanţa între ele să fie în mod obiectiv egală. Dar este corect să spunem că o curbă Gauss se obţine mai degrabă prin calibrare. Ori, din câte ştim, bacalaureatul românesc nu a fost calibrat în acest scop.

Dar, chiar dacă un examen atent la diferenţele de valoare între elevi ar produce „natural” o distribuţie gaussiană, tot am avea o problemă prin faptul că, atunci când cobori ştacheta, ultimele note vor fi inevitabil supra-populate. Un elev de nota 10 ar putea rezolva itemi mai dificili, dar nu a avut ocazia. Folosind termeni din folclorul şcolar, am spune că unii dintre ei merită „nota 12”. Unii elevi de 9 ar rezolva cu siguranţă şi ei unii dintre itemii de dificultate superioară, aşa că merită „nota 11” etc. Altfel spus, jumătatea dreaptă a unei distribuţii normale se ridică sub presiunea elevilor foarte buni în acelaşi mod în care un munte se ridică sub presiunea plăcilor tectonice.

Distribuţii

Bun, paragrafele anterioare au fost poate excesiv de abstracte. Să intrăm în substanţa articolului dlui Ancu. Acesta porneşte de la următoarea distribuţie a notelor la matematică din municipiul Bucureşti.

… pentru a trage următoarele concluzii

E absolut evident ca Matematica Bucuresti nu poate fi decat „coada” unei distributii Gauss. […] Este absolut evident ca proba la Matematica (cel putin in Bucuresti) a fost extrem de usuoara si nu a produs in nici un fel efectul de departajare al candidatiilor.

… ilustrate de următorul grafic

După cum vedem, interpretând rezultatele ca fiind coada unei distribuţii Gauss, se ajunge la concluzia (sugestia?) că nota maximă a unui astfel de examen ar trebui să fie 70 pentru a reflecta în mod corect diferenţele de valoare. Dacă ne uităm atent, vedem că discrepanţa vine din faptul că avem foarte multe note de 9 şi 10. Ori, după cum spuneam mai sus, un examen uşor produce suprapopularea sistematică a notelor mari. Dacă adăugăm aici şi că examenele nu produc întotdeauna curbe gaussiene curate, putem spune – cred eu – că avem în faţă o extrapolare incorectă. O confirmare este dată de asimetria graficului. „Adevărata” curbă Gauss ar trebui să producă note cu minus!

Scenarii alternative

Să vedem cum ar arăta – speculativ – o distribuţie diferită de cea sugerată. Pentru a construi un asemenea scenariu speculativ, am „decis” că notele de 9 şi 10 sunt supra-evaluate, dar nota 8 sau cele mai mici nu. Totalul elevilor cu 10 şi 9 se ridică la aproximativ 5000. (Nu am accesat datele originale, ci doar am citit graficele cu ochiul liber, deci cifrele sunt aproximative). Am presupus un sistem alternativ de notare cu note de la 1 la … 14. şi am re-distribuit într-un mod foarte manual 2350 de elevi. Rezultatul arată aşa:

Trebuie spus că nu se poate dovedi în nici un fel, cu informaţia existentă, că scenariul de mai sus sau cel oferit de Lucian Ancu sunt false. Pentru asta ar trebui să luăm elevii şi să ii supunem unor serii de examene suplimentare. Scenariul meu este cumva mai plauzibil, pentru că ţine cont de supraestimarea numărului de elevi cu note mari. Dar puteam la fel de bine să imaginez un sistem cu note până la 16; ba chiar acesta ar fi produs un rezultat mai simetric. Totuşi, pentru acest scenariu (doar) plauzibil, merită să observăm că:

• 21% dintre studenţi sunt afectaţi în mod negativ. Ei ar fi putut beneficia de un examen mai dur, luând note maxime şi departajându-se de pluton. În formula actuală de examen, însă, ei sunt obligaţi să aibă note de 9 şi 10 mult sub-evaluate.

• Mediocritatea în sistemul românesc nu este dată de 5. Nota 5 este notă de trecere, adică minimul de supravieţuire. Dacă am avea un sistem de evaluare care produce distribuţii gaussiene ar trebui ca să se treacă examenul cu note de 2 sau 3. Mediocritatea, conform înţelepciunii populare, este dată de note din zona 6-7. Scenariul de faţă sugerează că elevii de 6-7 au luat de fapt 9-10, adică au primit trei puncte cadou de la minister.

Chiar şi sub acest scenariu, după cum vedeţi, stăm rău. Dar parcă elevii noştri nu mai suferă de acea tâmpenie abisală sugerată de grafice. (Folosesc ocazia să repet că nu  ştiu dacă dl Ancu chiar vrea să sugereze existenţa tâmpeniei abisale sau pur şi simplu a oferit prea puţine explicaţii. Dar percepţia graficelor înclină spre abisalitate.)

Concluzii

Chiar dacă nu are sens să aşteptăm o distribuţie normală curată, distribuţia reală trebuie să amintească măcar vag de un clopot. În partea stângă trebuie să avem puţine cazuri, căci sistemul filtrează înainte de bacalaureat notele sub 5. În partea dreptă, din nou, puţine cazuri, sugerând că, dacă se merge mai departe cu severitatea, nimeni nu va lua notă maximă. Când distribuţia rezultatelor tinde spre infinit, este clar că avem o evaluare incorectă.

Acestea fiind zise, cu greu putem măsura cât de eronat este examenul fără a supune un eşantion de elevi la examene alternative. Cu atât mai puţin o extrapolare a unor date pe care le ştim incorecte nu va produce rezultate credibile.

Probabil cel mai corect faţă de elevi ar fi să avem o notă de trecere de 4 sau chiar 3,5 şi o severitate a notării comparabilă cu cea pre-Funeriu. Astfel, sistemul ar continua să răsplătească elevii care prin muncă şi eforturi suplimentare ale părinţilor suplinesc slaba calitate a predării. În schimb elevii de la coadă ar primi recunoaşterea faptului că ei sunt mediocri şi nu tâmpiţi, dar sistemul de învăţământ îi împinge în jos.

Andrei Tiut

Acest articol apare în seria Apocalipsa se amână.