Oblany egzamin ze sprawdzania matur (transmisja konferencji prasowej)

12 godzin temu

W latach 2021–2024 system sprawdzania i oceny egzaminów maturalnych nie działał tak, jak powinien, przez co oceny z tych egzaminów nie zawsze były obiektywne i sprawiedliwe. Co piąty egzaminator Okręgowej Komisji Egzaminacyjnej (OKE) w Poznaniu popełniał błędy merytoryczne w ocenie prac maturalnych, a od 10% do 18% egzaminujących popełniało błędy techniczne. W OKE w Poznaniu 40% wniosków o weryfikację wyniku egzaminu maturalnego kończyło się jego podwyższeniem i koniecznością zmiany świadectwa dojrzałości. W całym kraju dotyczyło to 25% takich przypadków. Dla wielu maturzystów zaniżenie oceny mogło oznaczać straconą szansę na studia. Pomimo przygotowania organizacyjnego obu jednostek do realizacji ich zadań, podejmowane działania nie spowodowały wyeliminowania lub znacznego zminimalizowania występowania błędów w wynikach egzaminów. Zawiódł też system szkolenia egzaminatorów, który nie przygotował ich odpowiednio do prawidłowego sprawdzania i oceniania prac.

Konferencja prasowa prezentująca wyniki kontroli "System sprawdzania i oceniania egzaminów maturalnych w latach 2021−2024"

Transkrypcja wideo w opracowaniu

Delegatura NIK w Poznaniu przeprowadziła kontrolę doraźną dotyczącą systemu sprawdzania i oceniania egzaminów maturalnych w latach 2021-2024. Skontrolowano Centralną Komisję Egzaminacyjną w Warszawie i Okręgową Komisję Egzaminacyjną w Poznaniu, obejmującą zakresem działania obszar województw: zachodniopomorskiego, lubuskiego i wielkopolskiego. Poznańska OKE pod względem zasięgu terytorialnego obejmuje największy okręg w kraju i realizuje zadania dotyczące około 15% ogólnej liczby maturzystów.

NIK, analizując liczne doniesienia prasowe o błędach w ocenianiu prac maturalnych, interwencje Rzecznika Praw Obywatelskich, interpelacje poselskie i wpływające do Izby skargi, uznała za zasadne zbadanie tego problemu.

Brak adekwatnej identyfikacji ryzyka wystąpienia błędów

Dyrektor CKE w ramach nadzoru wprowadził co prawda procedury sprawdzania i oceniania egzaminów maturalnych, jednak przewidziane w nich działania nie były w pełni skuteczne. Z kolei w OKE w Poznaniu nie zapewniono skutecznych mechanizmów pozwalających na wyeliminowanie lub istotne zminimalizowanie skutków błędów popełnianych przez egzaminatorów. W efekcie, pomimo przygotowania organizacyjnego obu jednostek do realizacji ich zadań, nie doszło ani do poprawy jakości oceniania prac, ani do ograniczenia skali i zakresu tych błędów.

Należy zauważyć, iż w CKE nie identyfikowano ryzyk w odniesieniu do nadzoru nad prawidłowością realizacji zadań z zakresu sprawdzania i oceniania egzaminów maturalnych przez OKE, ani do nadzoru nad realizacją zadań zapewniających porównywalność wyników egzaminów maturalnych. Natomiast w prowadzonym przez OKE w Poznaniu rejestrze ryzyk w każdym roku identyfikowane było ryzyko wystąpienia błędów merytorycznych lub technicznych popełnianych przez egzaminatorów w czasie sprawdzania i oceniania prac egzaminacyjnych. Poziom ryzyka określany był niezmiennie jako umiarkowany a przeciwdziałanie miało stanowić formę reakcji na ryzyko, jednak w praktyce podejmowane na tej podstawie działania nie ograniczały skutecznie skali i zakresu błędów w ocenianiu.

System szkolenia egzaminatorów do poprawki

System szkolenia egzaminatorów z zasad oceniania nie zapewniał ich wystarczającego przygotowania do prawidłowego sprawdzania i oceniania prac. Pomimo wprowadzonych procedur w latach 2021-2024 wzrastał odsetek egzaminatorów OKE w Poznaniu popełniających błędy merytoryczne przy ocenianiu zadań, ujawnione w wyniku weryfikacji na wniosek zdającego.

Okręgowa Komisja Egzaminacyjna w Poznaniu podejmowała działania w celu zapewnienia kadr do sprawdzania i oceniania prac egzaminacyjnych. Zawierano z egzaminatorami umowy określające zakres ich obowiązków oraz wysokość wynagrodzenia (egzaminatorzy nie są pracownikami okręgowych komisji egzaminacyjnych w rozumieniu Kodeksu pracy).

W dniu poprzedzającym sprawdzanie prac OKE w Poznaniu organizowała przeszkolenie egzaminatorów, którego przedmiotem było stosowanie zasad oceniania rozwiązań zadań zawartych w arkuszach egzaminacyjnych z danego przedmiotu i w danym roku. Na zakończenie uczestnicy szkolenia, w ramach ćwiczenia kontrolnego, oceniali przykładowe rozwiązania. Wyniki tych ćwiczeń wykazały, iż egzaminatorzy mieli trudności z prawidłowym stosowaniem reguł oceniania zadań z arkuszy maturalnych.

Na przykład w 2023 roku w dwóch zadaniach z biologii, będących elementem szkolenia, rozwiązania zostały błędnie ocenione przez 59% i 56% egzaminatorów. Rok później największe rozbieżności punktacji z oceną wzorcową miały miejsce w ocenie zadania z wiedzy o społeczeństwie – 26% i z języka angielskiego – 24%. Należy podkreślić, iż już kolejnego dnia egzaminatorzy ci przystępowali do sprawdzania prac maturalnych według tych samych zasad oceniania.

Podwójna weryfikacja oceny 10% prac

W latach 2021-2024, w ramach bieżącego monitorowania jakości oceniania, co dziesiąty arkusz egzaminacyjny był ponownie sprawdzany podczas pracy egzaminatorów (w przypadku stwierdzenia błędu zmieniano wynik egzaminu). Mimo iż mechanizm pozwalał na zidentyfikowanie i skorygowanie znacznej liczby błędnych ocen jeszcze przed ogłoszeniem wyników, nie wpłynęło to na zmniejszenie skali nieprawidłowo ocenionych prac, ujawnionych dopiero wskutek weryfikacji na wniosek zdających.

Aby ograniczyć skalę błędów podczas oceniania prac maturalnych, w każdym zespole wyznaczano egzaminatora-weryfikatora. Do jego zadań należało sprawdzenie i ocena prac wskazanych przez przewodniczącego zespołu egzaminatorów, które zostały już wcześniej sprawdzone i ocenione.

W latach 2021-2024 ponownemu sprawdzeniu przez egzaminatora-weryfikatora poddano nie więcej niż 10% wszystkich ocenionych wcześniej prac, co wynikało z procedur. Dodatkowo stosowano mechanizmy, które przy zachowaniu powyższego progu pozwalały na zwiększenie liczby prac poddanych przynajmniej częściowej weryfikacji poprzez wprowadzenie:

  • trzech rodzajów weryfikacji (wstępnej, bieżącej oraz technicznej);
  • możliwości sprawdzania przez egzaminatora-weryfikatora prac w całości bądź w zakresie wybranych zadań;
  • możliwości weryfikowania przez ekspertów OKE liczby punktów przed terminem wydania zdającym dokumentów.

Przyjęty próg weryfikacji pozwalał wprawdzie na ujawnienie i skorygowanie, jeszcze przed ogłoszeniem wyników egzaminów, przynajmniej części błędów popełnianych przez egzaminatorów, jednak nie spowodował zmniejszenia skali i zakresu nieprawidłowych ocen.

W OKE w Poznaniu w wyniku weryfikacji co dziesiątej pracy ocenionej przez egzaminatora stwierdzono błędy w ocenie skutkujące koniecznością korekty wyniku egzaminu z biologii choćby w 54% sprawdzanych ponownie prac – z geografii w 27% a z chemii w 26%.

Opis grafiki

Błędy w ocenianiu ujawnione w OKE w Poznaniu po ponownym sprawdzeniu przez egzaminatora-weryfikatora co dziesiątej pracy

Opis w opracowaniu.

Źródło: opracowanie własne NIK

Nieskuteczna weryfikacja techniczna

W Okręgowej Komisji Egzaminacyjnej w Poznaniu liczba egzaminatorów, którzy popełnili błędy techniczne skutkujące nieprawidłową oceną prac w latach 2021-2024 wynosiła: 411, 391, 630 i 322, co stanowiło od 10% do 18% wszystkich egzaminatorów oceniających prace. Błędy zostały ujawnione i wyjaśnione podczas procesu skanowania kart (czyli po zakończeniu prac zespołu egzaminatorów, a przed ogłoszeniem wyników egzaminów) i polegały na niekompletności zaznaczeń liczby punktów za rozwiązanie poszczególnych zadań na karcie odpowiedzi. Niestety, nie wszystkie błędy techniczne popełnione przez egzaminatorów były identyfikowane na tym etapie. W przypadku, gdy egzaminator zaznaczył na karcie odpowiedzi liczbę punktów za rozwiązanie zadania niezgodną z liczbą punktów w arkuszu, błędy ujawniano dopiero w wyniku weryfikacji na wniosek zdającego. Skutkowało to koniecznością zmiany wyniku egzaminu i wymianą świadectwa.

Błędy techniczne skutkujące nieprawidłową oceną prac występowały, pomimo że zgodnie z procedurą oceniania egzaminatorzy pracowali w zespołach i zobowiązani byli do podwójnej technicznej weryfikacji oceny prac. Czynności te miały być realizowane przez każdego egzaminatora w odniesieniu do sprawdzanych przez niego prac, a następnie przez kolejnego egzaminatora w ramach wzajemnej weryfikacji technicznej.

Matury ogólnopolskie – co czwarta praca nieprawidłowo oceniona

W latach 2021-2024 (dane za 2024 r. obejmują okres od stycznia do listopada) prawie dwukrotnie wzrosła liczba wniosków o wgląd do pracy maturalnej (z 32 tys. do 53 tys.) oraz wniosków o weryfikację sumy punktów (z 9 tys. do 16 tys.). W tym okresie liczba zdających egzamin zmniejszyła się z 360 do 308 tys. osób.

W wyniku weryfikacji na wniosek zdających stwierdzono, iż co czwarta praca w skali kraju została nieprawidłowo oceniona i konieczna była wymiana świadectwa dojrzałości. Liczba takich prac wynosiła w latach 2021 – 2024 odpowiednio: 2 309, 2 637, 3 878 i 3 457. Warto zaznaczyć, iż dane o błędach dotyczą tylko prac ponownie sprawdzanych, tj. około 1% wszystkich prac z różnych przedmiotów. Może to oznaczać, iż faktyczna skala nieujawnionych błędów w wynikach egzaminów jest o wiele większa.

Najwięcej ujawnionych błędów, powodujących podwyższenie wyniku o ponad 20 punktów dotyczyła 52 prac, w większości z języka polskiego (30 prac). Oznaczało to zmianę wyniku egzaminu na świadectwie dojrzałości choćby o 50 punktów procentowych. Spośród dokonanych zmian sumy punktów najwięcej dotyczyło egzaminu z biologii (758, 656, 913 i 781 prac), chemii (372, 462, 676, 651) i języka polskiego (514, 660, 986, 807).

Opis grafiki

Odsetek pozytywnie rozpatrzonych wniosków o weryfikację

Opis w opracowaniu.

Źródło: opracowanie własne NIK

W Poznaniu gorzej niż średnia krajowa

Kontrola NIK wykazała, iż statystyki w OKE w Poznaniu dotyczące prac wymagających wymiany świadectwa dojrzałości z powodu błędu w ocenie są znacznie gorsze od średniej krajowej, bowiem w okresie objętym kontrolą pozytywnie rozpatrzono tam ok. 40% wniosków o weryfikację wyniku egzaminu z wszystkich przedmiotów, przy czym w 2023 r. było to aż 45%. Oznacza to, iż niemal w co drugim wniosku maturzysta zasadnie zakwestionował wynik egzaminu. Najwięcej zmian dotyczyło w latach 2021-2024 egzaminu z biologii (273, 208, 284 i 301), chemii (124, 183, 213 i 231) i języka polskiego (99, 136, 329 i 334).

Opis grafiki

Odsetek pozytywnie rozpatrzonych wniosków o weryfikację w OKE w Poznaniu

Opis w opracowaniu.

Źródło: opracowanie własne NIK

Szczególnie niepokojący był odsetek pozytywnie rozpatrzonych wniosków z biologii i z chemii. Warto zaznaczyć, iż uzyskanie wysokiej punktacji z tych przedmiotów jest istotne w kontekście rekrutacji na niektóre kierunki studiów, np. lekarski lub dentystyczny, a zaniżenie zdającemu - choćby o jeden czy dwa punkty - wyniku egzaminu może zdecydować o jego nieprzyjęciu na studia.

Nawet co piąty egzaminator popełniał błędy merytoryczne przy ocenianiu

W latach 2021-2024 w OKE w Poznaniu podwoił się odsetek egzaminatorów popełniających błędy merytoryczne w ocenianiu zadań (z 10% w 2021 r. przez 11%, 19% aż do 20% w 2024 r.). Przykładowo, w 2023 r. wśród 3 591 egzaminatorów sprawdzających prace maturalne, 664 wystawiło błędne oceny. Warto podkreślić, iż błędy zostały ujawnione dopiero w wyniku weryfikacji dokonywanej na wniosek zdających, co skutkowało koniecznością wymiany świadectw dojrzałości. W szczególności, wśród egzaminatorów z biologii, co najmniej jeden błąd popełniło od 60% do 75% sprawdzających, a z chemii odpowiednio od 46% do 78% (czyli choćby 106 spośród 136 egzaminatorów nieprawidłowo oceniało zadania egzaminacyjne).

Pomimo tak dużej skali błędów, blisko 98% ankietowanych egzaminatorów twierdziło, iż ocenianie zadań z arkuszy egzaminacyjnych nie sprawiało im trudności merytorycznych, a zdaniem 90% zasady oceniania zadań były zrozumiałe, jednoznaczne i łatwe do interpretacji i stosowania.

Problem błędów merytorycznych w ocenach egzaminów nasilał się, pomimo realizacji w OKE w Poznaniu działań przewidzianych w procedurach, tj. informowania egzaminatora o popełnionych błędach, ćwiczeń doszkalających, a choćby wykreślenia danego egzaminatora z ewidencji egzaminatorów. W latach 2021-2024 dokonano 9 takich wykreśleń, w których przyczyną było nieprzestrzeganie przepisów dotyczących przeprowadzania egzaminu maturalnego lub zasad oceniania rozwiązań zadań. Eksperci OKE stwierdzili, iż egzaminatorzy ci błędnie ocenili od 55% do 94% prac objętych weryfikacją. Przykładowo, egzaminator z języka polskiego na 69 zweryfikowanych prac w 65 popełnił błąd, a z biologii - odpowiednio w 46 na 51 prac.

Należy zauważyć, iż obowiązujący system prawny umożliwia zmianę błędnego wyniku egzaminu maturalnego wyłącznie w sytuacji, gdy zawnioskuje o to zdający. Natomiast w przypadku, gdy po ogłoszeniu wyników egzaminów, kontrola jakości pracy egzaminatorów przez ekspertów OKE wykaże błędy w ocenach, to świadectwa dojrzałości nie zostaną skorygowane.

Nieoptymalne terminy wglądu do prac maturalnych

Pomimo skokowego wzrostu zainteresowania uzyskaniem wglądu do prac egzaminacyjnych (z 32 tys. do 53 tys.) Dyrektor CKE nie ustalił zasad umożliwiających zapewnienie uzyskania wglądu jak największej liczbie zainteresowanych w optymalnym terminie. Nie zobowiązał również dyrektorów OKE do ulepszenia procesu udostępniania prac. Tymczasem data wglądu do pracy ma najważniejsze znaczenie dla zdającego, ponieważ rozpoczyna bieg ustawowych terminów obowiązujących w procedurze weryfikacji sumy punktów i odwołania od wyniku tej weryfikacji w sytuacji, gdy zdający kwestionuje uzyskaną ocenę.

Opis grafiki

Procedura wglądu do pracy, weryfikacji sumy punktów i odwołania od wyniku egzaminu maturalnego

Opis w opracowaniu.

Źródło: opracowanie własne NIK

Zorganizowany w OKE w Poznaniu tryb wglądu do prac poprzez wyznaczanie odległych terminów mógł zakłócać maturzystom udział w procesie rekrutacyjnym (na 6 933 wniosków złożonych w 2024 roku w pierwszym tygodniu po ogłoszeniu wyników egzaminów, w 43% przypadków wyznaczono termin wglądu na sierpień). Mógł powodować, iż zdający, których prace zostały błędnie ocenione i konieczne było przeprowadzenie procedury weryfikacji i ewentualnie odwołanie od jej wyniku, uzyskiwali poprawione świadectwa dojrzałości we wrześniu czy październiku, czyli już po zakończeniu rekrutacji na studia w terminie podstawowym, a niekiedy choćby po rozpoczęciu roku akademickiego.

Rosnąca liczba wniosków o wgląd, przy zastosowaniu dotychczasowych procedur, mogła zakłócać proces rekrutacji kandydatów na studia. Przykładowo, w latach 2021-2024 w Pomorskim Uniwersytecie Medycznym w Szczecinie łącznie 960 osób ubiegało się o przyjęcie na studia po podwyższeniu wyniku egzaminu maturalnego w związku z ujawnieniem błędu w ocenie, a w Uniwersytecie Medycznym w Poznaniu było to 780 osób. Z kolei w Gdańskim Uniwersytecie Medycznym na kierunku lekarskim udział kandydatów ze zmienioną punktacją w stosunku do wszystkich aplikujących wynosił od 2,6% do 3,3%.

Rekrutacja uzupełniająca nie wyrówna szans kandydatów na studia

Rekrutacja uzupełniająca dla osób, których wynik egzaminu maturalnego został podwyższony po weryfikacji sumy punktów lub odwołaniu – czyli przyjęte w ustawie Prawo o szkolnictwie wyższym i nauce rozwiązanie w praktyce nie zabezpieczało zdających w pełni przed negatywnymi skutkami błędów popełnianych przez egzaminatorów. Wynikało to z faktu, iż uczelnie wprawdzie uwzględniały w swoich procedurach mechanizmy umożliwiające wzięcie udziału w rekrutacji kandydatom, którzy uzyskali w wyniku weryfikacji lub odwołania poprawione wyniki egzaminów maturalnych, jednak w wielu przypadkach były to rozwiązania obciążone tak istotnymi ograniczeniami, iż w praktyce pozycja tych kandydatów była znacząco mniej korzystna niż pozostałych osób biorących udział w rekrutacji. Na przykład rekrutacja uzupełniająca organizowana była pod warunkiem, iż w rekrutacji podstawowej limit miejsc na danym kierunku nie został wypełniony. W innej uczelni w przypadku zakończenia rekrutacji z powodu wyczerpania limitu miejsc przed dniem złożenia wniosku, kandydat nie mógł zostać zakwalifikowany, choćby jeżeli po podwyższeniu jego punktacja znalazłaby się nad progiem. Zdarzało się również, iż kandydat mógł wnioskować o uwzględnienie podwyższonych wyników egzaminów w trybie odwołania do rektora uczelni, a termin na złożenie odwołania wynosił 14 dni od otrzymania decyzji o odmowie przyjęcia na studia albo iż udział w rekrutacji uzupełniającej mogły wziąć wyłącznie osoby, które zarejestrowały się i brały udział w rekrutacji podstawowej.

Nakłady rosną a jakość oceniania spada

W latach 2021-2024 wydatki na funkcjonowanie systemu egzaminów maturalnych wzrosły z 75,5 mln zł przez 79,9 mln zł, 84 mln zł do 105,7 mln zł, w tym wydatki dotyczące samego procesu sprawdzania i oceniania prac kształtowały się odpowiednio: 61,5 mln zł, 65,4 mln zł, 70,2 mln zł i 87,3 mln zł. Największe kwoty wydatkowano na wynagrodzenia egzaminatorów – w kolejnych latach było to 54,2 mln zł, 56,7 mln zł, 59,8 mln zł i 77 mln zł. Pozostałe wydatki dotyczące sprawdzania i oceniania prac maturalnych obejmowały między innymi wynajem pomieszczeń czy wsparcie administracyjne. Liczba arkuszy maturalnych do sprawdzenia zmalała natomiast w tym okresie z 1,7 mln do 1,3 mln.

Wysokie i rosnące koszty utrzymania systemu egzaminów zewnętrznych wskazują na konieczność sprawdzenia jego efektywności, rozumianej jako zapewnienie rzetelnych, sprawiedliwych i obiektywnych wyników egzaminów maturalnych. Tymczasem do jakości oceniania matur zgłaszano uzasadnione uwagi i zastrzeżenia, które stały się powodem przeprowadzenia przez NIK kontroli. Jej wyniki wykazały, iż w latach 2021-2024 sytuacja nie uległa poprawie, co więcej – systematycznie się pogarszała. Nie pomogło choćby podniesienie w 2024 roku wynagrodzenia egzaminatorom o 30%, choć ponad połowa ankietowanych egzaminatorów wskazywała, iż to właśnie niskie stawki wynagrodzenia mają wpływ na jakość oceniania.

Wnioski

Do Dyrektora Centralnej Komisji Egzaminacyjnej:

  • o wzmocnienie nadzoru nad realizacją zadań dotyczących sprawdzania i oceniania egzaminów maturalnych przez okręgowe komisje egzaminacyjne, w tym zwiększenie skuteczności eliminowania błędów w ocenianiu prac przed ogłoszeniem wyników egzaminów.

Do Dyrektora Okręgowej Komisji Egzaminacyjnej w Poznaniu:

  • o prowadzenie rzetelnej analizy ryzyk związanych z procesem sprawdzania i oceniania prac egzaminacyjnych, w szczególności w zakresie ich poziomu oraz podjęcia działań zmierzających do skutecznego ograniczenia skali i zakresu błędów popełnianych przez egzaminatorów w OKE w Poznaniu.

-->
Idź do oryginalnego materiału