29/01/2020

Falha do MEC: Questões do Enem não foram pré-testadas

O Ministério da Educação (MEC) deu explicações técnicas à Justiça para tentar comprovar que a falha na correção de 5.974 provas do Enem não teve "influência significativa" na nota de todos os candidatos. A justificatica resultou em decisão favorável à divulgação do resultado do Sistema de Seleção Unificada (Sisu).

A nota técnica também deixa claro que foram usadas questões que não haviam sido pré-testadas, algo que o Instituto Nacional de Estudos e Pesquisas Educacionais (Inep), responsável pela prova, não tinha explicado até então e que pode prejudicar a margem de erro do exame. O órgão também não divulgou os parâmetros de correção de cada questão, como solicitado pela Defensoria Pública da União (DPU), alegando se tratar de informações sigilosas.

Com a explicação do ministério, a Defensoria pediu a suspensão da liminar que barrava a continuidade do Sisu. No entanto, pediu em nova liminar que o MEC publique em seus sites oficiais, em até 24 horas, uma nota de esclarecimento com as justificativas apresentadas judicialmente, sob pena de multa diária de R$ 10 mil. Também pede que o ministério responda individualmente aos 172 mil participantes que pediram a recorreção de suas provas, mas que não tiveram nenhuma alteração nas notas.

A defensoria pedia que o MEC comprovasse "documentalmente" que a alteração das 5.974 provas não interferiu na nota das demais em razão da teoria da resposta ao item (TRI) - modelagem estatística usada no Enem e que atribui pesos diferentes para cada questão (são divididas em níveis de complexidade). O Inep disse que a calibragem é feita com uma amostragem de 100 mil participantes, número muito superior ao de provas com erros.

"Devido ao princípio da invariância e a pouca ocorrência de troca de gabarito da prova, não houve descaracterização da amostra, os parâmetros dos itens não sofreram influência significativa em sua calibração e as proficiências dos participantes continuam sendo estimadas com a mesma precisão", assegura a nota.

A nota técnica detalha ainda ter feito a recorreção de todas as 3,9 milhões para garantir que elas não tenham sofrido a mesma falha dos 5.974 candiatos. "A equipe de análise psicométrica da Cesgranrio também fez uma análise calculando a proficiência pela TRI para todos os participantes, considerando os 4 gabaritos possíveis".

Pré-teste

O fato de Inep ter mencionado que houve "calibragem" dos itens indica que houve questões na prova que não foram pré-testadas, algo que faz parte da TRI. O pré-teste é aplicado antes do exame verdadeiro a alunos de perfil semelhante para justamente identificar as características das questões, como por exemplo, se ela foi considerada fácil, média ou difícil. Segundo especialistas, o ideal é que uma prova feita por meio de TRI seja composta apenas dessas questões pré-testadas, para que depois seja calculada a nota do aluno com base nos parâmetros estabelecidos no pré-teste.

Para uma fonte do Ministério da Educação (MEC) ouvida pelo Estado, e que prefere não ter seu nome publicado, usar questões que não foram pré-testadas faz aumentar a o erro padrão do exame. Dessa maneira, eles precisam ser calibrados na própria prova, ou seja, é necessário identificar a partir dos resultados dos alunos que participam do Enem se as questões foram consideradas fáceis ou difíceis. Ele afirma que quando há gabaritos com problemas, como aconteceu este ano, essa calibragem fica toda prejudicada, já que é feita a partir das respostas que os candidatos em cada questão. "E para o Sisu isso é muito importante, uma mínima diferença na nota pode fazer ou não o aluno entrar em um curso de Medicina", diz.

O Inep tem o costume de usar questões que não foram pré-testadas porque o banco de itens é muito pequeno, um problema que se arrasta desde que o Enem se tornou um vestibular, em 2009. As questões hoje são elaboradas por professores de universidades federais, a pedido do governo, mas muitas não são consideradas boas suficientes para selecionar alunos ou tem outros tipos de problemas e precisam ser descartadas. A quantidade total de itens do banco é mantida em sigilo. 

Este ano, o governo Bolsonaro ainda criou uma comissão para identificar questões que tivessem "abordagens controversas com teor ofensivo a segmentos e grupos sociais, símbolos, tradições e costumes nacionais" e acabou barrando 66 itens.

Fonte: As informações são do jornal O Estado de S. Paulo.