Perícia aponta falhas na metodologia de pontuação do Enem 2016

Estudo técnico identifica fragilidades no Enem 2016

Uma análise técnica detalhada realizada no Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) identificou importantes fragilidades no Enem 2016, especificamente no método utilizado para a pontuação das avaliações. O relatório da perícia, encomendado pelo Ministério Público Federal (MPF) em Uberlândia, Minas Gerais, questionou se as diferenças significativas na quantidade de candidatos entre as duas edições afetaram os resultados finais das provas.

Contexto das duas aplicações em 2016

Em 2016, o Enem foi aplicado em duas ocasiões distintas devido ao movimento de ocupações estudantis que eclodiu em escolas públicas de 23 estados e no Distrito Federal. A primeira aplicação ocorreu nos dias 5 e 6 de novembro, contando com a participação de aproximadamente 5,8 milhões de candidatos. Cerca de um mês depois, em 3 e 4 de dezembro, realizou-se a segunda aplicação, que reuniu menos de 170 mil participantes.

Essa significativa disparidade no número de inscritos despertou preocupações entre educadores e órgãos públicos sobre a possível influência dessa diferença nos critérios de avaliação e nas notas finais dos examinandos. O Ministério da Educação havia garantido que haveria igualdade nas avaliações, independentemente do período em que os candidatos realizassem as provas.

Detalhes da análise técnica

O perito responsável pela análise foi Tufi Machado Soares, professor do Departamento de Estatística e coordenador da Unidade de Pesquisa do Centro de Políticas Públicas e Avaliação da Educação (Caed) da Universidade Federal de Juiz de Fora. Soares possui vasta experiência em Teoria da Resposta ao Item (TRI), a metodologia específica empregada no Enem para cálculo das notas. Sua expertise inclui participação anterior no conselho científico do próprio exame.

O laudo produzido, com 207 páginas de análise técnica detalhada, resultou do acesso a informações confidenciais armazenadas no Inep. O documento identificou quatro pontos principais de fragilidade no processo de pontuação utilizado para o Enem 2016, listados conforme sua importância relativa:

Principais fragilidades identificadas

O primeiro ponto refere-se à quantidade insuficiente de itens comuns previamente calibrados nos pré-testes e utilizados na prova regular do Enem. Esse aspecto é crucial para garantir a equivalência entre diferentes versões de um exame, pois itens de referência permitem comparações válidas entre grupos distintos.

Em segundo lugar, o laudo aponta o tamanho inadequado de algumas amostras de calibração utilizadas nos pré-testes preparatórios. Amostras pequenas podem não representar adequadamente a população de candidatos, comprometendo a confiabilidade dos ajustes estatísticos.

O terceiro ponto diz respeito à precisão com que os resultados do Enem são comunicados ao público. O perito apontou deficiências na forma como os dados são reportados, sem transparência suficiente sobre as margens de erro e limitações técnicas das medições.

Por fim, o quarto ponto identificado é a ausência de informações adequadas ao público sobre a qualidade dos testes aplicados e das medidas estatísticas utilizadas para produzir as notas finais.

Análise comparativa entre disciplinas

A perícia revelou padrões distintos de equivalência entre as duas aplicações, variando conforme a disciplina avaliada. Nas provas de Ciências Humanas e Ciências da Natureza, ambos os testes apresentaram níveis similares de precisão em praticamente todos os níveis de proficiência medidos, indicando certa equivalência, embora a segunda aplicação de Ciências da Natureza tenha se mostrado ligeiramente mais acessível.

Contudo, diferenças mais pronunciadas foram observadas em Linguagens e Códigos e em Matemática. Na disciplina de Linguagens e Códigos, os candidatos da primeira aplicação apresentaram vantagem em relação aos da segunda. Inversamente, na Matemática, foram os candidatos da segunda aplicação que tiveram desempenho comparativamente melhor. As menores disparidades entre as duas edições ocorreram em Ciências da Natureza.

Limitações da análise

Apesar das descobertas relevantes, o perito ressalvou que não é viável realizar análises de comparabilidade para todos os casos individualmente nas dimensões do Enem. Segundo Soares, cada situação específica necessitaria de exame individualizado, o que provavelmente não resultaria em conclusões definitivas na maioria dos cenários avaliados.

O perito também apresentou sugestões de melhorias na forma como as provas são elaboradas e divulgadas publicamente, recomendações que apontam para uma necessidade de maior transparência e rigor metodológico nos processos futuros do exame nacional.

Posicionamento do Inep sobre a perícia

O Inep respondeu às conclusões da perícia através de comunicado oficial, afirmando que ainda não havia sido notificado formalmente sobre os resultados da análise técnica. O instituto ressaltou que conta com consultoria de diversos especialistas reconhecidos em análise estatística e psicométrica de avaliações em larga escala, e expressou confiança total na metodologia adotada desde 2009, reconhecida tanto em âmbito nacional quanto internacional.

Em sua nota, o Inep caracterizou o laudo como "uma opinião isolada", independentemente de seu conteúdo técnico, posicionando-se defensivamente diante das críticas levantadas pela perícia encomendada pelo Ministério Público.

Próximas etapas do processo

O procurador Leonardo Macedo, responsável pelo inquérito civil que investiga possíveis irregularidades no Enem 2016, informou que encaminhou os resultados da perícia tanto para o Inep quanto para os estudantes que manifestaram ter sido prejudicados pelas notas obtidas. Macedo destacou que o laudo é extenso e não apresenta uma conclusão única e definitiva.

O procurador explicou que o procedimento seguirá etapas deliberadas: primeiramente, todos os interessados receberão a perícia e terão prazo para sua análise; posteriormente, será marcada uma audiência pública onde diferentes perspectivas sobre o assunto poderão ser apresentadas; finalmente, após ouvir todos os envolvidos, o Ministério Público Federal decidirá sobre as medidas apropriadas a serem tomadas.

Segundo o MPF, ainda não há data definida para a realização dessa audiência pública. Macedo sinalizou cautela na abordagem, mencionando estar "lidando com um elefante de porcelana", e indicando que as possíveis ações futuras podem incluir indenizações, revisão de notas de estudantes ou outras alternativas, todas a serem definidas após o procedimento público de discussão e análise técnica completa.