Notas e acertos na prova do ENEM

TEORIA CLÁSSICA DOS TESTES (TCT) 

Esta teoria leva em conta apenas o resultado bruto do candidato, isto é, a nota final é proporcional ao número de acertos, ou ainda, pode ser calculada de forma padronizada, usando o auxílio de desvio padrão.

Este processo considera a prova na sua totalidade e não tem a perspectiva de comparar resultados em provas diferentes.  Na prova de qualificação da UERJ, um examinando que acertou mais que 42 questões das 60 aplicadas e obteve  conceito A, não pode ser comparado a um outro que em outra prova de qualificação também tenha obtido  um A porque as provas são diferentes.   O índice de dificuldade da prova está diretamente ligado ao resultado final.

Para exemplificar esta  afirmação, no quadro abaixo apresento a porcentagem por conceitos na 1ª prova de qualificação da UERJ 2016, realizada em junho de 2015.  Apenas 5,28% dos 39558 alunos acertaram mais que 42 questões e ainda 22,33%  dos candidatos estariam eliminados por tirarem conceito E, pois acertaram menos que 24 questões. Só para lembrar apenas está definitivamente eliminado do concurso o candidato que nos dois exames de qualificação acertar menos que 24 questões em cada etapa.

Em seguida o resultado da 1ª prova de qualificação de 2015, realizada em 2014.  Nesta avaliação 12% dos 39669 haviam acertado mais que 42 questões, ou seja, esta prova apresentou um nível de dificuldade menor que a do ano seguinte.  Isto também fica claro quando percebemos que 15,67% dos candidatos receberam o conceito E.

Apesar de praticamente o mesmo número de candidatos nas duas edições, o número de conceitos A no exame de qualificação da UERJ 2015 foi maior que o dobro do obtido no ano seguinte. Por este motivo não é possível comparar alunos com a mesma nota bruta, ou mesmo com o mesmo número de acertos em exames diferentes.  Este é um exemplo clássico da TCT.

TEORIA DE RESPOSTA AO ITEM

O INEP utiliza a Teoria da Resposta ao Item (TRI) com a proposta de poder comparar estudantes que fazem o ENEM em diferentes edições.

A TRI leva em consideração cada item, que é testado anteriormente e recebe uma chancela que leva em conta seu grau de dificuldade, o seu grau de discriminação e ainda o parâmetro de acertos ao acaso.

Portanto, é possível equilibrar uma prova considerando esses três parâmetros. O conteúdo do ENEM é construído a partir de matrizes de referência nas quadro áreas do conhecimento:

• Linguagens, códigos e suas tecnologias, que abrange o conteúdo de Língua Portuguesa (Gramática e Interpretação de Texto), Língua Estrangeira Moderna, Literatura, Artes, Educação Física e Tecnologias da Informação.
• Matemática e suas tecnologias.
• Ciências da Natureza e suas tecnologias, que abrange os conteúdos de Química, Física e Biologia.
• Ciências Humanas e suas tecnologias, que abrange os conteúdos de Geografia e História,

Matriz de Referência

O INEP discrimina em sua Matriz de Referência os cinco Eixos Cognitivos que devem ser de conhecimento dos alunos que chegam nesta etapa:

1 – Dominar Linguagens – Dominar a norma culta da língua portuguesa e fazer uso das linguagens matemática, artística e científica e das línguas inglesa e espanhola.

2 – Compreender fenômenos – Construir e aplicar conceitos das várias áreas do conhecimento para a compreensão de fenômenos naturais, de processos histórico-geográficos, da produção tecnológica e das manifestações artísticas.

3 – Entender situações-problema – Selecionar, organizar, relacionar, interpretar dados e informações, representados de diferentes formas, para tomar decisões e enfrentar situações-problemas.

4 – Construir Argumentações – Relacionar informações, representadas em diferentes formas, e conhecimentos disponíveis em situações concretas, para construir argumentação consistente.

5 – Elaborar propostas éticas – Recorrer aos conhecimentos desenvolvidos na escola para elaboração de propostas de intervenção solidária na realidade, respeitando os valores humanos e considerando a diversidade sociocultural

• Competências e Habilidades

Cada item do exame está ligado a uma habilidade, que faz parte de um grupo denominado competência e que está descrita na Matriz de Referência do INEP em cada área do conhecimento.  Os quadros abaixo apresentam as relações de competência e habilidade em cada área do Conhecimento.

Cada item da prova está relacionada a uma habilidade, como a prova é constituída de 45 itens uma habilidade pode não aparecer ou aparecer mais de uma vez.

Os gráficos abaixo apresentam a incidência de cada habilidade no exame de 2013 em cada prova.  Em cada quadro abaixo o eixo horizontal refere-se às habilidades, sempre num total de 30, e o eixo vertical a incidência da habilidade na prova.  O Inep ao divulgar os microdados dos alunos também divulga, num arquivo denominado itens do ENEM o código da questão no banco de dados do ENEM, a habilidade referente ao item e a posição na prova, que varia de acordo com a cor da prova.

• Distribuição dos alunos por acertos no ENEM 2013 no Rio de Janeiro.

Os alunos sempre especulam a respeito do seu resultado de acordo com o seu número de acertos, em regra geral estão baseados nos seus conhecidos, mas afinal como comparar se eles não conhecem todos os alunos. Os gráficos a seguir apresentam, no exame de 2013, no estado do Rio de Janeiro, os alunos distribuídos, de acordo com o nº de acertos, em cada área de conhecimento.

No eixo horizontal o número de acertos e no eixo vertical o número de examinandos das escolas do Estado do Rio de Janeiro.

É interessante verificar como os alunos se comportam em cada área.  Em Ciências Natureza grande parte dos alunos apresentam entre 10 e 20 acertos, em Ciências Humanas este número já seria entre 11 e 18, em Linguagens e códigos, entre 12 e 24 e em Matemática entre 7 e 15.

A TRI valoriza a coerência nas respostas dos alunos e neste caso quanto maior o número de alunos por acertos maior a variabilidade de respostas, por isso, também existe uma variação muito grande nas notas dos alunos. Analisando as diferentes notas dos alunos do Estado do Rio de janeiro em relação ao número de acertos podemos perceber em muitos casos a grande variação de nota para o mesmo escore. Da mesma forma, surpreende a muitos a mesma nota para uma variação grande do número de acertos.

• Pontuação mínima e máxima em cada área do conhecimento

Os gráficos abaixo apresentam em cada área do conhecimento em relação ao número de acertos dos alunos do Estado do Rio de Janeiro a maior e a menor notas atribuídas no exame do ENEM 2013.

O INEP espera coerência nas respostas, isto é, o aluno deve acertar as fáceis e as médias e se possível as difíceis, se um aluno acerta questões consideradas difíceis e erra as fáceis, segundo a TRI, não está sendo coerente, é o mesmo que conseguir pular um obstáculo de 1 metro e não pular obstáculos de 10 centímetros.

Em cada um dos gráficos acima sinalizo a maior e a menor nota de um aluno com 13 acertos, a diferença em matemática, por exemplo, chega a quase 300 pontos o que num vestibular é muito significativo. Da mesma forma observe que muitos alunos que acertaram até 10 acertos tiraram a mesma nota que os que erraram toda a prova.

Respondendo a pergunta do início, a sua nota no ENEM não depende exclusivamente do seu número de acertos, mas da sua coerência nas respostas, portanto, se dois candidatos acertam o mesmo número de questões o que for mais coerente nas suas respostas terá a maior nota.  Quanto maior for o número de acertos menor será a variabilidade de respostas e assim menor será a variação da nota.

A sua nota corresponderá ao seu Traço Latente ou à sua Proficiência, que significa o quanto, segundo a métrica do INEP ao utilizar a TRI, o aluno apresenta de conhecimento.

Este valor intrínseco  pode ser comparado, independente do grupo, do exame e até destes dos dois fatores, se for equilibrado adequadamente.  Mas este é um assunto para outra postagem.