Quando provas precisam de provas
No mestrado, minha matéria favorita foi Psicometria. Foi onde aprendi a medir o não mensurável.
A expressão resume o que me interessava: como estudar uma característica que não consigo observar diretamente? Conhecimento, por exemplo, precisa ser inferido a partir do que uma pessoa consegue responder ou fazer. A qualidade dessa inferência depende também das perguntas e das tarefas que escolhemos.
Um dos desafios mais interessantes em que trabalhei foi apoiar a avaliação de avaliações. Em provas médicas, isso significava olhar para o instrumento usado para avaliar as pessoas: entender o comportamento das questões, a consistência da prova e os limites da interpretação dos resultados.
O que uma resposta permite enxergar
Uma variável latente é uma característica que não observamos diretamente, mas estimamos por meio de indicadores observáveis. Na avaliação educacional, a proficiência, o domínio do conhecimento ou da habilidade avaliada, é uma dessas características. As respostas às questões são os indicadores que temos à disposição.
É nesse sentido que uso “medir o não mensurável”: construir uma medida indireta, com pressupostos e incerteza. Acertar uma pergunta oferece informação sobre o conhecimento da pessoa, mas a pergunta também precisa ser examinada.
No caso das avaliações médicas, o trabalho incluía analisar provas de conhecimento e a avaliação realizada por examinadores em tarefas práticas. Meu apoio fazia parte desse esforço de entender a qualidade da avaliação.
A questão também estava sendo avaliada
Na análise de uma prova de hematologia, o olhar sobre o total de acertos era acompanhado por análises de cada item, o nome dado a uma questão ou tarefa do teste. Isso permitia examinar aspectos diferentes:
- Dificuldade: a proporção de acertos mostrava quais questões eram mais fáceis ou difíceis para aquele grupo. Uma questão com poucos acertos, por si só, não explicava o motivo da dificuldade.
- Discriminação: comparávamos o comportamento do item entre participantes com desempenhos distintos no conjunto da prova. Havia questões com discriminação negativa, mais acertadas pelo grupo de menor desempenho, que mereciam revisão.
- Alternativas incorretas: os distratores, as opções que não correspondiam ao gabarito, também eram analisados. Alguns atraíam tantos ou mais participantes que a resposta correta; outros não eram escolhidos.
- Consistência interna: medidas como o alfa de Cronbach ajudavam a examinar como as respostas aos itens se relacionavam no conjunto da prova. O resultado precisava ser interpretado junto das demais evidências.
O interesse estava no que esses sinais permitiam investigar. Um distrator muito escolhido podia orientar a revisão do item, mas identificar o problema de conteúdo exigia a participação dos especialistas. O diagnóstico estatístico ajudava a localizar onde olhar.
A prova também precisava ser examinada em relação ao conteúdo que pretendia avaliar. Nos trabalhos com avaliações médicas, a matriz de avaliação organizava essa cobertura, enquanto a revisão dos itens e os relatórios estatísticos contribuíam para o aperfeiçoamento das provas.
Onde entra a TRI
A Teoria de Resposta ao Item (TRI) é uma família de modelos que relaciona a probabilidade de uma resposta à proficiência da pessoa e às características do item. Ela oferece outra forma de estudar a relação entre o que queremos medir e as respostas observadas.
No modelo logístico de três parâmetros, essas características são:
- Discriminação: quanto a probabilidade de acerto muda com a proficiência, sobretudo na região de dificuldade do item.
- Dificuldade: a posição do item na escala de proficiência.
- Acerto casual: um componente do modelo que permite probabilidade de acerto mesmo em níveis baixos de proficiência.
O Exame Nacional do Ensino Médio (Enem) utiliza esse modelo nas provas objetivas. A nota considera as características das questões e o padrão de respostas, além da quantidade de acertos. Por isso, pessoas com o mesmo total de acertos podem receber notas diferentes. A redação tem outro processo de avaliação. A documentação do Inep sobre TRI explica a relação entre os itens e a estimação da proficiência.
Equações estruturais e o papel das variáveis latentes
Os modelos de equações estruturais, conhecidos pela sigla inglesa SEM, de Structural Equation Modeling, ampliam a discussão sobre medidas indiretas. Eles permitem representar relações entre variáveis observadas e latentes, além de relações entre as próprias variáveis.
A parte de mensuração descreve quais indicadores estão associados a cada variável latente. A parte estrutural especifica as relações que serão examinadas entre as variáveis. A documentação do projeto lavaan apresenta essa separação em um exemplo completo.
Uma ferramenta próxima é a análise fatorial confirmatória, que avalia uma estrutura previamente especificada de fatores e indicadores. Um exemplo do lavaan com testes de habilidades mostra diferentes testes associados a fatores latentes. Esse tipo de modelo ajuda a examinar se a estrutura proposta encontra suporte nos dados, dentro dos pressupostos adotados.
TRI e equações estruturais entram aqui para explicar possibilidades da Psicometria. As análises do caso discutidas acima se concentram no comportamento dos itens e na confiabilidade das avaliações.
Aprendizados, lições, erros e principais impactos
A contribuição desse apoio foi participar da análise da qualidade dos instrumentos de avaliação. Os diagnósticos ofereciam aos responsáveis pelas provas elementos para revisar questões e interpretar os resultados. Dessa experiência, destaco:
- O resultado de uma prova depende do instrumento. Examinar apenas o total de acertos deixa de fora informações sobre dificuldade, discriminação e funcionamento das alternativas.
- Uma questão difícil não é automaticamente uma questão boa. O comportamento das respostas precisa ser interpretado em conjunto com o conteúdo e a habilidade que se pretendia avaliar.
- O diagnóstico estatístico precisa conversar com o especialista. Sinais de discriminação negativa e distratores muito escolhidos orientam a investigação; a revisão exige entender o que a questão pede.
- Medir uma variável latente exige explicitar a relação com o observável. Foi esse interesse, que me marcou em Psicometria no mestrado, que encontrou aplicação no apoio à avaliação das próprias provas.