Dificuldade
Uma questão que quase todos acertam diz pouco sobre quem acertou. Uma que só os mais preparados acertam diz muito.
Como o DuoElo mede a sua preparação
Contar acertos diz pouco. Duas provas com o mesmo número de acertos podem mostrar níveis de preparação muito diferentes. Aqui, a sua nota vem da Teoria de Resposta ao Item (TRI), um método estatístico que compara você com os outros candidatos de forma justa.
O que é a TRI
A TRI é um conjunto de modelos estatísticos criado para medir um conhecimento que não se enxerga direto. Em vez de somar pontos, ela pergunta: qual nível de preparação explica melhor o padrão de acertos e erros desta pessoa? É o tipo de método usado em exames de grande escala, como o Enem.
Cada questão tem características próprias, que o método estima a partir das respostas de todos os candidatos:
Poder de separar
Há questões que distinguem bem quem sabe de quem não sabe, e outras que não distinguem. As boas pesam mais.
Chance de acerto no chute
Em uma questão com cinco alternativas, dá para acertar sem saber. O método desconta essa chance.
Como a sua nota é calculada
- Você faz o simulado. Cada resposta sua, certa ou errada, vira informação.
- As questões são calibradas. Quando o simulado fecha, o sistema estima a dificuldade e o poder de separar de cada questão com as respostas de todos os candidatos, incluindo os simulados anteriores.
- Estimamos o seu nível. Entre todos os níveis possíveis, o cálculo encontra o mais provável dado o seu padrão de respostas. Acertar questões difíceis eleva mais a nota do que acertar as fáceis, e errar as fáceis pesa mais do que errar as difíceis.
- Você recebe a nota e a posição. A nota fica numa escala em que 500 é a média dos candidatos e cada 100 pontos equivalem a um desvio padrão. O ranking ordena todo mundo na mesma régua.
Por isso a nota pode mudar um pouco depois do fechamento: ela só fica definitiva quando as questões são calibradas com as respostas de todos. A margem de erro (±) aparece no boletim.
Por que isso importa para quem estuda para concurso
Concurso é competição: o que decide a sua aprovação não é quanto você sabe em absoluto, mas quanto você sabe em relação aos outros candidatos. A porcentagem de acertos não mostra isso, porque depende de a prova ter sido fácil ou difícil. A nota por TRI mostra: ela coloca todos na mesma escala e diz onde você está no pelotão.
Compare provas diferentes
Sua nota em um simulado difícil e em um fácil pode ser lida na mesma escala. Dá para acompanhar a evolução de verdade.
Chute não engana
Acertar no chute vale menos, e um padrão suspeito de acertos aparece no boletim, com a explicação.
Pontos fracos visíveis
Você vê o desempenho por matéria e por nível de dificuldade e sabe onde investir o próximo bloco de estudo.
Para onde estamos indo: a TRI adaptada a concursos
A TRI tradicional foi pensada para provas com uma nota única. Concurso tem outras regras: cada edital tem pesos diferentes por matéria, e o que decide é a classificação. Estamos desenvolvendo um algoritmo próprio, em cima da TRI, para refletir isso. A ideia é combinar:
- o seu desempenho em cada subárea de cada matéria, e não só a nota da matéria inteira;
- o peso de cada matéria no edital que você está disputando;
- a comparação, subárea por subárea, com os outros candidatos.
O objetivo é medir com precisão a sua preparação em relação aos demais, para o concurso que você prestará, e não para uma prova genérica.
Este algoritmo está em desenvolvimento e ainda não calcula as notas atuais, que usam a TRI padrão descrita acima. Antes de afirmarmos qualquer relação entre a posição no ranking e a classificação em um concurso real, vamos medir essa relação com dados de candidatos reais e divulgar o resultado, seja ele qual for.
Perguntas frequentes
Minha nota não é a porcentagem de acertos?
Não. A porcentagem de acertos aparece no boletim, mas a nota e o ranking usam a TRI. Dois candidatos com o mesmo número de acertos podem ter notas diferentes, porque acertaram questões de dificuldades diferentes.
Por que a nota pode ser menor que a minha porcentagem de acertos sugere?
Quando o padrão de respostas lembra chute (erros em questões fáceis e acertos em difíceis), a TRI considera que o acerto das difíceis é menos confiável. O boletim mostra isso e estima a nota que você teria com um padrão coerente.
O que é a margem de erro (±) do boletim?
É a incerteza da estimativa. Quanto mais questões você responde, menor ela fica. Uma diferença de poucos pontos entre dois candidatos pode estar dentro da margem.
Por que o ranking só aparece depois do fechamento do simulado?
Porque a calibração das questões usa as respostas de todos os candidatos. Antes disso, a nota é provisória.
Por que há um ranking por matéria com exigência de número mínimo de questões?
Com poucas questões, a estimativa de uma matéria é imprecisa demais para comparar candidatos. A matéria entra no ranking quando há questões suficientes.