Carregando
Temos 2.840 questões classificadas por disciplina e podíamos publicar uma tabela bonita amanhã. Não publicamos, e a explicação é o melhor argumento que temos sobre como este acervo é construído.
Existe uma tabela que todo site de estudo para a OAB publica: quantas questões de cada disciplina caem na 1ª fase. Ela aparece com números redondos, sem fonte, e ninguém nunca explica como chegou neles.
Nós temos os dados para publicar a nossa. E ela não está no ar, ou melhor: está no ar marcada como estimativa, e não como medição. Este texto é sobre a diferença.
O acervo tem 3.460 questões reais, dos cadernos oficiais do 3º ao 46º Exame. Dessas, 2.840 têm uma disciplina atribuída. As outras 620 não têm nenhuma.
A atribuição veio de dois procedimentos automáticos. O primeiro é léxico: procurar no enunciado os termos que só existem numa disciplina — "reclamação trabalhista", "habeas corpus", "sociedade limitada". O segundo é posicional: a FGV agrupa as questões por matéria dentro da prova, então uma questão cercada de questões de Processo Civil provavelmente é de Processo Civil.
Os dois funcionam bem. Nenhum dos dois é leitura.
Se somarmos as 2.840 classificadas, sai um resultado com cara de medição: Ética com 472 questões, Civil com 310, Processual Civil com 258, e assim por diante. Dividido por 43 provas, dá onze questões de Ética por prova.
O problema é que esse número carrega três erros que não se cancelam.
O primeiro são as 620 sem classificação — dezoito por cento do acervo. Elas não estão distribuídas ao acaso: são justamente as questões que nenhum termo característico pegou, o que significa enunciados de caso puro, sem jargão. Provavelmente há mais delas em algumas disciplinas do que em outras, e não sabemos em quais.
O segundo é que o classificador léxico erra de forma enviesada, não aleatória. Uma questão de Direito Civil sobre contrato de trabalho doméstico tem palavra de Trabalho no enunciado. O erro sempre puxa na mesma direção — da disciplina que empresta o vocabulário para a que o tomou emprestado —, e erro enviesado não some com volume. Ele se acumula.
O terceiro é o mais simples: ninguém leu. Nem uma das 2.840. O campo que registra "uma pessoa confirmou esta classificação" está falso em toda a base, e ele está falso porque é verdade.
Uma tabela com esses números, apresentada como contagem, seria um dado com precisão falsa. "Onze questões de Ética por prova" soa medido. Tem duas casas de confiança que a apuração não sustenta, e quem lesse organizaria semanas de estudo em cima disso.
E é aqui que o custo aparece de verdade. Estimativa errada num site de notícia é uma correção. Estimativa errada num site de estudo é alguém que distribuiu os últimos quarenta dias antes da prova segundo uma proporção que não existe. A pessoa não tem como conferir — ela veio até aqui exatamente porque não tem os dados —, e vai descobrir no dia.
Então a página /estatisticas mostra a média histórica por disciplina e diz, com todas as letras, que é estimativa a partir do histórico das provas. Ela é útil, é a melhor coisa que temos, e não se apresenta como o que não é.
Nem tudo aqui é aproximado, e a diferença está sempre escrita na tela.
A data de aplicação de cada uma das 43 edições veio do edital, uma a uma. O gabarito é o da FGV. As questões são o texto do caderno oficial. E a incidência de cada dispositivo — o número que aparece nas páginas de legislação e no glossário — conta só citação expressa: a questão nomeia o artigo, com a lei identificada, e qualquer pessoa confere reabrindo a questão.
Esse número é pequeno de propósito. São 155 vínculos, em 106 artigos, num acervo de mais de dez mil dispositivos. Um classificador automático produziria dez vezes mais, e nós temos um rodando — mas o que ele produz alimenta a fila de trabalho interna, onde um erro custa uma leitura a mais, e não a página aberta, onde um erro é um dado falso publicado.
São dois contadores separados, e manter dois é mais trabalho do que manter um. É a diferença inteira.
Muda quando houver leitura humana em volume. Existe uma tela interna de triagem, feita para tornar esse trabalho rápido, e confirmar ali significa que alguém leu a questão e escolheu a disciplina — não é possível confirmar sem escolher, justamente para que "ninguém sabe" nunca vire "alguém verificou" por um clique distraído.
No dia em que houver questão confirmada em volume, três coisas passam a existir: a distribuição real por disciplina, o gráfico de evolução por matéria de quem estuda, e um filtro por disciplina que é exato em vez de aproximado.
Até lá, o filtro funciona e a tela avisa que é aproximado. É menos impressionante do que uma tabela com números redondos. É a única versão que ainda vai estar certa daqui a um ano.