Calibração pública

O RELATÓRIO PÚBLICO DE CALIBRAÇÃO — o fecho da tese. Sobre as previsões acumuladas com desfecho conhecido, mostra POR FAMÍLIA DE MODELO (SCORE_CREDITO, PCLD, CHURN…) o Brier score do modelo contra a REGRA BURRA (baseline por média histórica): o modelo só se justifica se bate o baseline. Traz o diagrama de confiabilidade ("quando digo 70%, acontece 70%?") e, 🔴 sem maquiagem, a lista dos modelos que foram DESLIGADOS — por deriva ou por não bater o baseline — cada um com o motivo à vista. Publicar o que deu errado é o que dá valor ao que deu certo: é o mesmo contrato de resultado que o Tenka exige dos funcionários digitais, aplicado a si. Só leitura.

Em quais previsões da plataforma você pode confiar. Toda vez que o sistema faz um palpite sobre o seu negócio — o risco de um cliente não pagar, quanto um contrato vai faturar, como fica o caixa nas próximas 13 semanas, quantas horas a equipe vai consumir, quanto o funil deve fechar — esse palpite fica registrado com data e prazo. Quando o prazo vence, a plataforma vai buscar o que DE FATO aconteceu e compara. Esta tela é o placar dessa comparação, publicado inteiro: o que acertou e o que errou.

Um modelo só se justifica se ele bate a previsão mais simples possível — a média histórica, sem nenhuma inteligência. É isso que a coluna "baseline" mostra. Se o modelo não bate a regra burra, ele não está agregando nada, e a plataforma o desliga automaticamente e publica o motivo aqui. O número usado na comparação (Brier) é o erro médio da probabilidade: quanto MENOR, melhor; zero seria perfeição.

Cada tipo de previsão tem um prazo próprio para ser conferido: a carga da equipe se confere em uma semana, o caixa em treze, a receita de contrato em seis meses. Enquanto o prazo da primeira previsão de uma família não vence, ela aparece na lista "famílias que ainda não têm placar", com quantas previsões já estão registradas esperando. Uma empresa que acabou de começar a usar a plataforma verá quase todas ali — e isso é o comportamento correto: melhor dizer que não há amostra que mostrar um percentual de acerto calculado em cima de duas observações.

A calibração só mostra o número quando há amostra suficiente para ele não identificar ninguém; abaixo disso a barra fica "sem amostra ainda" — não é erro, é a proteção do dado de cada empresa.

Em quais dos meus modelos eu posso confiar — e quais foram desligados, e por quê? Sobre as previsões acumuladas com desfecho conhecido, a tela mostra por família de modelo (SCORE_CREDITO, PCLD, CHURN…) o Brier score do modelo contra a regra burra (baseline por média histórica): o modelo só se justifica se bate o baseline. Traz o diagrama de confiabilidade — quando o modelo diz 70%, acontece 70%? — e a lista dos modelos desligados por deriva ou por perder do baseline, cada um com o motivo à vista.