Панель управления складом

ПУБЛИЧНЫЙ ОТЧЁТ О КАЛИБРОВКЕ — завершение тезиса. По накопленным прогнозам с известным исходом он показывает ПО СЕМЕЙСТВАМ МОДЕЛЕЙ (SCORE_CREDITO, PCLD, CHURN…) Brier score модели против ГЛУПОГО ПРАВИЛА (baseline по историческому среднему): модель оправдана, только если она превосходит baseline. В нём есть диаграмма надёжности («когда я говорю 70%, происходит ли это в 70% случаев?») и, 🔴 без прикрас, список ОТКЛЮЧЁННЫХ моделей — из-за дрейфа или из-за того, что они не превзошли baseline, — у каждой причина на виду. Публикация того, что пошло не так, придаёт ценность тому, что получилось: это тот же контракт на результат, который Tenka требует от цифровых сотрудников, применённый к самому себе. Только чтение.

Каким прогнозам платформы можно доверять. Каждый раз, когда система делает предположение о вашем бизнесе — риск неплатежа клиента, сколько принесёт договор, каким будет остаток денег в ближайшие 13 недель, сколько часов израсходует команда, сколько должна закрыть воронка, — это предположение фиксируется с датой и сроком. Когда срок истекает, платформа находит, что произошло НА САМОМ ДЕЛЕ, и сравнивает. Этот экран — табло такого сравнения, опубликованное целиком: что угадано и что нет.

Модель оправдана, только если она превосходит простейший возможный прогноз — историческое среднее без всякого интеллекта. Именно это показывает колонка «baseline». Если модель не превосходит глупое правило, она ничего не добавляет, и платформа автоматически её отключает и публикует причину здесь. Число, используемое для сравнения (Brier), — средняя ошибка вероятности: чем МЕНЬШЕ, тем лучше; ноль был бы совершенством.

У каждого типа прогноза свой срок проверки: загрузка команды проверяется через неделю, денежные средства — через тринадцать, выручка по договорам — через шесть месяцев. Пока срок первого прогноза семейства не истёк, оно отображается в списке «семейства, у которых ещё нет табло», с числом уже зарегистрированных и ожидающих прогнозов. Компания, только начавшая пользоваться платформой, увидит там почти все, — и это правильное поведение: лучше сказать, что выборки нет, чем показать процент попаданий, рассчитанный по двум наблюдениям.

A calibração só mostra o número quando há amostra suficiente para ele não identificar ninguém; abaixo disso a barra fica "sem amostra ainda" — não é erro, é a proteção do dado de cada empresa.

Каким из моих моделей можно доверять — а какие отключены и почему? По накопленным прогнозам с известным исходом экран показывает по семействам моделей (SCORE_CREDITO, PCLD, CHURN…) Brier score модели против глупого правила (baseline по историческому среднему): модель оправдана, только если она превосходит baseline. В нём есть диаграмма надёжности — когда модель говорит 70%, происходит ли это в 70% случаев? — и список моделей, отключённых из-за дрейфа или проигрыша baseline, у каждой причина на виду.