在庫ダッシュボード

「公開校正レポート」――論証の締めくくりです。結果が判明した蓄積済みの予測について、「モデルファミリーごと」（SCORE_CREDITO、PCLD、CHURN…）に、モデルのBrierスコアを「単純ルール」（過去平均によるベースライン）と比較して表示します。モデルが正当化されるのはベースラインに勝つ場合だけです。信頼性図（「70%と言ったら、本当に70%起きるか？」）と、🔴 取り繕うことなく、ドリフトやベースラインに勝てなかったことで「無効化」されたモデルの一覧を、それぞれの理由とともに示します。失敗を公開することが、成功に価値を与えます。これはTenkaがデジタル従業員に求めるのと同じ成果契約を、自らに適用したものです。閲覧専用です。

プラットフォームのどの予測を信頼できるか。システムがあなたのビジネスについて推測するたびに（顧客が支払わないリスク、契約がいくら売り上げるか、今後13週間の資金繰り、チームが消費する工数、ファネルが成約する見込み）、その推測は日付と期限付きで記録されます。期限が来ると、プラットフォームは「実際に」起きたことを取得して比較します。この画面はその比較のスコアボードであり、当たったことも外れたことも、すべて公開されています。

モデルが正当化されるのは、考えうる最も単純な予測、つまり知能を一切使わない過去平均に勝つ場合だけです。それを示すのが「baseline」列です。モデルが単純ルールに勝てなければ何も付け加えていないことになり、プラットフォームは自動的にそれを無効化し、ここに理由を公開します。比較に使う数値（Brier）は確率の平均誤差で、「小さい」ほど良く、ゼロなら完璧です。

予測の種類ごとに、検証までの期限があります。チームの負荷は1週間、資金は13週間、契約売上は6か月で検証されます。あるファミリーの最初の予測の期限が来るまでは、「まだスコアボードのないファミリー」の一覧に、すでに記録されて待機している予測の件数とともに表示されます。プラットフォームを使い始めたばかりの会社では、ほとんどがそこに表示されるでしょう。それが正しい動作です。2件の観測から計算した的中率を見せるより、サンプルがないと言うほうがましです。

A calibração só mostra o número quando há amostra suficiente para ele não identificar ninguém; abaixo disso a barra fica "sem amostra ainda" — não é erro, é a proteção do dado de cada empresa.

自分のモデルのうちどれを信頼でき、どれがなぜ無効化されたのか？結果が判明した蓄積済みの予測について、画面はモデルファミリーごと（SCORE_CREDITO、PCLD、CHURN…）に、モデルのBrierスコアを単純ルール（過去平均によるベースライン）と比較して表示します。モデルが正当化されるのはベースラインに勝つ場合だけです。信頼性図（モデルが70%と言ったら、本当に70%起きるか？）と、ドリフトやベースラインへの敗北で無効化されたモデルの一覧を、それぞれの理由とともに示します。