brier-scorediebold-marianoforecast-evaluationproper-scoring-rulecalibrationstub

Brier Score and Diebold-Mariano Test

大白话：模型说「明天崩盘概率 30%」，到底给不给分？Brier 分数就是给概率预测打分的尺子——预测得准而且诚实（说 30% 就该大约三成兑现）才拿高分。Diebold-Mariano 检验则是判断两个模型谁的预测更准的统计检验。

定义。 概率预测的两类评价方法学：

  • Brier 分数 = \frac{1}{T} \sum_{t=1}^T (p_t - y_t)^2，其中 p_t 是预测概率，y_t 是二元结果。 它是严格评分规则 (proper scoring rule)——唯一能让诚实的预测者得分最高的规则， 同时奖励区分度 (discrimination) 与校准 (calibration)。 它是 HHIt 论文的主评价指标 （10 个基准中 Logit-RV-HHI 的 Brier 最低，为 0.0430）。
  • Diebold-Mariano (DM) 检验 = 比较两个嵌套 / 非嵌套预测的精度； DM = \bar d / \sqrt{\widehat{\text{Var}}(d_t)/T}，d_t = L(e_{1t}) - L(e_{2t})， 在弱依赖条件下渐近服从 N(0, 1)。论文表 III 用它比较每个基准与 Logit-RV-HHI（Brier 损失之差）。

论文应用

  • Brier：论文的主评价指标，10 个基准的排序为：
    • Logit-RV-HHI：0.0430（最低）
    • Normal-GARCH(1,1)：0.0429（略低，但校准出现百倍级崩塌）
    • 其余：0.0431 – 0.0445
  • DM 检验：Logit-RV-HHI-momentum（3 个预测变量）的 DM 检验 p = 0.042 → 其 Brier 损失显著高于本文提出的模型，论证 HHI 是必需的； 其余 8 个基准的 DM 检验 p > 0.10（差异不显著，但 Brier 仍然更高）。
  • 校准分析：GARCH 的 hidden gem——最低十分位预测 0.0001 而实际 0.0096， 百倍级校准失败，Brier 看不到这一点（总体 Brier 看起来低，但分位校准崩塌）。

Brier 的限制

  • Brier 是总体评价指标，不分位——可能隐藏校准失败（GARCH 案例）。
  • 论文用校准分析（预测十分位 vs 实际频率）补充 Brier，构成更全面的评价框架。
  • 与 Brier 配套的其他严格评分规则：log-loss (cross-entropy)、spherical score、 ranked probability score (RPS，用于有序结果)。

DM test 的限制

  • DM 检验假设弱依赖，在长期记忆 (long-memory) 数据下需要 Harvey-Leybourne-Newbold (1997) 的小样本修正。
  • 在收益率高度自相关时，DM 检验的渐近分布可能失效—— 论文用扩展窗口 (expanding-window) + 季度重估来部分缓解。
  • Diebold-Mariano (1995) 原始版 + Clark-West (2007)（嵌套情形）+ Hansen-Lunde-Nason (2011)（模型置信集）是预测比较的三件套。

关键文献