dirichletgamma-constructionvariance-sharemathematical-foundationstub

Dirichlet Distribution

大白话：一组加起来等于 1 的非负数字（像「几块蛋糕分给几个人」）该服从什么分布？Dirichlet 就是这个场景的答案，而且它有个好用的性质——若各分块本身是 Gamma 分布，除以总和后就变成 Dirichlet。

定义。 概率单纯形 (probability simplex) \{(s_1, \ldots, s_n) : s_i \ge 0, \sum s_i = 1\} 上的连续分布，是 categorical / multinomial 的共轭先验。 参数 (\alpha_1, \ldots, \alpha_n) 控制形状：\alpha = 1 是均匀的， \alpha < 1 是稀疏的，\alpha > 1 是稠密的。 Level-Independent Diffusion Baseline (3n(n+2)) 论文的 HHIt Proposition 1 证明中， 关键步骤是从 Z_j^2 \sim \text{Gamma}(1/2, 2) 推出方差份额序列 \sim \text{Dirichlet}(1/2, \ldots, 1/2)。

Gamma-to-Dirichlet 构造

如果 G_1, \ldots, G_n 独立 \sim \text{Gamma}(\alpha_i, \theta) (common scale \theta), 则 \left( \frac{G_1}{\sum_k G_k}, \ldots, \frac{G_n}{\sum_k G_k} \right) \sim \text{Dirichlet}(\alpha_1, \ldots, \alpha_n)

这正是 HHIt 论文 Proposition 1 证明的第 3 步： Z_j^2 \sim \chi^2_1 = \text{Gamma}(1/2, 2) → (s_1, \ldots, s_n) \sim \text{Dirichlet}(1/2, \ldots, 1/2)。

数学性质

  • \text{Dirichlet}(\alpha, \ldots, \alpha)（对称情形）的二阶矩： E[s_j^2] = \frac{\alpha(\alpha+1)}{\alpha_0(\alpha_0+1)}, \quad \alpha_0 = n\alpha
  • HHIt 论文代入 \alpha = 1/2、\alpha_0 = n/2： E[s_j^2] = \frac{(1/2)(3/2)}{(n/2)(n/2+1)} = \frac{3}{n(n+2)}
  • E[\text{HHI}_t] = n \cdot E[s_j^2] = \frac{3}{n+2}，与 \sigma_t 无关 —— Proposition 1 的核心。

关键文献