paperneural-networkcovariance-estimationpairwise-completeindefinite-correlationrotation-invariantsmall-capmarkowitzrmt-extension

Bongiorno & Villassero (2026) — End-to-End Neural Shrinkage of Indefinite Pairwise Correlations

大白话：这篇论文用一个小神经网络（RIEnet）直接从「每对股票各自有效历史长度不同」的收益数据学出协方差矩阵，一并处理负特征值修复和正特征谱收缩；在 2000–2025 美股（最多 1500 只）扣掉交易成本后，5 日波动率 11.17%、夏普 0.814，是所有对照方法里唯一通过 99.9% 显著性检验的。

引用。 Bongiorno, C. & Villassero, L. (2026) "End-to-End Neural Shrinkage of Indefinite Pairwise Correlation Matrices for Small-Cap-Inclusive Portfolios", August 2026 preprint (arXiv). Université Paris-Saclay, CentraleSupélec, Mathématiques et Informatique pour la Complexité et les Systèmes。

一句话要点。 把 concepts/models-theory/Covariance Shrinkage Estimation 谱系中 Bongiorno-Manolakis-Mantegna (2026) JFDS 的旋转不变（rotation-invariant）神经协方差估计器推到 配对完整（pairwise-complete）+ 不定相关矩阵（indefinite correlation） 场景（针对小盘股碎片化历史），同时处理 (a) 负特征值修复 与 (b) 正谱收缩；用因子对齐的有效样本长度 \tau_k（按特征向量载荷平方加权的重叠样本数均值）编码异质的抽样不确定性（sampling uncertainty）后喂给 BiGRU；端到端地训练在 5 日实现 GMV 方差上。实证 2000–2025 美股最多 1500 只，净交易成本后：5 日波动率 11.17%（对比因子法 14.08%，低 20.7%），夏普 0.814（对比 0.580，高 40%），是 MCS 99.9% 显著性下唯一保留的方法。

摘要

问题：小盘股碎片化历史场景下（17.15% 的个股-调仓观测历史不足 1200 天），配对完整相关矩阵 \mathbf C_\cap 因不同股票对用不同重叠样本而不定（含负特征值）——既不能直接喂给 Markowitz 优化，也不满足 RMT 收缩方法（LW / QIS / Bun-Bouchaud-Potters）所依赖的「统一面板（共同 panel）」假设。现有方法的局限：最近相关矩阵（nearest-correlation, Higham 2002）、因子插补（factor imputation, Cahan-Bai-Ng 2023）、岭回归（ridge regression, Gramacy-Lee-Silva 2008）都只解决其中一个问题，没有统一框架同时修复负特征值 + 收缩正谱。

方法 (RIEnet)：约 7,400 个参数（与资产数 n 无关）的双向 GRU 网络

  1. 滞后变换 (lag transformation)：5 参数 (a_t, b_t) 软截断（同 Bongiorno 2025 ICAIF）。
  2. 边际波动率分支：带掩码的多层感知机（mask-aware MLP，8 个 leaky-ReLU + softplus）+ T_{ii}^{-1/2} 修正——捕捉每只资产特有的异方差抽样不确定性。
  3. 相关矩阵分支（核心）：
    • 计算 \mathbf C_\cap 及其有符号特征值 \lambda^\cap_k + 特征向量 \mathbf Q_\cap
    • 构造因子对齐的有效样本长度 \tau_k = \sum_{ij} Q^2_{\cap,ik} Q^2_{\cap,jk} T_{ij}（按特征向量载荷平方加权的重叠样本数——对特征向量符号与资产重标号不变）；因子特异的集中度比 q_k = n / \tau_k
    • Token = (\lambda^\cap_k, \log q_k)；用双向 GRU（32 个隐藏单元）处理；softplus 输出 \lambda^{(-1)}_{k,\mathrm{NN}}（始终为正，把有符号谱映射到正的反谱）
    • 特征向量重新缩放，保证 \mathbf C_{\mathrm{NN}} 单位对角 + 正定
  4. 端到端训练：损失 = 未来 5 个交易日的实现 GMV 方差——直接对最小化方差组合的风险建模；用无约束的解析式 GMV 训练，部署时再加只做多约束。

实证：26 个扩展窗口模型（1990-1999 → 2000 样本外, ..., 1990-2024 → 2025 样本外）；训练 n \in [50, 500]，测试 n 最多 1500（维度漂移泛化测试）；A 股没有迁移（仅美股）。表 1（券商模拟净成本）：

方法 5 日波动率 夏普 最大回撤 \beta_{\mathrm{RUI}} MCS p
RIEnet 11.17% 0.814 −41.3% 0.500 1.000
因子法 14.08 0.580 −51.5 0.592 <0.001
Bootstrap 14.46 0.563 −49.4 0.595 <0.001
Anderson 14.74 0.578 −50.8 0.603 <0.001
QIS 15.54 0.560 −50.3 0.799 <0.001
MLE 16.25 0.248 −60.3 0.683 <0.001
岭回归 18.07 0.272 −70.0 0.671 <0.001

执行诊断（表 2）：RIEnet 的有效样本数中位数 n_{\mathrm{eff}} = 57.6，年换手 31.53，冲击成本 2.57 bps/，手续费 0.92 bps/，CAGR 总拖累 1.49 个百分点——拖累显著低于 MLE/Bootstrap/Anderson/因子法/岭回归（3.06–4.03 个百分点），但高于 QIS（1.17 个百分点）；QIS 拖累最低源于其分散配置与小单执行，代价是夏普显著低于 RIEnet。

关键贡献

  1. 统一处理不定相关矩阵 + RMT 不适用：首次把负特征值修复与正谱收缩放在同一个谱映射中。
  2. 因子对齐的重叠样本信息：\tau_k 把配对重叠通过特征向量载荷平方聚合到因子层面——让网络学到如何给不同因子分配样本权重。
  3. 端到端 GMV 训练：损失直接是实现 5 日 GMV 方差；无约束训练 + 只做多约束部署的解耦——同一估计器可用于多产品。
  4. 维度漂移训练（50–500 训练 vs 1500 测试）：实际证明泛化能力，避开维度灾难。
  5. 统一比较基准：包括 QIS、Anderson（最近相关矩阵）、Bootstrap、因子法（插补）、岭回归、MLE——把现有方法在券商模拟净成本下完整对照。

与 quant 的关联

  • A 股小盘股碎片化历史极其普遍（借壳、IPO、新三板转板、限售解禁后）——RIEnet 路线可直接迁移：
    • 中证 500 + 中证 1000 联合优化
    • 北交所碎片化历史
    • ETF 申赎篮子的构建
  • 统一处理不定相关矩阵 + 异质重叠样本：打破「RMT 仅适用于同质面板」的瓶颈
  • 端到端 GMV 训练直接对最小化方差组合优化风险——比「先估协方差再 MVO」的两阶段做法偏差更小
  • 维度漂移泛化：训练 50–500、测试 1500 仍然稳定——降低重训练频率

与 Covariance Shrinkage Estimation 谱系的关系

flowchart LR
    S["Stein 1956<br/>James-Stein 1961<br/>均值向量收缩"] --> LW["LW 2003/2004<br/>协方差矩阵<br/>identity target, 闭式"]
    LW --> QIS["LW 2020 QIS<br/>RMT-based 二次逆特征值"]
    LW --> RMT["Bun-Bouchaud-Potters 2017<br/>RMT 清洗综述"]
    QIS --> RN["Bongiorno et al. 2026 JFDS<br/>RINet 神经 spectral map<br/>标准矩形 panel"]
    RN --> RIE["BV 2026 RIEnet (本文)<br/>pairwise-complete + indefinite<br/>小盘碎片化场景"]

每一步都增加了对样本结构不规则性的容忍度：闭式线性 → RMT 二次 → 神经谱映射 → 不定相关矩阵与异质重叠的统一处理。

局限

  • 仅美股 2000–2025 共 26 年样本外：未做跨市场测试（A 股 / 商品 / 加密货币）
  • 未按市场状态（regime）细分解：2020 新冠、2022 通胀紧缩期的表现需要单独归因
  • 限定收盘集合竞价执行：连续竞价市场需要重新校准市场冲击系数
  • 无约束 GMV 训练但只做多部署：可能存在约束带来的信息损失

工程细节

  • 约 7,400 个可训练参数，与资产数 n 和输入时间步 \Delta t_{in} 无关
  • 滞后变换 5 参数；边际 MLP 8 个单元；BiGRU 32 隐藏单元
  • Adam, lr=1e-4, 0.99^(b/500) 衰减, 梯度裁剪 1.0, 2 个批次 × 32 样本的梯度累积, 每轮 500 批 × 100 轮
  • 模型故意在 50–500 只资产上训练，测试最多 1500 只

相关页面