cosine-similarityfrequency-biasembedding-biasl2-normstub

Zhou, Ethayarajh, Card & Jurafsky (2022) — Problems with Cosine as a Measure of Embedding Similarity for High Frequency Words

大白话:余弦相似度会因为高频词的向量范数偏大而系统性低估高频词之间的相似度——这篇论文给出了这个「频率偏差」的完整证据,是后续所有「不要只依赖余弦相似度」工作的出发点。

占位 entity — recos 论文 ref [14] 引用的核心 motivation 文献。

完整引用:Zhou, K., Ethayarajh, K., Card, D., & Jurafsky, D. (2022). Problems with cosine as a measure of embedding similarity for high frequency words. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 401–423, Dublin, Ireland.

核心贡献: 系统性证明余弦相似度系统性低估高频词之间的相似度,根因是上下文化嵌入中高频词的 ℓ2 范数系统性偏大(余弦的分母是范数之积)。论文提出的「频率偏差」后来被 Steck et al. (2024) 和 Wannasuphoprasit et al. (2023) 进一步分析。

对 recos 的角色: recos 用排序分量做归一化(分母 |\mathbf u_{\uparrow}\cdot\mathbf v_{\updownarrow}| 不依赖范数),天然部分缓解了高频词 ℓ2 范数膨胀导致的低估。这是 Xinbo Ai 2026 Beyond Cosine Similarity 引言中「为什么要超越余弦相似度」的关键 motivation 之一。