Discovery under Hypothesis Redundancy 研读报告

Discovery under Hypothesis Redundancy 研读报告

论文链接:arXiv:2606.14386
PDF:https://arxiv.org/pdf/2606.14386
标题:Discovery under Hypothesis Redundancy: A Geometric Theory of Discovery Bottlenecks
作者:Li Xia, Baoxun Wang
提交时间:2026-06-12
领域:Machine Learning, Artificial Intelligence, Portfolio Management
篇幅:23 页,1 张图,27 张表

1. 一句话总结

这篇论文研究的是:当一个发现系统已经生成了很多高度相关的假设时,继续做本地枚举会很快进入收益递减;LLM 生成的非局部候选只有在同时满足“搜索空间被压缩”“候选能逃出已有张成空间”“逃出去的方向仍然和目标信号对齐”这三个几何条件时,才真正有用。

作者把这个观点命名为 Search Compression Hypothesis。它不是在说“LLM 生成的新东西天然更好”,而是在说:LLM 的价值来自 directed non-local exploration,即有方向的非局部跳跃。单纯随机地跳到一个正交方向,只会增加覆盖面积,不会增加发现收益。

2. 论文要解决什么问题

很多自动发现系统都会遇到一个共同瓶颈:候选假设数量越来越多,但新增候选之间高度相关,真正独立的信息方向并没有同步增长。比如:

  • 量化因子发现里,大量表达式看似不同,但最终都在描述相似的动量、成交量、反转或波动结构。
  • 符号回归里,很多表达式形式不同,但在样本上的预测向量高度相关。
  • 神经架构搜索、遗传编程、自动化科学发现也会出现类似的候选坍缩。

作者认为,这种瓶颈可以用一个谱几何概念描述:spectral compression,也就是候选假设相关矩阵的有效维度远低于名义维度。

直觉上,假设库里有 100 个候选,但相关矩阵的有效秩只有 28,那么这 100 个候选实际上只覆盖了大约 28 个独立方向。继续在这些候选附近做本地搜索,大概率只是生成更多相似方向。

3. 核心概念

3.1 Hypothesis archive

论文把已有候选假设组成的集合称为 archive,记作:

每个候选假设可以看成一个向量。以量化因子为例,一个因子在多个日期和资产上的取值可以拉平成一个标准化向量。

3.2 Spectral compression

对 archive 中候选向量计算相关矩阵:

设其特征值为:

作者用 effective rank 衡量有效维度:

如果 $r_{\text{eff}} \ll N$,说明名义上有很多候选,但方差主要集中在少数特征方向上,搜索空间发生了谱压缩。

3.3 Discovery yield

作者定义 discovery yield 时同时考虑两件事:

  1. 候选是否有足够预测能力,例如因子的 ICIR 是否超过阈值。
  2. 候选是否足够新,即和 archive 里已有候选的最大相关性不能太高。

形式上,给定 ICIR 阈值 $\tau$ 和冗余限制 $\rho$:

这比只看“生成多少候选”更合理,因为发现系统真正需要的是 有预测力且不冗余 的候选。

3.4 Escape distance

结构化本地搜索只能在已有候选张成空间附近活动。设结构化空间为 $\mathcal{S}$,LLM 生成的 seed 为 $z$,其逃逸距离定义为:

如果 $d_\perp$ 很小,说明这个 seed 实际上没有离开已有结构化空间;如果很大,说明它提供了新的几何方向。

3.5 Residual signal alignment 和 Predictive Novelty

仅仅正交还不够。随机方向也可以很正交,但它可能完全不含目标信号。

因此作者定义残差信号对齐:

其中:

也就是说,把候选中能被 archive 解释的部分去掉,只看剩余的逃逸部分是否还和目标 $y$ 对齐。

实际估计中,作者用 Predictive Novelty 近似 RSA:

这也是论文最重要的概念之一:novelty 本身不够,predictive novelty 才有用。

4. 论文的理论主张

4.1 本地搜索收益受有效秩限制

作者给出一个 stylized proposition:在若干 bounded leverage、bounded dependence、stable rank 等假设下,结构化候选的期望发现收益满足:

意思是:本地结构化搜索的有效收益会随有效秩下降而下降。archive 越压缩,局部枚举越容易重复已有方向。

作者自己也强调,这不是一个紧的普适数值界,而是解释性的 scaling law。

4.2 混合搜索有用的三个必要条件

论文的核心定理是:Hybrid search 相对 pure structured search 的收益 $\Delta_{\text{yield}}$ 想要为正,至少需要三个条件同时存在:

  1. Compression:空间确实被压缩,即 $1 - r_{\text{eff}}/N$ 不能趋近于 0。
  2. Escape:seed 确实逃出了已有结构化空间,即 $d_\perp$ 不能趋近于 0。
  3. Alignment:逃逸方向仍然与目标信号对齐,即 RSA 不能趋近于 0。

如果任意一个条件消失,则:

这给出一个很实用的判断:

  • 如果已有结构化搜索已经接近满秩,LLM seed 没什么必要。
  • 如果 LLM seed 只是已有方向的改写,没什么必要。
  • 如果 LLM seed 虽然新但不预测目标,也没什么必要。

4.3 Search Compression Principle

作者把三个条件合成一个原则:

这条式子的直觉非常清晰:

  • 有压缩,才有必要探索。
  • 有逃逸,才不是重复。
  • 有对齐,才不是随机噪声。

我的理解是,这个原则可以当成一个 LLM 探索预算分配的诊断器。不是“遇到搜索就上 LLM”,而是先测 archive 是否压缩,再测 LLM seed 是否真正带来有预测力的新方向。

5. 方法框架:HybridFactor

论文把混合发现系统表示成三个算子的组合:

三个算子分别是:

  • $\mathcal{T}_{\text{jump}}$:由 LLM 生成非局部 seed。
  • $\mathcal{T}_{\text{local}}$:围绕 seed 做结构化局部枚举。
  • $\mathcal{T}_{\text{verify}}$:验证候选的预测能力、冗余度、正交覆盖和复杂度。

在量化因子实验里,具体流程是:

  1. LLM 使用因子 taxonomy 和已接受因子的知识库生成 Python 候选表达式。
  2. 解析表达式中的 base factors 和 operators。
  3. 结构化引擎围绕这些 base factors 枚举 pairwise combination,包括 product、ratio、difference、20-day rolling correlation,以及 market-cap segment 条件变体。
  4. 候选按市场市值分段评估,用 Pearson IC 对 weekly forward returns 计算表现。
  5. 接受条件包括 $|\text{ICIR}| > 0.3$ 和 $|\text{IC}| < 0.95$。

这里的重点不是作者提出了一个特别复杂的因子工程 pipeline,而是把 LLM 的角色限定为“生成可能逃出压缩空间的 seed”,再交给结构化枚举和验证机制筛掉无效 novelty。

6. 实验设计和主要结果

6.1 A 股因子发现设置

数据来自 Tushare Pro API,覆盖 5,647 只 A 股,时间为 2010-01 到 2026-05。

数据切分:

  • 2010-2018:训练
  • 2019-2021:验证
  • 2022-2026:测试

过滤条件:

  • 排除 ST 和 *ST 股票。
  • 排除交易日少于 60 天的股票。
  • 排除 IPO 后 30 天内的股票。

对比方法:

  • Pure LLM:100 个 LLM 生成表达式,直接评估,不做结构化扩展。
  • Pure Structured:11 个 base factors 做 55 个 pairwise product 组合。
  • Hybrid:LLM seed 加结构化扩展。

指标:

  • Mean IC
  • ICIR
  • acceptance rate
  • accepted factors 数量
  • best per-segment ICIR
  • novelty,也就是和 archive 的相关性

6.2 合成谱压缩实验

作者构造了可控有效秩的合成因子-收益数据,设置:

结果如下:

$r_{\text{eff}}/N$ Structured Random LLM-style Hybrid
0.1 15.5 0.0 6.6 20.3
0.3 9.4 0.0 1.6 10.4
0.5 5.7 0.0 0.1 5.5
0.8 2.5 0.0 0.0 2.4
0.95 1.8 0.0 0.0 1.9
0.98 1.7 0.0 0.0 1.8

关键观察:

  • 高压缩时,Hybrid 明显优于 Structured。
  • 接近满秩时,Hybrid 优势消失。
  • Random 在所有 regime 中 yield 为 0,说明随机正交跳跃不能替代有方向的探索。

这个实验是论文最干净的证据之一,因为它直接控制了 $r_{\text{eff}}/N$。

6.3 Signal planting:信号到底在哪个特征空间

作者进一步把目标信号人为种到不同 eigenspace:

  • top eigenspace
  • middle eigenspace
  • weak eigenspace

主文表格报告 top 和 weak:

$r_{\text{eff}}/N$ Signal Structured Random Hybrid $\Delta_{\text{yield}}$
0.15 Top 24.6 0.0 22.7 -1.9
0.15 Weak 20.0 0.0 22.6 +2.5
0.30 Top 17.3 0.0 15.6 -1.7
0.30 Weak 12.5 0.0 15.3 +2.8
0.50 Top 12.9 0.0 11.2 -1.7
0.50 Weak 8.7 0.0 11.2 +2.6
0.80 Top 9.2 0.0 7.7 -1.5
0.80 Weak 6.2 0.0 9.1 +2.8

这组实验很有说服力,因为它显示:

  • 如果信号已经在 top eigenspace,即结构化本地搜索容易覆盖的位置,Hybrid 反而可能拖累。
  • 如果信号在 weak eigenspace,即局部搜索不容易覆盖的位置,Hybrid 才有正收益。

也就是说,LLM 非局部探索不是万能增强器,而是针对“弱表示但含信号方向”的补充。

6.4 Directed vs random escape

这是全篇最关键的机制验证实验。作者比较四种 seed:

  • Random:纯随机方向,高逃逸距离,无目标引导。
  • Shuffled:随机重组 weak factors,保留谱几何但没有目标引导。
  • Retrieval-guided:按和目标的相关性选择 weak factors。
  • Oracle:直接访问 planted signal 方向,是上界。

结果:

Seed strategy Yield RSA / PN Mean $d_\perp$
Random 0.01 0.046 0.969
Shuffled 8.03 0.254 0.692
Retrieval-guided 12.30 0.470 0.688
Oracle 15.00 0.894 0.699

最重要的对比是 Retrieval-guided 和 Shuffled:

  • 两者逃逸距离几乎一样:0.688 vs 0.692。
  • Retrieval-guided 的 yield 高 53%。
  • Retrieval-guided 的 PN/RSA 高 85%。

这说明真正驱动收益的不是“更远的逃逸”,而是“逃逸方向和目标有关系”。Random 的 $d_\perp$ 最高,但 yield 接近 0,也直接反驳了“只要正交就有用”的想法。

6.5 真实 A 股因子压缩 sweep

作者用 3,638 个真实 A 股因子和预计算 IC 评估构造不同压缩程度的因子子集。

结果:

Subset Structured Random LLM-style Hybrid $\Delta_{\text{yield}}$
All factors ($r_{\text{eff}}/N=0.003$) 25.2 0.0 5.0 31.2 +6.0
High-corr ($r_{\text{eff}}/N=0.003$) 38.8 0.0 9.1 49.8 +11.0
Random 50% ($r_{\text{eff}}/N=0.006$) 23.3 0.0 5.2 29.8 +6.5
Low-corr ($r_{\text{eff}}/N=0.025$) 21.9 0.0 0.6 22.7 +0.8
Decorrelated ($r_{\text{eff}}/N=0.086$) 23.2 0.0 2.6 26.4 +3.1

作者报告 Hybrid advantage 和 $r_{\text{eff}}/N$ 负相关,Spearman $\rho=-0.72$。

这和理论一致:越压缩,越有空间让 directed non-local seed 带来收益。

6.6 完整因子发现结果

完整 HybridFactor 运行中:

Method Candidates Accepted Rate Best ICIR Breadth
Pure LLM 100 9 9% 0.52 9
Pure Structured 55 10 18% 0.42 10
HybridFactor 155 19 12% 0.52 19

Hybrid 的优势主要体现在:

  • accepted factors 数更多。
  • discovery breadth 更高。
  • best ICIR 不低于 pure LLM。
  • 相比 pure structured,能找到更多非冗余方向。

不过这个结果也要谨慎看:Hybrid 候选数是 155,而 structured 是 55,pure LLM 是 100。虽然 accepted breadth 提升明显,但候选预算不完全一致。作者后面用 OpenML 和 policy ablation 讨论预算分配,但因子主实验本身更像 supporting evidence。

6.7 Symbolic regression 泛化验证

作者把框架也用于符号回归。主文使用 LLM-SRBench 的 158 个问题,对比 GP-only、LLM-only、Hybrid。

结果:

Category Method n Median R2 Recovery Wins
Synthetic GP-only 72 0.980 96% 34/72
Synthetic LLM-only 72 0.757 71% 0/72
Synthetic Hybrid 72 0.984 99% 38/72
Transform GP-only 86 -0.011 37% 48/86
Transform LLM-only 86 -1.253 12% 0/86
Transform Hybrid 86 -0.065 34% 38/86
Overall GP-only 158 0.875 64% 79/158
Overall LLM-only 158 0.120 39% 3/158
Overall Hybrid 158 0.838 63% 76/158

需要注意:

  • Overall 上 Hybrid 并没有超过 GP-only。
  • Synthetic 类别上 Hybrid 与 GP 接近,略高。
  • Transform 类别上所有方法都差,Hybrid 的主要价值是 rescue 一部分 GP catastrophic failure。
  • 作者报告 Hybrid rescue 25/46 个 GP catastrophic failures。

所以符号回归实验不是“Hybrid 全面碾压 GP”,而是“当 GP 局部搜索陷入灾难失败时,Hybrid 有一定救援能力”。这和论文理论比较一致。

6.8 OpenML tabular check

作者还做了 OpenML tabular panel,共 12 个公开数据集、19 个 held-out splits、48 次 provider calls。

但作者明确说:这不是第三个 compression-law validation,而是 operational sanity check。它测试的是,能否用诊断信号分配 LLM proposal budget。

结果里 diagnostic validation-proxy:

  • test score 0.411
  • local-only 为 0.380
  • fixed 50/50 hybrid 为 0.352
  • always-LLM 为 0.191
  • random nonlocal 为 0.228

结论是:强迫使用非局部探索反而不好;用验证可见信号判断是否值得花 LLM 预算更合理。

7. 论文的主要贡献

我认为这篇论文有四个值得记住的贡献。

7.1 把“发现瓶颈”从候选数量问题改写成谱压缩问题

很多自动发现系统的问题不是候选太少,而是候选太像。作者用 effective rank 把这个现象形式化,提供了一个可测量的诊断指标。

这对工程实践很有用。比如在因子挖掘系统里,不要只看每天生成了多少 alpha,也要看 alpha correlation matrix 的 effective rank 是否还在增长。

7.2 明确区分 novelty 和 predictive novelty

这是本文最有价值的概念区分。

很多 LLM 科学发现系统容易把“新颖”当成目标,但一个方向即使和已有 archive 正交,也可能完全没有预测力。作者通过 RSA/PredNovelty 强调:

有用的新方向必须同时新颖且带目标信号。

这对 LLM agent、自动研究系统、量化因子挖掘都非常重要。

7.3 给出 LLM 探索的停止规则

论文给出一个实用判断:当下面任意一项接近失效时,可以停止 LLM 非局部探索:

  • $r_{\text{eff}}/N \approx 1$
  • $\bar{d}_\perp \approx 0$
  • $\overline{\operatorname{RSA}} \approx 0$

换句话说,LLM 不是默认一直调用,而是当 archive 显示本地搜索已压缩、且 LLM seed 仍能给出 predictive residual coverage 时才调用。

7.4 用多种实验隔离机制

论文不只报告一个 end-to-end 提升,而是做了:

  • 合成压缩 sweep
  • signal planting
  • directed vs random escape
  • 真实因子 compression sweep
  • A 股因子发现
  • symbolic regression
  • OpenML budget allocation sanity check

其中 signal planting 和 directed-vs-random escape 是最强的机制证据。

8. 论文的局限和需要警惕的地方

8.1 理论是必要条件,不是充分条件

作者自己说得很清楚:三个条件同时成立,不保证 Hybrid 一定有正收益;它们只是必要条件。

所以这篇论文不能被解读为:

只要空间压缩、seed 正交、有 PN,就一定有收益。

更准确的说法是:

如果缺少任何一个条件,收益大概率消失;如果都有,才值得尝试。

8.2 Proposition 的假设较强,更多是解释性 scaling

本地搜索收益界依赖 bounded leverage、bounded dependence、stable rank 等假设,并且作者多次强调这是 stylized and explanatory,不是 tight universal bound。

也就是说,它提供的是理论语言和方向,而不是可以直接拿来精确预测收益的公式。

8.3 因子实验有预算和数据可复现问题

主因子实验中,Hybrid 的候选数量更大;虽然作者提供了预算分配和 ablation,但 end-to-end 表格不能单独证明“方法质量更高”。

另外 A 股数据来自 Tushare Pro,原始数据不可随论文直接再分发。作者说会 release scripts、cached outputs、prompts、manifests,但在论文提交版本里还没有实际开源链接。因此当前复现性还要打一个问号。

8.4 Symbolic regression 结果并非全面胜出

LLM-SRBench 上 Overall:

  • GP-only median R2 = 0.875
  • Hybrid median R2 = 0.838

所以不能说 Hybrid 在符号回归上整体优于 GP。更合理的解读是:Hybrid 对一部分 GP catastrophic failures 有 rescue 效果,但不是主导方法。

8.5 Cross-domain scaling 不可迁移

附录里 leave-one-domain-out validation 的 held-out R2 全为负,作者也承认 quantitative exponents 是 domain-specific and non-transferable。

这说明 Search Compression Principle 更像定性诊断框架,而不是跨领域统一数值定律。

8.6 LLM seed 的“语义引导”来源需要更细拆

Directed-vs-random escape 实验证明 retrieval-guided 比 shuffled 更好,但在真实 LLM 场景中,LLM 的语义引导到底来自:

  • 训练语料中的领域先验
  • prompt 中的 factor taxonomy
  • archive 反馈
  • retrieval 机制
  • 表达式 parser 和 verifier 的选择偏差

这些因素还没有被完全分离。

9. 对量化研究的启发

这篇论文对量化因子挖掘非常直接。

9.1 因子库应该监控 effective rank

不要只看因子数量,应该持续监控:

  • pairwise correlation
  • effective rank
  • top eigenvalue share
  • accepted factors 的 residual ICIR
  • 新因子相对 archive 的 projection residual

如果新因子越来越多,但 effective rank 不涨,说明系统在重复挖同一类模式。

9.2 LLM 更适合做 seed generator,不适合直接替代验证

论文里的 HybridFactor 不是让 LLM 直接给最终 alpha,而是:

  1. 让 LLM 提供非局部 seed。
  2. 让结构化引擎扩展。
  3. 让 verifier 过滤。

这和实际量化系统更匹配。LLM 的优势是提出人类可理解、结构上可能跳出局部空间的候选;最终是否有效仍必须靠严肃回测、去冗余、稳健性和交易成本检验。

9.3 随机探索不是便宜版 LLM

论文多次显示 random non-local search 几乎没有 yield。对因子挖掘而言,简单随机拼表达式、随机加噪声、随机正交化,不太可能替代有领域先验的 seed。

真正值得探索的是:

  • 基于历史失败案例的 retrieval-guided seed
  • 针对 weak eigenspace 的 directed generation
  • 先诊断 archive 缺失方向,再让 LLM 生成对应表达式

9.4 可以设计一个更工程化的因子发现 loop

一个可落地系统可以这样做:

  1. 维护 archive 的相关矩阵和 effective rank。
  2. 对每轮新增因子计算 projection residual。
  3. 当 $r_{\text{eff}}/N$ 下降或增长停滞时,触发 LLM jump。
  4. 让 LLM 根据 weak eigenspace、失败表达式、行业/市值分段残差生成 seed。
  5. 对 seed 做 local expansion。
  6. 验证 ICIR、相关性、残差 ICIR、稳定性、换手和成本。
  7. 如果 PN/RSA 下降,则停止 LLM exploration 或换 prompt/retrieval source。

10. 和 AlphaEvolve / FunSearch 一类方法的关系

这篇论文和 FunSearch、AlphaEvolve 一类 LLM-guided discovery 系统的关系是:它不是提出一个更大的搜索系统,而是在解释 什么时候 LLM-guided search 值得用。

FunSearch/AlphaEvolve 的主线是:

  • LLM 生成候选程序。
  • evaluator 评估。
  • archive 保存优秀候选。
  • LLM 基于 archive 继续变异。

本文补充的角度是:

  • archive 是否已经谱压缩?
  • LLM 生成的候选是否真的逃出 archive span?
  • 逃出去的部分是否仍与目标信号对齐?

如果把本文思想嵌入这类系统,应该不是盲目让 LLM 继续生成,而是给 archive 加一个 spectral diagnostic layer,用于决定:

  • 是否继续本地变异
  • 是否请求 LLM 做非局部跳跃
  • 是否丢弃 novelty-only 候选
  • 是否停止当前方向的探索

11. 我对论文可信度的判断

整体看,这篇论文的论证质量比较高,尤其因为它没有只靠一个大表格讲故事,而是用 signal planting 和 directed-vs-random escape 去隔离机制。它最可信的部分是:

  • novelty 不等于 predictive novelty。
  • 混合搜索的收益集中在 compressed 且 weak target-bearing directions。
  • random orthogonal exploration 基本无效。
  • 当结构化空间接近 full rank,Hybrid advantage 消失。

需要保留怀疑的部分是:

  • Search Compression Principle 目前更像候选定律,不是已证明的普适定律。
  • 跨领域定量指数不可迁移。
  • 因子发现的真实可复现性受数据和未发布代码影响。
  • LLM 语义引导在真实系统中的来源仍需更细拆分。

所以我的结论是:这是一篇概念框架很强、机制实验比较扎实、工程启发很大的论文,但不应被当成“LLM 混合搜索必胜”的实证证明。

12. 最值得记住的几个结论

  1. 自动发现系统的瓶颈常常不是候选数量不足,而是假设空间被相关性压缩。
  2. 本地结构化搜索的收益受 effective rank 限制。
  3. LLM 的价值不是生成“新东西”,而是生成有目标对齐的新方向。
  4. 正交逃逸不等于有效发现,随机方向通常没有预测力。
  5. Hybrid search 有用需要三个条件同时成立:compression、escape、alignment。
  6. 如果任意条件失效,就应该减少或停止 LLM 非局部探索。
  7. 在量化因子挖掘里,应该把 effective rank、residual ICIR、archive correlation 作为核心监控指标。

13. 可复现和延展建议

如果后续想基于这篇论文做实验,我建议从三个小实验开始:

13.1 在现有因子库上测 spectral compression

输入一个因子矩阵,计算:

  • correlation matrix
  • eigenvalue spectrum
  • effective rank
  • top eigenvalue share
  • mean absolute pairwise correlation

观察随着新增因子进入,effective rank 是否继续增长。

13.2 对每个新因子计算 residual ICIR

对候选因子 $f$:

  1. 用 archive 里的因子回归解释 $f$。
  2. 得到 residual $f_\perp$。
  3. 对 $f_\perp$ 计算 ICIR。

如果原始 ICIR 高但 residual ICIR 低,说明它可能只是旧因子的变体。

13.3 做 directed seed ablation

比较四种 seed:

  • random symbolic seed
  • shuffled historical seed
  • retrieval-guided seed
  • LLM-generated seed

同时测:

  • yield
  • $d_\perp$
  • residual ICIR / PN
  • 与 archive 的最大相关性

这样可以验证自己的系统里,LLM 到底是在提供方向,还是只是生成看起来新颖的表达式。

14. 总结

这篇论文最核心的价值,是把 LLM-guided discovery 从“多生成一些候选”推进到“诊断何时需要有方向的非局部探索”。它提出的压缩、逃逸、对齐三元组非常适合做工程系统中的监控指标。

对量化研究来说,它尤其有启发:因子挖掘不应该只追求表达式数量和单因子 ICIR,而应该追踪新增因子是否提高 archive 的有效维度,以及它在去掉已有因子解释部分之后是否仍然有预测力。

最终可以把这篇论文压缩成一句工程原则:

当本地搜索陷入相关性压缩时,让 LLM 生成能逃出 archive 且仍然对目标有 residual signal 的 seed;否则,继续生成只是在浪费预算。


Discovery under Hypothesis Redundancy 研读报告
https://www.polarishaw.top/2026/06/19/Discovery-under-Hypothesis-Redundancy-研读报告/
作者
Polaris
发布于
2026年6月19日
许可协议