文档提取的逐字段选择性风险控制: 三种失败模式、有效性阶梯与条件化时机
摘要
逐字段接受/复核的选择性风险控制在真实文档上会悄然失效。基于800张CORD收据的13,859个claude-sonnet-5字段(49.0%正确),诊断出三种失败模式:文档聚类(设计效应1.84-2.45)、分数重拟合泄漏(覆盖0.416,风险0.127,在95%分割中违反alpha=0.10)以及平局质量病态(阈值网格退化,0.030到0.001)。通过有效性阶梯组织修复:拟合/验证分裂协议恢复期望风险控制(覆盖0.318,风险0.096,名义alpha=0.10),而Mondrian Learn-then-Test提供逐组PAC证书(字段iid风险0.068,文档iid风险0.060)。支持箱(预先指定的来源分类)在sonnet上获胜(p < 1e-4,Bonferroni校正),但在haiku或qwen上未复现;在更高精度语料上,合并阈值获胜。盲三人人工金标审计验证了实践层的接受集风险为1.3%,低于10%预算(Fleiss' kappa=0.83)。代码以Apache-2.0发布。
证据与核对
- 发现渠道
- Hugging Face Daily Papers
- 原始材料
- arxiv.org
- 材料类型
- 预印本(arXiv);正式发表状态未核实
- 材料范围
- 获取范围未知
- 复核状态
- 未标记人工复核