← 返回动态

Hugging Face Daily Papers

文档提取的逐字段选择性风险控制: 三种失败模式、有效性阶梯与条件化时机

摘要

逐字段接受/复核的选择性风险控制在真实文档上会悄然失效。基于800张CORD收据的13,859个claude-sonnet-5字段(49.0%正确),诊断出三种失败模式:文档聚类(设计效应1.84-2.45)、分数重拟合泄漏(覆盖0.416,风险0.127,在95%分割中违反alpha=0.10)以及平局质量病态(阈值网格退化,0.030到0.001)。通过有效性阶梯组织修复:拟合/验证分裂协议恢复期望风险控制(覆盖0.318,风险0.096,名义alpha=0.10),而Mondrian Learn-then-Test提供逐组PAC证书(字段iid风险0.068,文档iid风险0.060)。支持箱(预先指定的来源分类)在sonnet上获胜(p < 1e-4,Bonferroni校正),但在haiku或qwen上未复现;在更高精度语料上,合并阈值获胜。盲三人人工金标审计验证了实践层的接受集风险为1.3%,低于10%预算(Fleiss' kappa=0.83)。代码以Apache-2.0发布。

证据与核对

发现渠道
Hugging Face Daily Papers
原始材料
arxiv.org
材料类型
预印本(arXiv);正式发表状态未核实
材料范围
获取范围未知
复核状态
未标记人工复核