LlamaExtract Max effort：值得多花钱的，是哪些关键漏项？

10 月 29 日，LlamaIndex 为 Extract 的 Agentic Plus 档位推出了 Max effort。这个选项让复杂文档可以使用更多计算，费用随实际用量变化。厂商公告称，在自有的 ExtractBench Pro 基准上，Value F1 从 77.7 提升到了 94.3。这值得研究，但还不能据此认定，你的发票、客户资料或文档审核应用已经适合自动处理所有后续操作。

小团队更应该先回答一个具体问题：哪些字段一旦漏掉或读错，代价高到值得增加处理成本、等待时间，甚至改变复核流程？ 在 JSON 里，少一个内部标签和少一条交付限制看起来都只是缺了一个字段，对客户造成的影响却可能完全不同。

本文面向正在做文档功能的创始人和 AI 应用搭建者，提供一张关键字段评估表、一套同文档对照试验，以及把人工复核和等待体验一起考虑的分流方法。发布事实与分数来自 LlamaIndex 官方公告，采用方法是我们的建议。本次阅读了产品文档和公开评测材料，没有调用付费抽取服务，也没有测得客户使用效果。

1. 新选项首先改变的是产品承诺

文档抽取，是把来源材料转成有明确名称的字段，例如供应商名称、交付日期、明细清单，或某个订单附带的条件。Schema 可以理解为“字段定义”，规定要什么信息、各字段具体代表什么。解析则是更前面的一步，用来识别文档的文字和版式。解析结果可读、输出符合字段结构，都不等于信息已经完整。

Max effort 提供了一个为难处理输入增加计算的机会。最容易出现的冲动，是给所有上传任务都加上“高级处理”开关。但如果产品承诺还没说清楚，这一步就太早了。你的应用是在生成供人检查的草稿、发现异常，还是在创建会被下游系统直接执行的记录？即使三者使用同一家抽取服务，它们也是不同的产品任务。

先写清结果支持什么决策。例如：“采购协调员可以比较供应商确认的交付条件与原订单是否一致。”这比“从 PDF 里提取所有内容”更有用，因为它说明了谁的工作会改善、什么错误最重要。公司地址提取得再准确，如果交付限制被漏掉，对这个承诺仍然没有多少帮助。

还要约定任务完成时，界面究竟可以怎么说。“处理完成”可能只代表服务返回了结果；“可以批准”则暗示完整性和异常情况已经经过更强的检查。应用不应悄悄把前者变成后者。即使集成代码由 AI 搭建工具生成，这个区别仍然需要创始人来决定。

我们的建议是，把 Max effort 当作某个明确文档流程的候选方案。你要购买的是“更有机会找回重要依据”，同时接受相应费用与延迟；增加计算本身并不能成为取消复核的理由。如果团队还说不出哪种漏项会带来实际后果，先把产品任务定义好。

2. 把基准当作难例地图来读

ExtractBench Pro 的价值之一，是公开数据集说明让评测范围可以被检查：它包含 100 份合成文档，分为六类挑战，附有字段定义和预期答案。难点包括文档内部约定、关系图、图表及特定计数规则。先固定虚构数值、再渲染文档，有利于获得明确答案，但并不意味着这些材料能代表每位客户的实际工作。

Value F1 同时考虑该找到的值是否找到，以及是否返回了错误的额外值。它与“整份文档所有内容都正确的比例”是两回事。一个较高的汇总分数，不能告诉你单次上传中所有影响决策的字段有多大概率同时正确，也不能区分某个空缺究竟是“原文没有”，还是“模型没找到”。

更好的用法，是借评测来追问自己的输入。用户上传的是清晰的电子订单、横放的扫描件、不熟悉的缩写，还是信息分散在表格与脚注之间的文件？数量是直接印在纸上的，藏在图示关系里，还是要按另一处规则计算？这些差别可以帮助你划分试验组，但不能把基准平均分直接当成生产准确率。

尤其要对照“评测统计的错误”和“客户真正关心的错误”。假如应用准确提取了几十个描述字段，却漏掉一条足以改变用户决定的条件，字段平均表现可能很好，核心任务仍然失败。应该单独记录这种条件，避免用一个综合分数把它的重要性稀释掉。

这份基准由发布功能的厂商提供。公开材料便于核验，却不等于独立复现。本文不据此给供应商排名，也不推断中文文档的效果。双语产品必须把实际使用的语言和中英混排版式纳入自己的试验。翻译字段定义，并不能证明不同语言的文档惯例都能同样处理。

3. 多买计算之前，先填关键字段评估表

用一张简短的表，把字段与后果连起来。这里的“关键字段”，指的是一旦遗漏或理解错误，就可能实质改变下一步行动的信息。关键性来自业务流程，不能仅凭它是不是数字、是不是必填项、在页面上是否醒目来判断。

下面是一份可复用的规划表。示例来自虚构的供应商确认单助手，不是真实客户部署，也不是测得的实验结果。开始试验前，请替换成你们自己的文档类别、负责人和验收规则。

两个字段的错误后果不同，就应分别记录。交付日期和内部参考编号即使都是字符串，也不应该自动使用同一套验收规则。反过来，一个表单里标作“选填”的字段，一旦出现，也可能是客户决策中必不可少的条件。

这份表应当简短到可以带进实际复核。如果某类文档没有负责人，也没有真正缺失时的处理规则，就不适合自动接受结果。更多计算也许能帮助找到一个值，却不能替你决定原文件从未提供这个值时该怎么办。后者是需要先补齐的产品要求。

4. 对照试验要保持输入与问题一致

对同一份文档分别运行基线方案和候选方案，保持字段定义、相关选项及受支持版本一致。配置指南说明 Max effort 属于 Agentic Plus 的选项，也支持使用相同版本进行比较。应保存实际生效的配置，不能只凭试验界面上一个开关的截图判断。

在查看模型结果前，让熟悉业务的人先根据原文确定关键字段的正确答案。原文存在歧义，就记录歧义，不要强行定出唯一答案。样本应覆盖普通上传、已知难例、确实没有某个值的文件、修订件，以及同时出现多个合理日期或总额的材料。专门构造的样例要明确标记，不能把它们当作真实工作中的自然占比。

把用来调试的文档和最后检验的保留样本分开。先在调试组里明确字段说明与规则，定稿后冻结，再检查保留样本。如果看过失败结果之后修改了字段定义，就应在新定义下把两条路径都重新运行，并记录变化。否则，修好字段描述的功劳很容易被误归给更多计算。

每份文档都记录关键漏项、关键错值、没有来源支持的新增内容、人工修改、实际耗时和收费。失败或未完成任务也要进入统计分母。只在一部分文件上返回好结果的方案，仍然可能让最需要帮助的客户一直等下去。

不要因为候选方案修好了最让人印象深刻的一次错误就采用它。还要看普通文件是否退步，是否出现语气笃定但原文不支持的答案。复核人员意见不一致时，要回到原文裁定。如果正确答案本身被修订，保留修改历史，避免无声换标签把成绩抬高。

小规模试验能帮助决策，但不构成统计保证。报告结果时，同时交代文档类别、语言、选样方式与排除项。如果样本太少或挑选痕迹太强，结论可以是先维持辅助式流程，或扩大试验，而不应该宣称已获得生产成功率。

5. 一份供应商确认单，能看清真正的取舍

设想一个三人团队在为采购协调员开发助手。用户上传供应商确认单，首页重复了买方要求的到货日期；后面的修订说明则指出，某件货会晚到，除非买方接受替代品。应用要生成的是一份标明异常的对照草稿，并不负责批准采购或联系供应商。

基线方案可能返回较早日期和看起来齐全的明细，却漏掉修订说明；候选方案可能找到修订，却把条件关联到错误的商品。这些是假设性的待测失败模式，不是我们观察到的 LlamaExtract 行为。它们说明，“返回字段更多”并不是足够的验收标准。

复核者需要同时弄清三件事：条件影响哪件商品，哪个日期仍然有效，以及买方还有什么选择。单一引用片段未必能解决三者。产品应允许查看修订内容的上下文；如果关系仍不清楚，就保留待确认状态。

再看一份日期唯一、内容清晰的确认单。如果现有流程已经能快速生成正确草稿，新增路径可能只增加延迟，不改变决策。这是有价值的对照，不应该因“不够难”而被剔除。只围着复杂异常优化，可能让普通用户承担他们并不需要的处理成本。

最后加入一份从未写交付日期的确认单。正确行为应是请求澄清，或让字段保持待确认。如果应用从其他记录中拿来买方要求日期，却不告知用户，它就已经从抽取跨到了推断。推断也许有用，但应该有不同的标签和批准规则。

因此，一个合理试验范围是：研究 Max effort 能否让涉及修订的对照草稿更可靠，并值得相应费用。它不能支撑“应用可以自主接受所有供应商确认单”这样的宽泛承诺。这个边界应同时出现在开发说明、结果界面和发布决策中。

6. 按可支持决策的结果算账，也要看最贵的任务

相关成本不止抽取服务一项，还包括适用时的解析、重试、复核时间，以及错误带来的额外工作。价格文档将 Max effort 描述为按模型用量收费，以 Agentic Plus 页费为最低收费，解析另计。最低收费是下限，不能当成上限，也不是每份文档的固定报价。

试验可以用一份简单账本：处理费用，加上按事先明确的内部费率折算的复核时间，再除以达到约定决策要求的草稿数。符合要求的草稿必须满足关键字段规则；若保留待确认状态，只有在它支持了约定下一步，例如明确需要向供应商询问什么时，才计入。仅仅被搁置在待处理队列里的结果不能算成功。时间成本与现金支出也要分开显示，避免把估算的人工价值包装成真实省下的钱。

同时报告实际观察到最慢和最贵的任务、所属文档类型，以及最终是否产生可用结果。平均数无法回答：一份特殊上传会不会消耗本来够多个普通客户使用的预算。提交前先限定试验支出，并约定当实际工作量超出预计时如何处理。

账单要从真实用量记录读取，不能把返回结果的数据包当成收费凭证。响应格式文档区分了抽取结果、展开后的配置、元数据与用量。收费数值可能晚于任务完成出现；仍未入账的值应记为未知，不能填零。对照试验复用同一解析任务时，也不能把共享解析费用重复累计。

除非有站得住脚的输入，否则不要估算“避免错误节省了多少钱”。可能错过一次交付值得研究，但不能因此用虚构错误率乘上虚构损失。依靠实际复核工作量、真实收费、明确记录的关键错误，以及对后续损失的诚实不确定性，仍然可以做决策。

只有完整算账后，效果仍然值得，才考虑扩大范围。如果收益只出现在某个窄类别，就只对那个类别采用。如果改清楚字段说明已经低成本解决问题，应保留这项改进，而不是把功劳算给额外计算。

7. 复核应围绕来源依据，而不是信心分数

置信度分数是在估计某个已返回字段有多可信。它本身不能证明所有相关字段都已被发现。漏掉的修订可能根本没有生成一个低分字段，因此不会触发你的分流规则。所以，“低置信度就升级 Max effort”可以是一项待验证策略，却不能包办所有漏项检测。

元数据指南区分了来源引用与置信度，并明确指出高分不保证正确。试验时既要检查送去复核的结果，也要检查自动通过的结果。一项策略可能因为复核量少而显得高效，实际上却让重要错误悄悄漏过。

在供应商案例中，应把抽取值、对应原文位置和未解决条件放在一起展示。复核者要能纠正条件与商品的关联，而不仅仅修改一个日期格。保留原始输出与人工修订，团队才能识别反复出现的错误类型。不要用一个含义未经约定的绿色标记取代原文上下文。

分流可以综合已知文档类别、明确业务规则、关键字段不完整情况和不确定性信号。用人工检查过的样本评估整套分流策略。如果策略依赖识别难例，就必须检查它会漏掉多少难例。某种漏项如果连分流都触发不了，后面的备用方案就无法保护它。

复核能力也是产品设计的一部分。谁处理未解决的上传？客户能否继续其他工作？一份待确认草稿最多会停留多久？这些都需要明确。再强的抽取能力，配上无人处理的异常队列，也不能组成可靠服务。

对后果重大的决策，在有足够证据支持更窄的自动化承诺前，仍应由明确的人负责接受结果。更多计算与更丰富元数据可以改善此人的依据，却不会改变下一步行动的责任归属，也不会把估计变成核实过的事实。

8. 等待、重试与保存方式都影响是否值得采用

处理路径变长，上传体验也会改变。用户需要持久的任务状态，以及稍后返回同一任务的方式。生产抽取示例讨论了异步处理、轮询、超时和批量任务。这些是实现指导，不能当成你的实际文档会在多久内完成的承诺。

明确排队中、处理中、失败、取消，以及处理完成但待复核时，客户分别看到什么。浏览器超时不应自动被解释为抽取失败；用户再次点击上传，也不应无声地创建第二个收费任务。请开发者区分“重新连接已有任务”和“提交一个新任务”。

速率限制文档还区分了请求频率上限、同时运行任务的限制，以及不同拒绝原因。产品上的含义很直接：泛泛提示“请重试”不是可靠的运行方案。重试应有次数上限，要记录任务编号，持续受阻时要有明确接手路径。必须检查真实集成的行为，不能认为供应商示例已经替你解决这些问题。

文件访问同样需要认真设计。保存期限文档区分了解析源文件与缓存，以及会一直保留到删除或过期的 Files API 对象。不能统一承诺“所有上传文件都会在同一个时间后消失”。要明确应用保存哪些原件、结果与复核副本，目的是什么，由谁控制。

试验先用合成材料或已获适当授权的文件。开始真实客户试点前，应核对账户与流程适用的数据处理条款及权限。抽取质量并不能回答某个团队是否有权上传某份文件。删除供应商对象，也不一定会清除应用自身存储或客服流程里的副本。

这些都是采用标准，因为它们决定改进后的草稿是否真能用。答案更准确，但晚于客户决策、无法复核，或违反应用自己承诺的文件处理方式，都不能算产品成功。

9. 最终可以小范围采用、改流程、等待，或停止

根据评估表与对照试验，做出四种决策之一。对于明确的文档类别，如果关键字段表现改善、复核工作可承担、实际费用与等待时间符合预算，可以有限采用。除非已经单独证明取消人工接受结果的步骤合理，否则继续保留这个环节。

如果主要问题是字段含义不清、来源覆盖关系模糊，或结果界面隐藏了待确认条件，就先改流程。不要急着为更多处理付钱。发生实质性修改后，两条试验路径都重跑，让对照仍然可以解释。

如果现有材料还不能说明候选方案对真实文档是否有效、收费尚未记录完整，或上传与保存路径尚未约定，就选择等待。等待可以是继续现有人工方式，同时收集已获适当授权的样本，而不是先向付费用户展示一个未经验证的承诺。

如果关键错误持续存在、增加的复核抵消了收益，或无法可靠识别需要分流的文档类别，就停止这次采用计划。即使最终不使用新选项，也应保留试验中得到的字段定义与界面改进。试验的目的，是弄清产品，不是制造一个必须上线的义务。

交给开发者的说明应足够具体：用户要做的决策、纳入与排除的文档、冻结的字段定义和配置、关键字段预期值、待确认状态的处理、费用与时间记录、复核负责人，以及结果界面允许说出的准确承诺。启用客户试点之前，要求提供保留样本上的证据。

LlamaIndex 的这次发布，提供了一个值得研究的成本与质量取舍。创始人要决定的是，这个取舍究竟在哪些地方改善了客户的工作。从真正重要的漏项开始，保留判断所需的原文，只有当完整流程证明值得时，再为额外计算付费。

参考资料

• LlamaIndex：10 月 29 日发布 Extract V2.6 Max Effort
• ExtractBench Pro：公开数据集与评测范围
• Extract 配置指南
• 抽取价格说明
• Extract 响应格式与用量
• 元数据扩展
• 生产环境抽取流程
• 速率限制
• 数据保存期限