- 类型
- 新闻
- 来源
- Ars Technica AI
- 发布
- 2026年9月11日 19:34
- 状态
- 单一信源
01
发生了什么
美国新墨西哥州一名辩护律师在法庭文件中引用由 ChatGPT 生成的虚假证词和虚构证人，因此受到处罚。该律师事后表示，自己此前不知道 AI 会凭空编造事实。报道未披露具体处罚形式、案件名称与法庭细节。
02
为什么重要
此前 AI 生成内容出错多停留在工具使用层面，此次直接进入司法程序并导致执业者被处罚，说明生成内容的失实后果开始由使用者实际承担，而不只是产品层面的体验问题。
03
底层逻辑
大语言模型按概率生成文本，没有内置的事实核验环节，在缺乏来源检索或人工复核时会输出看似合理但不存在的证人、证词和引文；法律文书对事实来源有严格要求，使用者若默认输出为真，错误就会直接进入正式记录。
04
产品与商业机会
对面向专业场景的 AI 产品，需要在引用、法条、案例等高风险输出上加入来源标注、检索校验与人工确认流程；研发上应把可追溯性和拒答机制作为默认能力，而非可选项，否则用户误用成本会转移为法律与声誉风险。
- 为法律、医疗等高风险场景提供带原文出处链接的生成结果，并强制标注每条事实的来源
- 开发文档事实核验工具，自动比对生成内容中的引文、案例编号与证人信息是否真实存在
- 在企业版产品中加入高风险领域提示与二次确认流程，记录用户对关键输出的确认操作
05
仍待确认
- 该律师受到的具体处罚形式和程度是什么
- 涉事案件与法院是否已公布完整裁决文本
- ChatGPT 在该案中生成虚假证人的具体提示与使用过程是怎样的
- 是否有其他类似案例已被记录或统计
原文与媒体展开查看
