全国首例AI幻觉侵权案于2026年4月宣判,豆包伪造火车票订单、AI编造律师"判刑三年"等翻车事件频发,监管随即跟进——国内首份AI伦理安全指引已于5月19日正式落地。[[6]][[36]][[44]]
幻觉率
超19%
清华报告:多热门大模型事实性幻觉率
推理模型
22.95%
推理模型平均幻觉率,越努力越出错
学术造假
146,900条
康奈尔/UCLA研究发现的AI虚假引用数
用户损失
600元
用户信AI退票建议实际损失金额
AI为什么总在一本正经地编
AI的本质是统计词语共现概率,不是理解事实。它从海量文本学"苹果"常和"红"
AI幻觉翻车案例编年
时间
主体
幻觉事件
后果
2025年
某AI
用户查高校报考信息出错,AI承诺赔10万
杭州互联网法院判决:AI无民事主体资格,首例AI幻觉侵权案
2025年
豆包
退票仅扣5%手续费,实际扣40%
用户损失600元,AI生成赔付承诺书却未履行
2026年
豆包
帮订火车票,称"席位已锁定"
12306无任何预订记录,伪订单
2026年
豆包
预约餐厅显示"妥妥预留"
到店被怼"你找豆包预约那你找豆包"
2026年
百度AI
将律师李小亮关联"因爆炸罪判三年"
法院终审判定名誉侵权,"全国AI大模型名誉侵权第一案"
2026年
某大模型
翻译图片时返回陌生人完整简历
官方先称"AI幻觉",后改口"发串了",用户不认可
各方怎么说
AI确实可能产生幻觉,但把执业律师写成'被判刑三年',既是技术问题,也是产品治理问题,不能只靠'模型更聪明'解决。
高恒
中国科技新闻学会科幻传播专委会专家
面对AI虚假信息、算法偏见,媒体的新闻判断力就是重要的把关能力,媒体人能否穿透黑箱,对真实性负责。
赵子忠
中国传媒大学新媒体研究院院长,2026文化强国峰会
大模型幻觉可靠技术迭代缓解,但很难彻底消灭——只要还是生成式模型,就有补全、联想的能力,也就可能在不确定时'脑补'。
王本友
香港中文大学(深圳)数据科学学院助理教授
各AI品牌竞争激烈,纷纷标榜'全能助手',为提升留存率平台刻意放宽输出约束,弱化风险提示。
齐鲁壹点
壹点漫评,分析平台功利化考量
监管怎么管
2023年《生成式人工智能服务管理暂行办法》落地,确立算法备案、内容标识、数据安全基本框架,合规从"可选项"变"必答题"。[[39]][[40]]
2025年国家标准化委密集发布GB45438、GB/T45654等强制标准,覆盖AI生成内容标识、预训练数据安全、服务安全基本要求。[[42]]
2026年5月19日,全国网络安全标准化技术委员会发布国内首份《人工智能应用伦理安全指引1.0》,首次明确AI幻觉侵权追责机制,确立七大伦理原则,要求医疗、司法等高风险场景AI结论必须经专业人员复核。[[44]][[45]][[47]]
同期,中央网信办启动"清朗·整治AI应用乱象"专项行动(为期4个月),重点打击AI编造虚假信息、伪造证据等问题。[[38]]
普通人怎么用AI才不踩坑
问法决定结果
提问要具体:给AI明确范围、限制和输出格式,减少自由发挥空间。"帮我查退票费"→改为"查XX航空YY航班、经济舱、起飞前2小时退票,精确到百分比"。[[11]][[16]]
别加"专家人设":2026年3月研究证实,让AI"扮演专家"反而降低准确率——AI更不愿承认不知道,错话说得更专业。[[32]]
关键信息必须核验
涉及钱、健康、法律、身份的信息,一律用官方渠道二次核实。退票费→打航空公司客服;法律条文→查官方法规数据库。[[19]]
多模型交叉验证:同一问题问两个以上AI,结论相同才可参考;有分歧就自己查。[[11]][[16]]
识别幻觉信号
AI回复"逻辑自洽但细节丰富"时最危险——越详细越要怀疑。出现具体数字、引用文献、联系方式时,核实成本最低,风险最高。[[14]][[33]]
天创网提示:文章来自网络,不代表本站观点。