婚前试爱
AI 不需要永远正确,我们只需要守住最后一道底线_我的网站

A | 当前,我国老龄化程度正在不断加剧,截至2025年年底,全国60岁及以上老年人口已达3.2亿,占总人口的23%;预计到2030年,全国老龄人口将达到3.8亿人。 该图片使用了AI生成技术
本文来自微信公众号: HavenlonLabs ,作者:Havenlon Labs
现在谈AI安全,很多人的第一反应都是:怎样让模型少犯错?
减少幻觉、优化提示词、防止提示词注入、增加上下文、接入更强的模型,再用另一个Agent检查前一个Agent。
这些工作当然有价值。如何让银龄群体更好地享受高质量的“夕阳红”,也是全社会共同的责任。

B | 为践行国家体育总局“微光行动”公益理念,推动“体医融合”深入社区,让体彩发展成果惠及更多市民,7月28至30日,北京市体育彩票管理中心(以下简称北京体彩)携手北京健康文化促进会、北京医师协会、北京健康教育协会等专业机构,先后走进朝阳区华严北里社区、奥运村街道科学园社区及团结湖社区,开展“2026体彩健康公益行·幸福社区守护计划”系列活动,通过专家健康讲座、中医专家义诊、慢性病风险筛查、互动体验等多元形式,为社区中老年居民提供了一站式、零距离的健康服务,累计惠及社区居民300余人。
但它们容易让人产生一种错觉:只要模型足够聪明、提示词足够完善、检测系统足够复杂,AI就可以安全地完成一切。科普讲座:“接地气”地传递健康理念根据社区居民的需求,本次活动特邀北京市海淀区妇幼保健院主任医师徐文,首都医科大学附属北京安贞医院心内科主任医师、博士生导师、首批北京健康科普专家马涵英教授,为居民们带来了接地气的健康讲座。7月28日,首场活动在华严北里社区拉开帷幕,讲座还未开始,场下早早就坐满了等待的老人。
问题是,AI真的可能永远正确吗?
答案恐怕是否定的。
我们无法消灭所有错误
AI Agent面对的不是一道标准答案明确的考试题,而是不断变化的现实环境。
它读取的邮件可能是伪造的,访问的网页可能包含恶意指令,接收到的数据可能已经被污染,用户给出的任务也可能存在歧义。
即使模型本身没有受到攻击,它也可能误解目标、遗漏条件,或者基于不完整的信息作出一个看起来合理的决定。
我们可以持续提高模型的准确率,却很难证明它在下一次任务中一定不会犯错。围绕着“体彩护航,绽放她健康”的主题,徐文聚焦更年期及老年期女性健康,从“怎么吃”“怎么运动”到“如何调整情绪”,向大家系统讲解了综合养护与常见病的防治知识,帮助社区老年女性居民科学应对更年期。“都说‘有钱难买老来瘦’,听了这次讲座才知道原来这是一个错误的认知,上了年纪还是需要适当锻炼,长一点肌肉才健康,真是长知识了!”社区居民张阿姨说道,她也期待着未来在“家门口”听到更多专业的健康讲座。

C | 在随后两天的活动中,马涵英先后以“体彩护航,科学防慢病”和“体彩护航银龄生活”为主题,为社区居民带来了两场应景又实用的科普。
试图让AI永远正确,是在追求一个无法验证的目标;阻止危险结果发生,才是一条可以真正落地的边界。
真正的问题不是AI会不会犯错。

D | 其中,既涵盖了从健康体重管理、血压血脂监测、慢性病防治要点及营养与运动必要性等维度展开的系统讲解,又有从“防、诊、治、康”四个维度系统普及了老年人常见心脏基础病的预防识别、规范诊疗与心脏康复养护,并结合运动与营养两大关键要素,为社区老年居民提供了一套科学、实用的心脏健康管理方案。马涵英深耕老年心内科16年,长期关注老年慢性病规范化管控与医养结合健康管理,她强调“每一位居民都是自己健康的第一责任人”,鼓励大家将专业医学知识转化为日常生活中可落地、可坚持的健康行动。
它一定会。
真正的问题是:当它犯错以后,系统是否会毫无阻碍地把这个错误执行出去。可以说,三场通俗易懂的讲座,让老年人深刻认识到科学健康管理对晚年生活的重要性,消除了不少老人“不敢动、不会吃”的健康顾虑。
模型错误不一定等于现实损失
一个AI在聊天窗口里回答错误,造成的可能只是一次糟糕的体验。中医义诊:答疑解惑送健康中医是中华文化中的瑰宝。
但当同一个AI拿到支付接口、管理员权限、数据库写入权限和服务器控制权以后,错误的性质就完全不同了。
它可能把钱转给错误的地址,删除重要数据,修改生产环境,扩大成员权限,或者关闭本应保留的审计记录。本次活动设置的中医义诊区也都获得了颇高的人气,不大的义诊台前总是排着长队。“感觉最近睡眠不太好”“腿脚走得时间长了有些不舒服”“肩周炎您看应该怎么调理一下”……居民们轮流询问着自己的问题。
模型只是产生了一个错误判断。医生们不仅一一耐心解答,还不时地传授一些居家保健的实用小妙招。
真正把错误变成事故的,是后面的执行能力。

E | 在7月29日的活动中,出身中医世家、从医49年的非物质文化遗产“刘氏中药泥疗”第五代传承人刘运英主任更是亲临现场坐诊,为居民进行中医问诊、体质辨识和个性化健康指导。
模型犯错只是答案错了,执行失控才是真的出事。
这也是为什么,AI安全不能只盯着模型内部。
我们当然要防提示词注入,要提高推理能力,也要检测恶意输入。

F | 一位70多岁的社区居民在接受义诊后感慨:“平时去大医院挂专家号不容易,今天专家来到家门口,真是太方便了!”多位老年居民在义诊后收获了实用的健康建议,纷纷表示在家门口就能享受到专业的医疗服务,这次活动实在是“贴心又实用”。

G | 但即使前面的所有防线都失效了,系统仍然应该保留一道最后的底线。多元化互动体验:沉浸式感受体彩公益为了让社区居民获得更好地体验感,北京体彩还在现场设置了“体彩品牌展示区”“慢性病风险筛查区”“互动体验区”等多元化互动区域。

H | 体彩品牌展示区位于活动区域的入口处,内容详实的展板直观呈现了体彩公益金在支持全民健身设施建设、助力体育赛事开展、推动社会公益事业进步等方面的成果,让居民近距离了解体彩“来之于民、用之于民”的公益初心。慢性病风险筛查区可以为居民免费提供血压、血糖、骨密度及人体成分分析等检测服务,“筛查+解读+指导”的闭环服务模式让大家不仅知道自己的健康数据,更懂得如何据此调整生活方式。
这道底线不负责判断AI为什么犯错。互动体验区的“理性购彩大转盘”趣味问答则在寓教于乐中传递“快乐购彩、量力而行”的理性购彩理念。

I |
它只负责确认:这件事到底能不能发生。完整参与讲座并体验任一互动区域的居民,均可领取健康运动科普书籍、艺术家联名扇子、手机袋等精美礼品,让健康知识持续陪伴老人们的日常生活。

J |
守住钱袋子,比猜出所有骗子更现实
假设一个AI Agent正在替企业处理付款。“这一上午,能听讲座还能参与互动,还能有礼物拿,回家也能照着书上的内容继续锻炼,这活动简直太好了!”一位参与活动的居民拿着科普书籍《老年人身体功能强化锻炼教程》对活动赞不绝口。“之前北京体彩也在社区开展过运动类的活动,大家的参与度就很高。
我们可以训练它识别诈骗邮件,可以要求它核对合同,可以增加一个模型复核收款信息。而这次的活动不仅给广大老年居民送来了健康知识,也让大家对体彩公益有了更进一步的了解。
但我们无法保证它永远认得骗子。

K | 未来也希望有更多形式的活动走近社区,关注不同居民群体的需求。”华严北里西社区党委书记冯美兰说道。多年来,北京体彩始终坚守公益初心,通过多元化形式传递公益力量,为体育事业和公益事业发展持续注入动力。
骗子会改变话术,邮件账号可能被入侵,真实员工也可能被冒充。即使多个模型同时参与判断,它们仍可能基于同一份错误信息得出相同结论。
更现实的做法,是直接守住付款的底线:
单笔金额不能超过限制;新收款地址不能立即付款;审批后收款目标不能被替换;超出风险阈值必须经过独立确认;任何远程管理员都不能临时关闭这些规则。
这样,即使AI被欺骗,损失仍然会被限制。此次“2026体彩健康公益行·幸福社区守护计划”系列活动,也是北京体彩积极履行社会责任、服务民生的又一温暖注脚。
你不需要保证AI永远认得骗子,只需要保证骗子无法轻易带走你的钱。
这就是大道至简。

L |
前面可以有复杂的模型、提示词、工作流和检测系统。
最后只需要一条明确的边界:
不符合条件,就不执行。
最后的系统不必比AI更聪明
很多人认为,保护AI的安全系统也应该是一套更强大的AI。未来,北京体彩将继续扩大“健康中国,健康体彩”的影响力,让更多市民朋友感受到“公益体彩,乐善人生”的温暖与力量。
但位于最后一道边界的系统,未必需要理解自然语言,也不需要参与复杂推理。
它只需要知道几个确定事实:
这次操作要转多少钱,目标是谁,权限是否发生变化,数据是否可以恢复,风险条件有没有超限。

M |
这些事实不满足,就拒绝。

N |
安全不一定要比风险更聪明,它只需要守住风险最终必须经过的那道门。
越靠近最终执行,系统反而越应该简单、独立和保守。
因为复杂意味着更多配置、更多依赖、更多攻击面,也意味着系统可能被前面的同一套错误逻辑同时影响。
真正的最后防线,不应该和Agent使用同一个提示词、同一个上下文、同一套权限,也不应该因为SaaS中有人点击了“强制执行”就自动失效。
它存在的意义,就是在所有人都认为可以继续时,依然保留拒绝的能力。
底线应该由人提前决定
当然,底线并不是系统自己创造的。
企业需要提前决定,什么事情绝对不能由AI单独完成。
可能是一笔超过限额的付款,可能是删除核心数据库,可能是修改管理员权限,也可能是让现实设备进入不可逆状态。
这些边界一旦确定,就不应该交给Agent在执行过程中临时解释。

o |
真正的安全,不是让AI在最后一秒重新思考,而是让人类在风险发生之前提前划清边界。
AI可以负责分析、规划、推荐,甚至完成绝大部分自动化工作。
但越是不可逆、越是高价值、越可能造成现实损失的操作,越需要一道独立于AI判断的最终约束。
AI安全的终点,不是把模型训练成永不犯错的圣人,而是让系统在模型犯错时依然守得住自己的底线。
未来的AI一定会越来越聪明,也会获得越来越多的工具和权限。
我们没有必要因为它可能犯错,就拒绝所有自动化。

p |
但我们也不能因为它越来越强,就默认把最后的决定权一起交出去。

q |
最后想和大家讨论一个问题:
对你来说,AI最不能越过的底线是什么——钱、管理员权限、核心数据,还是现实设备的控制权?
本内容由作者授权发布,观点仅代表作者本人,不代表虎嗅立场。

r | 如对本稿件有异议或投诉,请联系 [email protected]。

s |
Current article:http://rdd9yaj.cengzaodengchawonin.cyou/list_udn9c/6d4k89.html
Published on:00:00:00