系统风险分级:AI客服和推荐各算哪一档
从2026年8月2日起,面向欧盟用户的独立站/APP,只要用到AI客服、个性化推荐,就要按《欧盟AI法案》做“按风险管”。不做,可能遇到最高全球营业额7%的罚款,甚至被要求下架整改。
- AI客服(对话/工单自动回复):多数落在有限风险,核心是透明度与可追溯。
- 个性化推荐:一般也是低/有限风险;但一旦用到情感识别、未成年人强定向、或用敏感数据推断(健康、宗教等),就会被放大审查强度,风险评估要更重。
一个常见踩雷:把“客服聊天内容”直接拿去训练推荐模型,还没做数据最小化和告知,同步触发合规连锁反应(AI法案透明度+隐私规则)。
用户说明与界面呈现:别藏在条款里
对AI客服,做法要简单粗暴:用户一进对话就看见。建议在聊天窗口固定展示:
- 你正在与AI客服互动(必要时提供“转人工”入口)。
- AI能做什么、不能做什么:例如“可查询订单/退货政策;不做医疗/法律建议”。
- 关键决策提示:如退款被拒绝、风控拦截这类结果,给到“原因摘要+申诉/人工复核”。
对推荐系统,把“个性化推荐”说人话:在“为你推荐”旁放一个“为什么看到这个”说明,列出1-3个主因(浏览、加购、相似用户偏好),再给关闭个性化的开关。
运行日志留存:监管要看的是“能不能复盘”
日志别只留服务器访问日志。建议按“可审计”来设计,覆盖输入-模型-输出-人工介入链路:
- 会话/推荐请求ID、时间、国家/语言、触发场景(售后/支付/登录)。
- 模型与提示词版本、规则策略版本、关键特征摘要(避免把敏感原文全量落库)。
- 输出内容、是否命中安全拦截、是否转人工、人工改写记录。
- 异常事件:例如“错误承诺赔付”“诱导未成年人消费”,要能一键拉出同版本影响范围。
小案例:同一版AI客服在西语区把“7天无理由”说成“30天”,这类问题如果能用版本日志定位到上线时间和受影响订单,整改成本会比全站停用低很多。
给商家可直接照抄的执行清单
- 把所有AI功能做一张表:用途、用户触点、是否用到敏感数据、是否影响用户权利(退款/封号/价格)。
- 聊天窗加固定提示+转人工;推荐位加“为什么推荐”+关闭开关。
- 上线前做一次“红队测试”:让同事故意诱导AI输出违规承诺、歧视性措辞、敏感信息,看拦不拦得住。
- 建立日志四件套:请求ID、版本、输出、人工介入;每次发布必须可回滚。
- 用第三方大模型时,把合同补齐:数据不用于训练/用途边界/安全事件通知/可提供合规所需文档。