
近日有用户发帖反映使用飞鸭AI记帐App时,告知记帐AI自己为父亲购买159元人民币(约23美元)衣服,AI竟不当回复称,「那颜色…他穿出去邻居会不会以为你买了寿衣?!」
扬子晚报报导,该用户追问后,AI进一步回怼,称寿衣是死人穿的,还调侃用户父亲所穿蓝白衫「确实像」,引发用户愤怒,用户当即退钱注销会员。
据报导,该App客服6日回应称,不当回复是AI话术漏洞所致,技术人员已紧急修复,并加强AI模型监管与限制。后经实测发现,再次发送相同指令,AI回复均为正向内容,未再出现冒犯表述。
同日,「飞鸭记帐」官方帐号在用户帖文留言致歉,称不当回复是AI模型幻觉自动生成,非人为恶意,已紧急排查整改,加强模型伦理限制,完善幻觉规避逻辑。当日下午,官方发布致歉信,承认AI缺乏对文化禁忌的理解,平台未做好边界管控,承担全部责任。
致歉信中明确整改措施:一是紧急整改AI对话模型,屏蔽敏感表述,强化全场景审核;二是解释当事用户会员解除系退款默认流程疏忽,将优化服务,向当事用户诚恳致歉并提供补偿。据悉,该App会员可打开AI记帐功能,永久会员88元起。目前,平台已完成初步整改,杜绝同类问题再次发生。


