安全研究员Michał Zalewski在整理了约220本AI生成的儿童读物后,出于好奇购买了一本亚马逊畅销儿童百科全书,结果发现了令人不安的问题:书中充斥着诡异的AI生成图像,包括扭曲的人体形态、不明物体的奇怪组合、令人不安的场景。
Zalewski指出,儿童百科全书成为AI生成内容的重灾区有三个原因:这类书市场需求大;购买者与读者分离——书常被当作礼物由亲戚朋友购买,依赖封面判断;非虚构类内容不存在侵犯版权的风险。作者还提到,2025年夏前沿模型已号称达到博士级智能,书中图像指向美国大厂旗舰模型——理论上技术不该出问题,但事实摆在眼前。
这类现象并非个例。作者发现#1畅销榜上就存在此类内容,评论区与销量可以伪造,相关类目下大量类似读物在售。问题在于平台缺乏有效审核机制,家长为孩子购买启蒙读物时可能遭遇这些内容。当前大模型能力在快速进步,但在此之前,已有实际风险落在真实儿童身上。
编注:信源为安全研究员个人博客长文,主线为AI生成儿童内容的质量问题,未涉及平台下架机制与监管动态。