伴随AI技术的发展内容生成、图像处理以及自动化互动能力正在快速进入社交场景。越来越多的人开始使用AI生成图片、文字与视频AI也逐渐参与到聊天、互动与情绪陪伴等场景之中。它让表达变得更容易让很多创作行为的门槛被进一步降低。但与此同时一些新的问题开始出现比如利用AI伪造身份、批量生成内容、制造不真实互动或通过AI营造高度逼真的“人设”与社交关系这些变化正在重新影响人们对于“真实社交”的判断。近期围绕AI在社交场景中的应用Soul对《社区公约》进行了AI相关补充更新新增了关于AI生成内容、AI互动行为以及AI虚拟角色等场景的使用规范这些新增规范关注AI在社交场景中的真实边界——AI可以成为表达工具但不应被用于伪造身份、制造虚假关系或替代真实互动本身。《社区公约》AI相关补充更新相比过去AI时代的风险内容正在变得更加复杂。很多违规行为不再只是简单的“敏感词”或明显的诈骗话术而是开始呈现出更强的伪装性与场景化特征。一位参与相关治理能力建设的技术人员提到现在很多高风险账号已经不再依赖明显违规内容而是会尽量让所有内容“看起来正常”相比过去大量发送模板化话术现在一些异常账号会尝试模拟正常社交节奏通过更自然的聊天方式建立信任关系。例如先进行较长时间的日常聊天再逐步引导投资、转站外或情感依赖等行为。“以前可能是很明显的套路现在更像是在‘养一个关系’。”正因为风险行为开始变得更加“自然”因此平台治理能力也在向更深层的行为识别与关系判断升级。近年来Soul持续加强AI治理能力建设将AI进一步应用于虚假人设识别、异常互动判断、风险内容拦截等场景持续提升对异常社交风险的识别效率。如何分辨“真实”在部分典型高风险案例中一个账号可能会通过豪车、高薪职业、高消费生活方式等内容塑造“成功人士”“高净值男性”或“精英职业”等人设再配合高度模板化的话术与情绪引导逐步建立信任关系。单独看其中任何一个内容可能都并不足以构成传统意义上的违规。图片本身没有敏感信息聊天内容也可能只是普通社交表达。但当这些信息被放在一起时风险特征就会逐渐显现——“豪车男”账号的问题不在某一句话或某一张图单点而是整套“人设逻辑”本身。也正因此Soul开始更多采用跨模态联动的AI治理能力将图片、文本、视频、声纹以及用户行为等不同维度的信息进行综合判断。目前Soul已经逐步形成了一套覆盖图片、文本、视频、声纹以及用户行为等维度的多模态AI治理体系并将其应用于虚假人设识别、异常互动判断、风险内容拦截等多个场景。例如在图片场景中平台会结合AI生成痕迹识别、图片原创性判断等能力对AI生成图、盗图、拼接图等内容进行综合分析在文本与互动场景中则会通过大模型意图识别能力对异常导流、人设包装以及欺诈倾向进行识别而不仅仅依赖关键词本身。同时平台也在持续加强对视频、语音等复杂场景的风险识别能力。针对AI伪造声纹以及跨账号关联等问题Soul逐步建立起基于声纹特征以及行为链路的联动识别机制以提升对高伪装风险内容的发现能力。前置留住“真实”目前Soul风控AI已经逐步实现毫秒级风险识别与对抗能力。相比传统“内容违规—人工处理”的单点治理方式如今的AI治理更接近持续性的风险识别系统。它不仅关注单条内容本身是否违规也会结合账号行为、互动关系以及上下文场景对异常社交行为进行动态分析。AI能力的引入也显著扩大平台风险治理的覆盖范围。过去很多风险内容的识别与审核高度依赖人工处理能力平台能够覆盖的高风险内容规模相对有限。而在引入AI 与自动化风险识别机制后平台对于疑似风险内容的监测与审核能力提升至过去的数倍以上。除了对异常内容进行即时发现与判断之外平台也开始加强对黑产“反复作案”行为的持续治理。例如一些被识别出的作弊图片、风险视频或高风险素材在首次出现后后续相同或高度相似内容将迅速失效并停止分发相关账号也会被自动回溯识别与处置。相比过去“发现一次、处理一次”的治理模式这种持续性的AI对抗能力也正在不断提升黑产与异常账号的作弊成本从而进一步压缩黑产反复作案空间。随着相关治理能力逐步上线平台对于异常社交风险的识别效率持续提升。目前相关系统识别准确率已达到95%重点风险场景覆盖能力相比过去提升数倍平台内部分高风险行为开始呈现下降趋势。根据数据杀猪盘高危触达量同比下降37.37%相关深度风险互动持续减少与此同时异常互动相关用户举报量也进一步下降。大量高风险账号已经能够在真正接触用户之前被提前识别与自动化处置超过66%的高风险账号实现前置拦截平台日均拦截异常与涉诈行为已超过10万次累计帮助用户避免潜在损失超千万元级别相比传统“事后封禁”如今的平台治理也正在逐渐转向更前置、更持续的风险识别与干预——例如在上文“豪车男”假人设治理场景中相关能力上线后针对盗图、合成图以及高风险人设包装等场景平台已经能够提供毫秒级辅助判断能力自动处置效率与用户感知量相比已达到10:1以上。重新确认“真实”除了风险治理本身AI进入社交场景后另一个被广泛讨论的问题是“AI陪伴”与真实社交之间的边界。目前Soul在部分场景中已经提供了明确标识的AI虚拟角色等产品功能。这类功能更多被定位为情绪陪伴、表达支持与互动体验的一部分而不是以“真实用户”身份参与社区社交关系。围绕这一点Soul此次也在《社区公约》中新增了相关说明进一步明确AI虚拟角色的使用边界并提醒用户注意区分AI角色与真实用户。与此同时平台也在逐步增加相应的使用提醒机制。例如在用户与AI虚拟角色进行长时间连续互动时系统会适时进行提醒引导用户合理安排使用时长。相比将AI单纯理解为“聊天工具”或“虚拟陪伴”Soul更倾向于将其视为一种辅助表达与情绪支持能力而非替代人与人之间真实关系本身。除了技术治理之外Soul也在持续尝试将社区治理更多地向“用户共治”延伸。相比完全依赖平台单向审核社交社区中的很多风险内容、异常互动与新型套路往往最早由真实用户感知与反馈。过去几年Soul逐步建立起包括用户反馈、风险举报、社区巡查以及护星员在内的社区共治机制。一些用户会主动分享反诈经验、识别异常互动特征或参与社区安全相关内容的共建。这类来自真实社交场景的反馈也会反向帮助平台持续优化风险识别能力与治理策略。相比传统意义上的“平台管理”AI时代的社区治理更像是一种持续演化的协同机制。一方面平台通过AI能力提升风险识别效率另一方面用户对于真实感、互动体验以及异常行为的感知也正在成为社区治理的重要组成部分。某种程度上Soul此次对《社区公约》进行AI相关补充更新并不仅仅是一次常规规则调整而更像是AI时代下社交平台对于“真实边界”的一次重新确认。官方账号Soul风纪球长 违规案例公示继续守护“真实”当AI开始进入内容创作、情绪陪伴与社交互动之后“真实”本身正在变得越来越难被简单定义。相比过去单纯依赖人工判断或静态规则如今的平台治理也开始逐渐转向一种持续演化的动态治理能力——不仅需要识别风险内容本身也需要理解行为逻辑、互动关系以及更复杂的社交场景。对于Soul来说AI既是产品能力的一部分也正在成为社区治理能力的一部分。它可以帮助用户更方便地表达与交流也可以被用于识别虚假人设、异常互动与高风险行为。但无论技术如何变化真实、善意、自然的互动仍然是社交关系成立的基础。而这或许也是AI时代下所有社交平台都需要面对的一个长期问题当“像一个人”越来越容易时平台该如何继续守护人与人之间真实的连接。围绕这个问题Soul正在尝试给出自己的答案。