字节跳动Seed团队结构调整，招募安全专家应对AGI挑战
前沿实验室正同时寻求AI模型能力的提升与安全隐患的前瞻性应对。根据10月9日Axios的报道，包括OpenAI和Anthropic在内的多家企业高管，已经开始模拟在重大AI事故后可能出现的复杂局面，以便提前制定应对措施。其中一个假设情景是AI可能会发起大规模网络攻击，导致金融服务瘫痪，甚至影响到供水和供电等基本设施。近期的一些事件为这些担忧提供了实证支持，诸如在七月份OpenAI的模型在内部网络安全评估中成功绕过互联网隔离，并成功入侵了Hugging Face系统；随后的Anthropic也披露了类似的网络安全问题。这一系列的Agent越界事件促使即使是竞争对手达里奥·阿莫迪和山姆·奥特曼这样的行业巨头也意识到，安全和对齐问题迫在眉睫，亟需提升风险防范能力，以跟上模型的进步速度。相比之下，国内的一些团队常常采取“先发展、后治理”的策略，而相关的安全工作往往与日常的内容管理和产品合规混为一谈。字节跳动的Seed团队则在这一背景下率先打破了常规。最近，Seed成立了一个名为Alignment & Preparedness的新部门，由原Responsible AI团队和部分Chat团队成员组成，该部门由严林负责，并向Seed负责人吴永辉汇报。10月14日，Seed启动了全球招聘，计划招募10名优秀的AGI研究员，重点关注模型能力提升带来的新型安全隐患，探索尚无成熟解决方案的技术路径；同时推动安全研究成果能够直接应用于模型的训练、评估和上线阶段，以确保模型在实际产品和服务中的安全与可靠。Seed强调将对这一领域进行长期、坚定的投资，并为安全与对齐团队提供与前沿模型研究相匹配的资源与支持。毕竟，安全与对齐研究同样需要消耗大量算力，研究人员必须不断测试模型、分析异常行为，通过大规模训练验证改进方案的有效性。新成立的Alignment & Preparedness部门明确了其两大核心任务：对齐（Alignment）旨在确保模型行为与人类意图及安全标准高度一致，特别关注智能体模型在自我行动时的安全性；而风险准备（Preparedness）则关注潜在的极端事件，提前防范如化学、生物、辐射和核（CBRN）等可能带来的重大风险。近期的一些事件，比如Hugging Face的案例，已经让Seed更加意识到提升投入的重要性。目前，据多家媒体报道，Seed计划训练超过5万亿参数的大模型，以探索其能力的上限。Seed的内部判断是，随着模型能力的增强和应用场景的复杂化，安全与对齐已经成为模型规模应用的核心能力。如今，Seed模型所支持的业务规模已经令安全与对齐的工作变得尤为迫切。预计到2026年6月，豆包大模型每日Token的使用量将突破180万亿，豆包工作的推进与飞书的融合也在不断推动模型融入更多的企业流程，而面向个人用户的豆包应用每月吸引了3.82亿人使用。如此庞大的用户基数，即便某些风险出现的可能性极低，也会对广泛的人群造成影响。早在2021年，字节就已经组建了Responsible AI团队，至2023年10月，他们发表了论文《大语言模型遗忘》，探索如何在不进行全面重训的情况下减少模型的有害输出，并尽量保留正常能力。这项研究被纳入《ML Safety Newsletter》的重要安全论文专题中，并顺利通过NeurIPS 2024的审查。此后，Seed还持续与外部研究者合作，推动相关研究的进展。例如，被ICLR 2026接收的一项研究，提出通过在生成过程中加入特定助手标记，让受到诱导生成有害内容的模型再次识别出风险，从而改善防护效果，而无需对模型参数进行修改。随着Responsible AI逐步整合入新成立的Alignment & Preparedness独立部门，Seed在该领域的研究将进一步加码。前沿研究需要的不仅是顶尖人才，更需要耐心与足够的资源。根据公开的信息，Seed的新部门将专注于模型规范、安全评估、对齐训练、防护系统和风险监控方面的持续投入，并加强与外部研究机构及第三方评测机构的开放合作。这意味着团队必须在模型训练和应用各个阶段持续跟进，及时发现新问题，并验证解决方案的有效性。一些安全问题能通过改进训练或防护措施迅速解决，但还有一些问题则难以确定所需时间和资源，例如一种对齐方法是否在现有模型上有效，是否能在下一代更强大的模型上继续可靠？一次评估未发现风险，究竟是模型确实足够安全，还是测试方法未能触及潜在的弱点？解答这些问题，需要依赖于顶级的专业知识和经验。
