【美国安全与新兴技术中心】人工智能系统建模创新

美国安全与新兴技术中心（CSET）近日发布了一份名为“AI System-to-Model Innovation: Transformations from the Shop Floor”的报告。这份报告主要探讨了人工智能领域中，尤其是大型语言模型（LLMs）的最新进展如何推动了从单一模型到复合AI系统的转变，并讨论了这种转变对创新路径、政策制定以及地缘政治竞争的深远影响。报告指出，这些复合系统不仅能够扩展前沿模型的应用，还能激发新模型架构或训练方法的创新，从而提升模型性能。报告中包含了对系统与模型创新动态关系的深入分析，以及对未来AI发展的政策建议，提供了丰富的洞见和有价值的信息。

人工智能的发展正在改变我们的世界，特别是在工业和技术创新领域。近期的进展，尤其是大型语言模型（LLMs）的出现，让人工智能技术的进步变得更加迅速和深入。这些技术不仅仅是单一的模型，而是所谓的“复合人工智能系统”，它们由多个不同的组件组成，包括至少一个AI模型和其他操纵数据的组件。这些系统正在推动人工智能向全新的方向发展。

想象一下自动驾驶汽车，它就是一个复杂的系统集合，包括动力系统、推进系统、传感器系统等。这些系统的设计决策涉及到模型和复合系统。例如，一些制造商选择仅使用摄像头来实现自动驾驶，而其他制造商则使用包括摄像头、激光雷达和雷达在内的传感器套件。这些传感器信号的处理可以采取至少两种方法：为每种传感器或传感器类型训练单独的网络并将预测结果结合起来（复合人工智能系统方法），或者训练一个单一模型来融合所有传感器输入（AI模型方法）。在物体检测层面，模型和复合系统方法可以是直接的替代品。这种可互换性允许一种方法的教训激发另一种方法的改进。

系统到模型的创新是过去十年中几个突出领域的进步动力。例如，DeepMind的AlphaGo Zero将策略和价值计算整合到单一网络中；OpenAI的o1模型通过链式思考提示实现；Cohere的Command R家族模型在检索增强生成（RAG）中的单次传递网络和OneGen；以及语言模型中的安全训练的断路器。这些系统到模型的创新关闭了模型和复合系统进步之间的反馈循环，为更广泛的贡献打开了前沿AI突破。

政策制定者应该考虑为复合系统开发者设计量身定制的解决方案，以鼓励对AI未来的多种赌注。随着AI的传播，系统级创新的扩展增加了对领域前沿进步的贡献者基础。虽然通用技术在社会和经济中的传播通常比创新本身更有影响，但AI的传播不会发生在地缘政治真空中。能够更快、更全面地识别和利用系统级创新的国家将获得对竞争对手至关重要的经济和军事优势。

AI的发展不仅仅是模型能力的提升，而是模型和复合系统开发者的共同进步。如果最近的系统到模型进步预示着未来趋势，那么政策制定者也应该为复合系统开发者设计量身定制的解决方案，以鼓励对AI未来的多种赌注。系统级创新随着AI的传播而进步，并扩大了对领域前沿进步的贡献者基础。

在AI安全研究领域，系统到模型的创新也发挥了重要作用。例如，Anthropic公司的研究团队专注于电路研究，这是受计算机视觉启发的研究领域，它检查形成电路的神经元小群体的相互作用，并使用这些分组作为分析整体网络行为的分析层次。这些研究最终导致了新的模型训练方法的出现，比如通过在模型微调过程中添加短路来阻止有害输出的生成，这种方法在安全性测试中显示出比其他方法更有效和稳健。

这些例子突显了系统到模型创新的作用及其对AI关键发展的影响，但它们留下了一个中心问题：为什么政策制定者应该培养复合系统层面的进步？如果推动创新是AI政策的目标，那么创新采取哪条路径似乎并不重要。然而，系统级创新的属性提供了独特的技术优势。例如，复合AI系统更容易通过系统设计更新和改进，而无需重新训练；通过与工具和资源的连接增加动态性；通过结构化组件增加控制和信任；并在允许不同级别的模型调用时扩展成本质量权衡选项。

此外，系统到模型的创新也可以至少以两种方式塑造地缘政治竞争。首先是通过直接引入新的AI技术到战士，结合新的作战概念和组织改革，其影响力足以代表军事事务的革命。其次是通过AI在经济中产生的广泛生产力增长来增加经济增长，这反过来可以增强国家的长期军事力量。

系统级创新对AI领域组织的影响也不容忽视。对大型科技权力集中的担忧是一个跨党派的问题，而AI的出现进一步加剧了这些担忧。虽然限制AI技术堆叠基础设施和模型层面的集中度的努力可能不足以取代超大规模企业和AI实验室，但在应用层面的竞争增长可能会催化系统到模型的创新，这可以扩大对前沿的贡献者基础。

AI政策至今更多地关注于持续推进前沿模型的能力。但是，随着每个令牌的成本降低和开放重量模型的重要性增加，政策应该调整以包括加强复合AI系统。为了利用系统级创新的潜力，政策制定者需要为AI开发生态系统量身定制解决方案。创新路径存在于模型和系统两个层面。美国领导层不仅应关注前沿的进步，还应关注安全、可靠和值得信赖的负担得起的AI模型的扩散和采用。这样的方法将从新的框架中受益，这些框架促进了系统级创新。

这篇文章的灵感来自于美国安全与新兴技术中心发布的《AI系统到模型创新》报告。这份报告只是对AI领域众多有价值报告中的一个总体介绍。更多同类型的报告可以在同名星球中找到，推荐有兴趣的读者自行获取阅读。

以上为节选样张，关注公众号【蝉鸣报告】回复领取PDF完整电子版（无广告）。

【蝉鸣报告】每日更新最新硬核报告，覆盖产业报告、全球化、经济报告、趋势等全领域。