【浙江大学】DS系列专题-DeepSeek技术溯源及前沿探索

近日，浙江大学人工智能教育教学研究中心发布了一份名为“浙江大学DS系列专题 DeepSeek技术溯源及前沿探索”的行业研究报告。这份报告深入探讨了语言模型的发展历程、Transformer架构的创新、ChatGPT的影响以及DeepSeek技术的细节和新一代智能体的前景。报告不仅详细分析了大型语言模型的技术演进和应用场景，还特别强调了DeepSeek技术在提升模型训练和推理效率方面的重要性，为受限资源下探索通用人工智能开辟了新的道路。报告中包含了丰富的技术细节和行业洞察，对于理解当前人工智能领域的发展趋势和未来方向具有很高的参考价值。

在人工智能的浪潮中，语言模型的发展无疑是最引人注目的焦点之一。《浙江大学DS系列专题 DeepSeek技术溯源及前沿探索》这份报告，深入探讨了语言模型的过去、现在和未来，为我们揭开了这一技术领域的神秘面纱。

报告首先指出，语言模型的终极目标是计算出任意词序列是一句话的概率。这听起来简单，实则需要计算机深刻理解人类语言的复杂性。我们每天与之打交道的语言模型，从简单的“我看到一只猫”，到更复杂的句子结构，都是语言模型需要处理的任务。这些模型的基本任务是编码，即将人类语言转化为计算机能理解的形式。One-hot Encoding是其中一种方式，但这种方法的缺点显而易见，它将每个词表示为一个唯一的向量，导致计算量大且无法有效表达词之间的关系。因此，Word Embedding技术应运而生，它用一个低维的词向量表示一个词，使得距离相近的向量对应的词有相近的含义，极大地提升了计算效率和语义理解的准确性。

报告中提到，语言模型的技术演化经历了从基于统计的N-gram模型到基于神经网络的LSTM/GRU模型，再到Transformer模型的转变。Transformer模型的自注意力机制和多头注意力机制，使得模型能够并行计算并捕捉复杂的语义关系，这是传统模型无法比拟的。这一技术基座的创新，为深度学习模型的处理方式带来了革命性的变化。

报告还详细讲述了大型语言模型的发展历程。从2017年的GPT到2024年的GPT-4o，再到DeepSeek系列，这些模型的参数量和预训练数据量都在不断增加，展现了“大力出奇迹”的暴力美学。BERT和GPT模型的出现，标志着预训练时代的到来，它们通过自监督算法解决了海量数据标注的问题，推动了语言模型的发展。

ChatGPT作为人工智能的IPHONE时刻，不仅提升了模型的语言生成能力，还增强了世界知识和上下文学习能力。ChatGPT的训练门槛极高，需要1万张英伟达V100芯片和约10亿人民币的投资，这体现了大数据、大模型、大算力下统计关联关系的挖掘能力。

报告中还提到了DeepSeek技术，它通过大幅提升模型训练、推理效率，缓解了算力需求。DeepSeek技术的核心在于动态路由机制和专家共享机制，它通过混合专家模型和极致的工程优化，使得每次token仅激活部分专家和参数，显著降低了存储占用和提高了训练效率。

DeepSeek技术的全栈影响是深远的。它不仅改变了垂直应用领域，如教育、医疗、法律和制造等，还影响了大模型应用层、中间层和基础模型层。DeepSeek技术的应用开发框架和精调pipeline，为模型部署和管理提供了强大的支持。

从LLM到Agent的转变，是报告中另一个引人注目的点。LLM被视为Agent的大脑，其核心能力是逻辑推理。新一代智能体等于Agent加上LLM，这种组合将规划技能、工具使用和记忆能力集于一身，实现了时空智能的自主化构建。

报告最后指出，时空智能的自主化服务是一个国自然基金重大课题。通过基础地理信息知识和算法模型，时空型GPT规划能够实现流程自组织、任务自执行、内容自生成，这是人工智能技术应用的一个全新领域。

这篇文章的灵感来自于《浙江大学DS系列专题 DeepSeek技术溯源及前沿探索》报告。除了这份报告，还有一些同类型的报告也非常有价值，推荐阅读，这些报告我们都收录在同名星球，可以自行获取。

以上为节选样张，关注公众号【蝉鸣报告】回复领取PDF完整电子版（无广告）。

【蝉鸣报告】每日更新最新硬核报告，覆盖产业报告、全球化、经济报告、趋势等全领域。