国盛证券加大重视金融AI,发布最新报告:
【国盛证券】发布的《加大重视金融AI》是讲AI技术如何与金融领域融合的,里面提到了几种不同的技术路线,或者说不同的发展阶段。这种技术路线的前进方式,对其他领域也有很强的借鉴意义。
1)AI与金融领域的结合大致可以分为四个阶段:
- 传统机器学习:自2021年以前,机器学习技术开始应用于金融领域,包括呼叫中心、安全、聊天机器人等,以及员工培训。
- 大模型+微调:开放AI的进展让各公司开始布局通用的大型人工智能模型。这需要两步:先预训练出基础模型,然后针对特定领域微调模型。只要有金融领域的数据,通用模型就可以优化为垂直领域模型,应用于金融行业。
- 大模型预训练:虽然通用大模型很成功,但金融领域的专用大模型也很重要。为解决金融名词理解、市场情绪分析等难题,出现了具备少样本学习、文本生成和对话能力的金融专用机器学习语言模型,用于情感分析、命名实体识别、新闻分类和问答等。Bloomberg开发了360亿个标记和500亿参数的金融语言模型。
- 智能投研:随着AI进步,有金融数据的公司将利用大模型进行智能投研。未来智能投研将完善数据和算法、加强AI算法监管,为金融行业带来新的商业模式和机遇。它也将推动金融数字化转型和创新。
目前大致处于第三阶段。
2)【垂直大模型+预训练】,效果比【通用大模型+微调】要来得好。目前跑下来,用垂直领域的知识喂出来的的大模型,再加上预训练,效果是要比用通用大模型加上专业知识微调来的更好的。大概有以下几个原因:
- 垂类模型在大量领域相关数据上进行预训练,可以更深入地学习该领域的专业知识、术语和上下文,对领域语义有更准确的理解,因此处理效果更好。通用模型难以深入理解特定领域。
- 垂类模型在预训练中学习到通用语言知识,因此具有更强的知识迁移能力,可以更好地将这些知识迁移应用到专业任务中。通用模型的迁移效果较差。
- 垂类模型预训练可以为后续微调任务提供更适合的初始化状态。微调时,模型可以基于这个状态更快地适应新的领域数据和任务,提高泛化能力,效果更优。
- 垂类模型可以利用大量无标注的领域相关数据进行预训练,从而减少后续人工标注的数据需求,降低成本。通用模型无法充分利用这些无标注数据。
- 垂类模型是专门针对某一领域构建的,因此可以更好地匹配企业在该领域的实际需求,实现深度定制与优化。通用模型的适应性较差。
3)这种训练专业领域生成模型的方式,不仅适用于金融行业,也同样适用于其他专业属性强的领域。
以上为节选样张,关注公众号【蝉鸣报告】回复领取PDF完整电子版。
【蝉鸣报告】每日更新最新硬核报告,覆盖产业报告、全球化、经济报告、趋势等全领域。