【华为】大模型在华为推荐场景中的探索和应用

近日，华为诺亚方舟实验室发布了一份题为《大模型在华为推荐场景中的探索和应用》的研究报告。这份报告由高级算法工程师陈渤主讲，深入探讨了在信息过载时代背景下，推荐系统如何利用大模型技术提升用户体验和平台收益，以及大模型在推荐系统中的创新应用和面临的挑战。报告详细分析了大模型在特征工程、特征编码、打分排序等方面的应用，并提出了一系列创新的技术方案和实验结果，显示出大模型在推荐系统中的巨大潜力和实际效益。这份报告不仅提供了对当前推荐系统技术的深刻洞察，还展望了未来的发展方向，是一份内容丰富、极具参考价值的行业研究报告。

在信息爆炸的时代，推荐系统已成为我们筛选信息的重要工具。华为诺亚方舟实验室的高级算法工程师陈渤在《大模型在华为推荐场景中的探索和应用》报告中，深入探讨了大模型如何改变推荐系统的面貌。这份报告揭示了大模型在推荐系统中的巨大潜力，尤其是在处理信息过载、提升用户体验、精准广告投放等方面。

报告指出，传统的推荐模型虽然能利用用户和物品的协同信号，但它们的知识仅限于数据集内，缺乏深度的语义信息和意图推理能力。而大模型时代的推荐系统，通过引入外部知识，不仅丰富了语义信号，还具备了跨域推荐的能力，尤其适合冷启动场景。但同时，大模型也带来了计算复杂度高、难以处理海量样本的挑战。

LLM4Rec技术在工业推荐链路中的应用，涉及特征工程、特征编码、打分排序等环节。它通过理解用户对话和意图，提供更精准的推荐。报告中的研究显示，LLM4Rec能显著提升推荐模型的性能，尤其是在语义和协同信号的结合上。

在特征工程方面，报告介绍了利用大语言模型（LLM）开放知识辅助推荐的框架KAR。这个框架通过引入世界知识和逻辑推理能力，解决了传统推荐系统在用户偏好学习上的局限性，尤其是在冷启动和数据稀疏问题上。实验结果显示，KAR能显著提升推荐模型的AUC值，并且在华为音乐歌单推荐榜单全量上线后，播放歌曲次数、设备数和播放时长都有所增加。

进一步探索中，报告提出了用户和物品规模大、协同信息缺失的问题，并提出了利用协同信息对用户/物品聚类的方法。这种方法在华为音乐场景中取得了更好的效果。此外，报告还探讨了用户兴趣变迁快的问题，提出了流式知识提取的方法，以感知用户兴趣变迁，学习增量兴趣。

面向LLM推荐知识生成的解码加速方法，报告提出了基于检索的投机解码技术，以减少LLM解码过程中的时间消耗。实验结果表明，这种方法在多个LLM知识生成框架中取得了显著的加速效果，且对下游预测效果影响很小。

在排序方面，报告讨论了LLM直接排序的长序列理解方法。用户行为序列的建模对推荐系统至关重要，但大模型在长序列理解上存在问题。报告提出了利用语义相似度检索用户长序列中最相关的行为的技术方案，以弥补LLM长序列理解的不足。实验结果表明，这种方法能大幅提升推荐性能，并展现出极强的样本高效性。

报告还提出了LLM个性化参数微调方法，以解决现有基于LLM推荐排序方法的弊端，如低训练效率和短序列问题。通过个性化动态路由实现个性化LLM，实验结果表明，这种方法能取得更好的预测效率和模型效果。

最后，报告总结了大模型对推荐系统的信息增益，突破了传统定位，重塑了推荐流程。同时，报告也提出了挑战与展望，包括ID特征的索引和建模、推荐领域的长文本建模、训练效率和推理时延等问题。

这篇文章的灵感来自于《大模型在华为推荐场景中的探索和应用》报告。除了这份报告，还有一些同类型的报告也非常有价值，推荐阅读。这些报告我们都收录在同名星球，可以自行获取。

以上为节选样张，关注公众号【蝉鸣报告】回复领取PDF完整电子版（无广告）。

【蝉鸣报告】每日更新最新硬核报告，覆盖产业报告、全球化、经济报告、趋势等全领域。