| 标题 | 期刊 | 年份 | 关键词 |
|---|---|---|---|
| LLM-ESR: Large Language Models Enhancement for Long-tailed Sequential Recommendation | NeurIPS | 2024 | Large Language Models, Sequential Recommendation, Long-tailed |
📚研究背景
在电商和社交媒体的世界里，序列推荐系统（Sequential Recommendation Systems, SRS）就像一个贴心的购物助手，它通过分析用户的历史行为来预测他们接下来可能感兴趣的商品。🛍️ 但现实很骨感，大多数用户只和少数商品打过交道，而大部分商品也鲜少被问津，这就形成了所谓的“长尾问题”。这对于推荐系统来说，简直就是一场“灾难”，因为它不仅影响用户体验，还让商家的长尾商品失去了曝光的机会。😱
🧩相关工作
其实，之前的研究者们也尝试过解决这个问题。有的通过分析热门和长尾商品的共现模式来丰富长尾商品的表示，有的则通过数据增强来为长尾用户增加伪交互。不过，这些方法要么会引发“跷跷板效应”，要么因为用户相似度不准确而引入噪声。😩
🎯LLM-ESR的创新
LLM-ESR它提出了一个全新的框架，用LLM的语义嵌入来增强传统的SRS，而且完全不用担心LLM带来的额外推理负担。🧠
双视图建模框架：它同时从语义视角和协同视角建模用户偏好。语义视角利用LLM的语义嵌入来捕捉长尾物品的特征，而协同视角则保留了传统SRS对热门物品的推荐能力。👀
检索增强自蒸馏：对于长尾用户，LLM-ESR通过检索与目标用户语义相似的用户，并利用他们的交互信息来增强目标用户的偏好表示，就像是给长尾用户“借”了一些有用的信息。🔍
🎯 LLM-ESR的核心方法
LLM-ESR的核心思想是利用大语言模型（LLM）的语义能力来增强传统的序列推荐系统，同时避免引入额外的推理负担。它通过以下两大模块实现：
💡 1. 双视图建模框架（Dual-view Modeling Framework）
这个框架的核心是同时从语义视角和协同视角建模用户偏好：
语义视角（Semantic View）：通过LLM对物品的属性（如标题、品牌、描述等）进行编码，生成语义嵌入。这些嵌入能够捕捉物品的语义信息，从而更好地推荐长尾物品。📝
协同视角（Collaborative View）：利用传统的协同过滤方法，通过用户的历史交互数据学习物品的嵌入。这部分专注于热门物品的推荐能力。📈
双视图融合：通过跨注意力机制（Cross-Attention）将语义嵌入和协同嵌入进行融合，让模型同时学习到语义信息和用户行为模式。这样既能利用LLM的强大语义理解能力，又能保留传统SRS对热门物品的推荐优势。🔗
💡 2. 检索增强自蒸馏（Retrieval-Augmented Self-Distillation）
对于长尾用户，由于他们的交互记录较少，模型很难准确捕捉到他们的偏好。LLM-ESR通过以下步骤解决这个问题：
检索相似用户：利用LLM生成的用户语义嵌入，检索与目标用户语义相似的其他用户。🔍
自蒸馏：将这些相似用户的交互信息作为“指导信号”，通过自蒸馏（Self-Distillation）的方式增强目标用户的偏好表示。这相当于“借”来了相似用户的信息，帮助模型更好地理解长尾用户的偏好。🔋
🔬实验
作者在Yelp、Amazon Fashion和Amazon Beauty这三个真实世界的数据集上进行了测试，结果表明LLM-ESR在所有指标上都超越了现有的基线方法，尤其是对长尾用户和长尾物品的推荐效果提升显著。📈