论文汇总-LLM+Cold Start

⚠️注：
本文是对综述Cold-Start Recommendation towards the Era of Large Language Models (LLMs): A Comprehensive Survey and Roadmap中使用LLM解决冷启动问题的进一步阐述，主要关注发布时间在2024年之后，且公开源码的文章。（共16篇）

综述也有相关博客，链接为: 论文笔记-arXiv2025-A survey about Cold Start Recommendation

下图是综述中对LLM+Cold start的分类图示。根据 LLM 所扮演的角色，现有的研究可以分为两个主要方面：LLM 作为推荐系统和 LLM 作为知识增强器。

1.LLM 作为推荐系统

1.1提示策略

本系列工作设计了不同的提示策略，以引导 LLM 将推荐任务转化为自然语言处理问题。主要包括：直接提示、多步骤提示和检索增强推荐。

1.1.1直接提示（2篇）

LLMRank-ECIR 2024

参考文献[69] Large language models are zero-shot rankers for recommender systems. ECIR 2024，有源码

代码
https://github.com/RUCAIBox/LLMRank

摘要
将推荐问题形式化为一个条件排序任务，将序列交互历史视为条件，将其他候选生成模型检索到的项目视为候选项。研究表明LLMs在zero-shot排序能力方面表现出色，但（1）在感知历史交互的顺序方面存在困难，以及（2）可能受到流行度或提示中项目位置的偏见。使用特别设计的提示和引导策略可以缓解这些问题。通过这些见解，zero-shot LLMs可以在由多个候选生成器检索的候选项排序时挑战传统推荐模型。

总结
通过设计prompt将推荐问题转换为排序问题，prompt由橙色部分sequential historical interactions和蓝色部分retrieved candidate items组成。

• Sequential historical interactions
  使用recency-focused方法强调最近交互的物品是什么，例如“我看了1，2，3，4，请注意，我最近看了4”
  使用ICL将交互序列的倒数第二项和最后一项配对作为示例，例如“我看了1，2，3，你应该给我推荐4，现在我看了4，你应该给我推荐什么”
• Retrieved candidate items
  使用Bootstrap生成新的顺序不一致的训练样本，从而缓解位置偏差。
• Instruction template
  将上述模式填充到prompt得到：" [pattern that contains sequential historical interactions H] [pattern that contains retrieved candidate items C] Please rank these movies by measuring the possibilities that I would like to watch next most, according to my watching history."

PromptRec-WWW2024

参考文献[224] Could Small Language Models Serve as Recommenders? Towards Data-centric Cold-start Recommendation. WWW2024，有源码

代码
https://github.com/JacksonWuxs/PromptRec

摘要
将推荐任务转换为对包含用户和项目资料的自然语言的情感分析任务。然而，这种简单的方法可能导致显著的延迟。为了解决这一挑战，提出通过以数据为中心的流程增强小型语言模型在推荐系统中的应用，该流程包括： (1) 构建用于模型预训练的精炼语料库； (2) 通过提示预训练构建分解的提示模板。它们分别对应于训练数据和推理数据的开发。该流程有一个理论框架支持，正式化了上下文推荐和语言建模之间的联系。

1.1.2多步骤提示（3篇）

LLMMove-CAI 2024

参考文献[42] Where to move next: Zero-shot generalization of llms for next poi recommendation. CAI 2024，有源码

代码
https://github.com/LLMMove/LLMMove

摘要
考虑了人类移动行为中的几个关键因素，包括用户的地理偏好、空间距离和序列转变，并将推荐任务形式化为一个排序问题。实验表明LLMs 具有良好的zero-shot 推荐能力，能够提供准确合理的预测。

总结
提出一种多步骤提示策略。

• 首先，预处理数据并将背景知识作为输入。主要考虑两种类型的用户轨迹数据：长期check-ins捕捉广泛偏好，近期check-ins捕捉即时偏好。同时，考虑候选POI与当前地点的距离。
• 然后，指示LLM考虑四个因素：长期偏好，即时偏好，地理距离和序列转变模式。
• 最后，基于前两步组成的prompt引导LLM生成下一个POI和推荐理由。

LLM4POI-SIGIR 2024

参考文献[110] Large language models for next point-of-interest recommendation. SIGIR 2024，有源码

代码
https://github.com/neolifer/LLM4POI

摘要
提出一个框架，利用预训练的大模型以原始格式保留异构的基于位置的社交网络数据，从而避免上下文信息的丢失。此外，由于包含常识知识，该框架能够理解上下文信息的内在含义。实验结果表明，所提出的框架在这三个数据集上均优于最先进的模型。

总结
包括三个部分：key-query相似度、轨迹提示和对LLM的监督微调。

• 首先，为每条轨迹形成 key （不包含最后一条记录的轨迹）和 query 提示（完整轨迹）。对于每个 key，选择与该 key 相似度最高的前 𝑘 个 query。这些query所代表的轨迹随后用于该 key 轨迹的历史轨迹块。
• 然后，设计轨迹提示，由当前轨迹块、历史轨迹块、指令块和目标块组成。当前轨迹块提供当前轨迹的信息，但不包括最后一条记录。历史轨迹块结合了来自当前用户和其他具有类似行为模式的用户的历史信息，有助于解决短轨迹和冷启动问题。指令块指导模型关注的重点，并提醒模型 POI ID 的范围。目标块包含待预测的签到记录的时间戳、用户 ID 和 POI ID，作为微调和评估的真实值。
• 最后，使用参数高效微调（PEFT）技术LoRA进行微调。

TaxRec-COLING 2024

参考文献[113] Taxonomy-Guided Zero-Shot Recommendations with LLMs. COLING 2024，有源码

代码
https://github.com/yueqingliang1/TaxRec

摘要
提出TAXREC， 过程包括两步：一次性分类和基于 LLM 的推荐。在一次性分类阶段，组织和分类项目，确保项目信息的清晰和结构化。在基于 LLM 的推荐阶段，将结构化的项目输入到 LLM 提示中，从而实现高效的标记利用和受控的特征生成。这使得在无需领域特定微调的情况下，能够实现更准确、上下文相关的zero-shot 推荐。

总结
包括两步，分类和推荐。

• 第一步是分类，包括两个prompt。首先通过Taxonomy Generation Prompt获得分类字典T，包括分类的重要属性，如类型、主题、语言等。然后通过Categorization Prompt获取每个项目的分类，也就是分类项目池。比如1984这本书被丰富为类型是小，主题是权利。
• 第二步是推荐。利用第一步生成的分类项目池来丰富用户的历史交互，得到分类历史交互。然后结合分类字典T生成Recommendation Prompt，通过该prompt引导大语言模型生成用户感兴趣的项目。

1.1.3检索增强推荐

只有一篇工作有源码，但发布于2023年，因此不做详细阐述。（Large language model augmented narrative driven recommendations. RecSys 2023，有源码）

1.2模型调优

通过调优过程学习交互模式使 LLM 能够将其预训练的世界知识和协同过滤交互纳入推荐决策过程中，从而更有效地促进热启动和冷启动推荐。

1.2.1指令调优（5篇）

A-LLMRec-KDD 2024

参考文献[99] Large language models meet collaborative filtering: an efficient all-round LLM-based recommender system. KDD 2024，有源码

代码
https://github.com/ghdtjr/A-LLMRec

摘要
提出全方位LLM基础推荐系统A-LLMRec，使LLM能够直接利用预训练的最先进的CF-RecSys中包含的协同知识，从而共同利用LLM的突发能力以及由最先进的CF-RecSys已经训练出的高质量用户/项目嵌入。这种方法带来了两个优势：(1) 模型无关，允许与各种现有的CF-RecSys集成；(2) 效率高，消除了通常需要针对基于LLM的推荐器进行广泛微调的需求。

总结
包含两步：(1) 对齐协同和文本知识；(2) 推荐。

• 在编码器的潜在空间中匹配冻结的CF-RecSys中的项目嵌入与SBERT中的文本嵌入，以对齐项目及其相关文本的语义，获得联合嵌入，以便在后续使用。
• 将用户表示和联合嵌入投影到LLM的标记空间，设计prompt使LLM能够利用学习到的协同知识进行推荐。

TransRec-KDD 2024

参考文献[115] Bridging items and language: A transition paradigm for large language model-based recommendation. KDD 2024，有源码

代码
https://github.com/Linxyhaha/TransRec/

摘要
提出一种新颖的基于LLM的推荐系统过渡范式TransRec，以桥接项目和语言的关系。具体而言，TransRec提出了多方面的标识符，结合ID、标题和属性进行项目索引，保留了语义和独特性。此外，TransRec引入了一种特殊的数据结构，以确保仅生成有效的标识符，并利用子字符串索引来引导LLMs从标识符的任何位置生成。最后，TransRec提出了一个聚合模块，利用生成的多方面标识符有效地对语料库中的项目进行排名。

总结
包括两步：多方面项目索引和多方面生成匹配。

• 多方面项目索引：从ID、标题和属性三个方面表示一个项目，将前n-1个项目作为输入，最后一个项目作为输出进行指令调优。
• 多方面生成匹配：通过LLM生成候选项目，从三个方面聚合关联评分，根据最终的关联评分返回排名最高的项目作为推荐。

IDGenRec-SIGIR 2024

参考文献[175] Idgenrec: Llm-recsys alignment with textual id learning. SIGIR 2024，有源码

代码
https://github.com/agiresearch/IDGenRec

摘要
提出了IDGenRec，通过使用人类语言标记，将每个项目表示为唯一、简洁、语义丰富且与平台无关的文本ID。这是通过与基于LLM的推荐系统一起训练一个文本ID生成器来实现的，从而使个性化推荐能够无缝集成到自然语言生成中。由于用户历史以自然语言表达，并与原始数据集解耦，该方法证明了建立基础性生成推荐模型的潜力。

总结

• 首先，利用用户历史中所有商品的元信息通过ID生成器生成用户ID，利用商品的元信息通过ID生成器生成商品ID，将用户ID和商品ID插入prompt。为了保证生成的ID既简短且唯一，ID生成器在生成ID时使用多样性束搜索DBS。
• 然后，系统对完成的prompt进行标记化，并将其输入到基于LLM的推荐器中。推荐器以自回归的方式生成目标推荐商品ID的标记。

BinLLM-ACL 2024

参考文献[261] Text-like Encoding of Collaborative Information in Large Language Models for Recommendation. ACL 2024，有源码

代码
https://github.com/zyang1580/BinLLM

摘要
本文提出了一种新颖的方法BinLLM，通过类似文本的编码方式整合协同信息，即将来自外部模型的协同嵌入转换为二进制序列。此外，BinLLM还使用点十进制表示法压缩二进制序列，以避免长度过长。

总结
BinLLM包括两个主要组件：prompt生成和LLM预测。

• Prompt模版包含文本字段和ID字段。文本字段用于合并文本信息，可以直接用数据集的文本数据填充。ID字段通过类文本编码模块TE获取。类文本编码模块首先将协同信息编码为协同嵌入，然后将协同嵌入转换为二进制序列，最后进一步压缩至十进制，比如“172.16.254.1”是压缩结果。
• 通过以上步骤获得prompt后，prompt输入至LLM进行预测。

CoLLM-TKDE 2025

参考文献[263] Collm: Integrating collaborative embeddings into large language models for recommendation. TKDE 2025，有源码

代码
https://github.com/zyang1580/CoLLM

摘要
CoLLM将协同信息视为一种独特的模态，直接从传统协同模型中编码，并调优一个映射模块，以将这些协同信息与LLM的输入文本标记空间对齐。通过外部整合传统模型，CoLLM确保有效的协同信息建模，而无需修改LLM本身，从而提供了采用多种协同信息建模机制的灵活性。

总结
包含三个组成部分：prompt构建、混合编码和LLM预测。

• prompt构建
  通过项目标题描述项目，通过用户历史交互中的项目标题来描述用户的偏好。同时，引入用户和项目的ID，以表示协同信息。
• 混合编码
  对于文本内容，利用LLM内部的嵌入机制获取嵌入，即图中左下角的蓝色方框；对于用户和项目ID，利用基于协同模型构建的协同信息编码模块CIE获取嵌入，即图中右下角的橙色模块。
• LLM预测
  输入的提示被转换为嵌入序列后，LLM 基于嵌入序列生成预测。

1.2.2微调（3篇）

XRec-EMNLP 2024

参考文献[136] XRec: Large Language Models for Explainable Recommendation. EMNLP 2024，有源码

代码
https://github.com/HKUDS/XRec

摘要
提出XRec，使LLMs能够为推荐系统中的用户行为提供全面的解释。通过整合协同信号并设计轻量级的协同适配器，该框架使LLMs能够理解用户-物品交互中的复杂模式，并更深入地理解用户偏好。

总结

• 首先，利用图神经网络作为标记器，将高阶协同关系信息编码到潜在嵌入空间中，并使用混合专家方法MoE进行嵌入空间适配，得到适配嵌入au和ai。
• 然后，通过LLMs生成项目画像、用户画像和解释，使用位置嵌入层处理得到位置嵌入ϵu、ϵi和ϵe，用au和ai替代ϵu、ϵi，从而形成最终嵌入层 E′=[ϵ1,…,au,…,ai,…,ϵe,…,ϵl]。
• 最后，输入上一步的最终嵌入，通过LLM生成解释。

URLLM-arXiv 2024

参考文献[166] Exploring User Retrieval Integration towards Large Language Models for Cross-Domain Sequential Recommendation. arXiv 2024，有源码

代码
https://github.com/TingJShen/URLLM

摘要
提出了一个名为URLLM的新框架，旨在通过同时探索用户检索方法和领域基础来提高CDSR性能。具体而言，首先提出了一种新型双图序列模型，以捕捉多样化的信息，并结合对齐和对比学习方法来促进领域知识转移。随后，采用用户检索生成模型将结构信息集成到LLM中，充分利用其推理能力。此外，提出了一种领域特定策略和一个精炼模块，以防止超出领域的生成。

总结
包含两个模型：双图序列建模模型（图2的下半部分）和用户检索生成模型（图2的上半部分）。

• 双图序列建模模型包含三个模块，分别是：图构建模块、图对齐模块和对比自注意力模块。
  1. 图构建模块构建物品-属性图和物品-物品图，分别建立物品之间的结构-语义关系和协同关系，如图右下角四个Graph所示。
  2. 图对齐模块通过引入图神经网络和对齐损失函数，旨在整合不同领域的物品-属性图信息，以增强知识迁移和图嵌入的有效性。
  3. 对比自注意力模块通过多头自注意力层和前馈层捕捉用户的序列偏好。
• 用户检索生成模型包含三个部分，分别是：KNN检索器、基于目标用户和检索用户交互的LoRA微调LLM，以及答案精炼结构。
  1. KNN检索器通过内积距离函数检索目标用户的k个最近邻居。
  2. 用户检索增强的LLM整合相似用户知识。
  3. 答案精炼结构如果答案超出领域，系统会采用来自双图序列建模模型的替代信息，以确保推荐的物品在正确的领域内。

NoteLLM2-arXiv 2025

参考文献[252] NoteLLM-2: Multimodal Large Representation Models for Recommendation. arXiv 2025，有源码

代码
https://github.com/Applied-Machine-Learning-Lab/NoteLLM

摘要
提出了NoteLLM-2，一个增强视觉信息的新框架。具体而言，提出了两种方法：第一种是基于提示的方法，分离视觉和文本内容，采用多模态上下文学习策略，以平衡各模态的关注度；第二种是融合技术，直接将视觉信息集成到最终表征中。

总结
设计两种方法使模型更关注视觉信号。

• 第一个方法是多模态上下文学习mICL，首先将多模态note分为单一模态的note，比如右下角的image和title，然后采用上下文学习方式聚合多模态信息。
• 第二个方法是Late Fusion，采用原始视觉嵌入来增强note嵌入，使用门控机制将原始视觉信息和文本信息融合得到最终的嵌入。

2.LLM 作为知识增强器

特定场景中冷启动推荐任务的目标是尽量准确地利用额外信息来表示冷实例的偏好，而大模型通过在大量语料上进行预训练所获得的世界知识，可以作为强大的知识基础，帮助提升冷实例的推荐效果。

2.1LLM 用于表示增强

传统推荐主要基于用户和项目的 ID 嵌入，这些嵌入是随机初始化的，并基于历史交互的协同信号进行训练。然而，由于冷用户/项目缺乏可用信息，这些实例的 ID 嵌入很难准确代表它们。因此，借助编码的世界知识，LLM 可以作为表示增强器，(i) 通过其他模态感知的表示（如文本特征和多模态信息）扩展原始 ID 嵌入，(ii) 以统一的基于 LLM 的架构建模多领域知识。基于丰富的用户/项目表示，在线推荐系统可以提供更准确的用户/项目建模。

2.1.1模态增强表示（1篇）

EasyRec-arXiv 2024

参考文献[158] EasyRec: Simple yet Effective Language Models for Recommendation. arXiv 2024，有源码

代码
https://github.com/HKUDS/EasyRec

摘要
提出了一种有效且易于使用的方法EasyRec，整合了基于文本的语义理解与协同信号。EasyRec采用文本-行为对齐框架，结合对比学习与协同语言模型调优，确保文本增强的语义空间与协同行为信息之间的强对齐。

总结
包含三步：协同用户和项目画像、使用协同语言模型的画像嵌入器和通过画像多样化进行增强，对应图中的(a)、(b)和©。

• 协同用户和项目画像
  通过利用大模型生成画像，将协同信息和文本信息相结合。对于项目画像，除了考虑标题、类别等文本信息之外，还结合用户提供的文本信息作为协同信息，例如用户发布的评论。对于用户画像，使用交互项目的文本信息作为反映用户偏好的协同信息。
• 使用协同语言模型的画像嵌入器
  使用双向transformer编码器作为嵌入器的backbone，结合对比学习进行编码。
• 画像多样化
  利用LLMs对用户或项目画像进行改述，同时保持其基本含义。这种迭代改述过程可以创建多样化的增强画像集合，显著扩展可用的训练数据。

2.1.2领域增强表示（1篇）

LLMRec-TOIS 2024

参考文献[176] One model for all: Large language models are domain-agnostic recommendation systems. TOIS 2024，有源码

代码
https://github.com/WHUIR/LLMRec

摘要
提出LLM-Rec，一个利用预训练大语言模型进行领域无关推荐的框架。具体来说，将用户在多个领域的行为混合，并将项目标题连接成一句话，然后使用LLMs生成用户和项目的表示。通过跨不同领域混合行为，可以利用LLMs中编码的知识来桥接多领域行为之间的语义，从而获得语义丰富的表示并提高所有领域的性能。

总结
如图所示，包含三个模块：模型输入构建、文本感知的项目表示学习和分数预测

• 模型输入构建
  对于项目表示，使用项目标题而不是项目ID作为输入，构建两种架构，非自回归NAR用于适应双向Transformer，自回归AR用于适应单向Transformer；对于用户表示，将和用户交互过的项目表示连接，作为用户表示。
• 文本感知的项目表示学习
  图的左下角为针对NAR的双向Transformer，使用双向注意力进行上下文信息建模和掩码标记预测，本文使用BERT，作为LLM-Rec的其中一个主干；图的右下角为针对AR的单向Transformer，利用单向注意力进行下一个标记的生成，本文使用Open Pre-trained Transformers(OPT)，是LLM-Rec的另一个主干。
• 分数预测
  根据用户表示​和候选项目表示之间的得分来预测下一个项目。

2.2LLM 用于关系增强

利用 LLM 作为知识增强器的另一种方法是通过行为增强。具体来说，嵌入在 LLM 中的广泛世界知识可以被用于分析冷实例的潜在偏好和兴趣，从而增强它们的潜在行为。由于现有的推荐模型主要依赖于行为特征进行建模，准确地进行这种增强可以显著提升当前推荐模型对冷实例的建模能力。

2.2.1行为模拟

只有两篇工作，但是都没有源码。如果对这一方法感兴趣，可以阅读以下两篇论文：

1. Large Language Model Simulator for Cold-Start Recommendation. WSDM 2025，无源码
2. Large Language Models as Data Augmenters for Cold-Start Item Recommendation. WWW 2024，无源码

2.2.2外部关系扩充（1篇）

CSRec-DASFAA 2024

参考文献[241] Common Sense Enhanced Knowledge-based Recommendation with Large Language Model. DASFAA 2024，有源码

代码
https://github.com/ysh-1998/CSRec

摘要
提出了一种新颖的基于知识的推荐框架，结合了常识，称为CSRec，该框架可以灵活地与现有的基于知识的方法结合。考虑到常识和基于元数据的知识图谱之间的知识差距挑战，提出了一种基于互信息最大化理论的知识融合方法。

总结
该框架包括两个主要组件：基于常识的知识图构建和基于常识知识图的推荐。

• 构建基于常识的知识图：使用项目类别作为实体，通过大模型进行类别关系的分析，获取与项目类别对应的互补类别和替代类别，类别与类别的互补性和替代性作为实体之间的边。
• 基于常识图进行推荐：通过加权用户的实体嵌入、基于元数据知识图的嵌入和基于常识知识图的嵌入得到用户表示，同理得到项目表示，然后通过点积获得预测的分数。