注：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）【陈敬雷编著】【清华大学出版社】
清华《GPT多模态大模型与AI Agent智能体》书籍配套视频课程【陈敬雷】
GPT多模态大模型与AI Agent智能体系列一百三十三
具身智能多模态感知与场景理解：融合语言模型的多模态大模型
8.6.2多模态感知与场景理解
多模态感知与场景理解旨在通过多种感知模块（如视觉、语音、触摸、激光雷达等）收集数据，并融合处理以更好地理解环境和完成任务。其核心概念包括感知模块、数据融合、理解与决策。感知模块负责收集数据，数据融合对多种感知数据进行处理以获得更全面准确的理解，理解与决策则基于处理后的数据来完成任务。这三者紧密相连，感知模块是数据的来源，数据融合是对数据的处理，理解与决策则是最终的应用。
3.融合语言模型的多模态大模型
大语言模型在自然语言任务上表现出色，但仅能处理文本。随着视觉基础模型的发展，如何将两者在各自领域的优势结合，实现视觉-语言领域的通用大模型成为热门研究课题。
1）GPT-4o和GPT-4V
GPT-4o和GPT-4V在多模态感知与场景理解方面扮演着重要角色。GPT-4o是一个多模态交互新时代的奠基者，它支持文本、图像、音频和视频的输入和输出。GPT-4o在视觉和音频理解方面尤其出色，能够实时对音频、视觉内容进行理解和生成相应输出。这意味着GPT-4o能够在接收多模态输入后，不仅理解这些信息，还能生成相应文本、音频和图像输出，从而在多模态感知与场景理解中发挥作用。GPT-4V是一个具有强大视觉能力模型，它具备了理解与分析客户输入图像的能力。GPT-4V能够接受图像信息输入，并执行各种任务，如图像描述、解释医学影像、车标和品牌Logo识别、照片中场景识别分析等。此外，GPT-4V还能够识别图像中的特定物体并计数，对图像中的特定物体定位并框注，以及识别密集图像中的个体并生成描述。这些能力使得GPT-4V在多模态感知与场景理解中具有显著优势。
2）LaVIT
LaVIT是一种新型的多模态基础模型，旨在扩展纯文本大模型以处理多模态输入，通过动态视觉标记器将图像和文本表示为统一的离散令牌表示，继承了大模型成功的自回归生成学习范式。LaVIT的关键在于开发一个高效的视觉标记器对图像进行编码，将非语言图像转换为大模型可以理解的离散令牌序列，从而实现视觉和语言的统一建模。LaVIT动态视觉标记器包括令牌选择器和令牌合并器，用于评估每个图像块的重要性，选择最具信息量的图像块来表示整个图像的语义，并将丢弃的信息压缩到保留的Token中。LaVIT在零样本多模态理解任务上展示了其出色的跨模态建模能力。LaVIT作为一种多模态通才，通过动态视觉标记器将图像和文本表示为统一的离散令牌表示，继承了大模型成功的自回归生成学习范式，实现了图像和文本的统一理解和生成。
多模态感知与场景理解在机器人技术、计算机视觉等领域取得了显著进展，但仍面临诸多挑战和机遇。未来研究需关注大规模3D基础模型的构建、数据高效训练方法的开发、提高3D建模的计算效率以及纳入更多模态以实现更全面和精确的场景理解。
更多技术内容
更多技术内容可参见
清华《GPT多模态大模型与AI Agent智能体》书籍配套视频【陈敬雷】。
更多的技术交流和探讨也欢迎加我个人微信chenjinglei66。
总结
此文章有对应的配套新书教材和视频：
【配套新书教材】
《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）【陈敬雷编著】【清华大学出版社】
新书特色：《GPT多模态大模型与AI Agent智能体》（跟我一起学人工智能）是一本2025年清华大学出版社出版的图书，作者是陈敬雷，本书深入探讨了GPT多模态大模型与AI Agent智能体的技术原理及其在企业中的应用落地。
全书共8章，从大模型技术原理切入，逐步深入大模型训练及微调，还介绍了众多国内外主流大模型。LangChain技术、RAG检索增强生成、多模态大模型等均有深入讲解。对AI Agent智能体，从定义、原理到主流框架也都进行了深入讲解。在企业应用落地方面，本书提供了丰富的案例分析，如基于大模型的对话式推荐系统、多模态搜索、NL2SQL数据即席查询、智能客服对话机器人、多模态数字人，以及多模态具身智能等。这些案例不仅展示了大模型技术的实际应用，也为读者提供了宝贵的实践经验。
本书适合对大模型、多模态技术及AI Agent感兴趣的读者阅读，也特别适合作为高等院校本科生和研究生的教材或参考书。书中内容丰富、系统，既有理论知识的深入讲解，也有大量的实践案例和代码示例，能够帮助学生在掌握理论知识的同时，培养实际操作能力和解决问题的能力。通过阅读本书，读者将能够更好地理解大模型技术的前沿发展，并将其应用于实际工作中，推动人工智能技术的进步和创新。
【配套视频】
清华《GPT多模态大模型与AI Agent智能体》书籍配套视频【陈敬雷】
视频特色： 前沿技术深度解析，把握行业脉搏
实战驱动，掌握大模型开发全流程
智能涌现与 AGI 前瞻，抢占技术高地
上一篇：《GPT多模态大模型与AI Agent智能体》系列一》大模型技术原理 - 大模型技术的起源、思想
下一篇：DeepSeek大模型技术系列五》DeepSeek大模型基础设施全解析：支撑万亿参数模型的幕后英雄