LangChain:与RAG相关的模块

写在最前

  本篇博客主要整理LangChain中与RAG(Retrieval-Augmented Generation，即检索增强生成)相关的模块。但这部分内容不会详细介绍，原因主要有以下几点：

• LangChain中数据处理与RAG相关的工具相对而言比较粗糙；
• 这一类模块集成了太多第三方工具，无法一一详细介绍其用法；
• LlamaIndex在数据处理上的工具会更丰富。

1. documents相关模块

  LangChain中的langchain_community包的document_loaders、document_compressors和document_transformers模块封装了很多文件处理工具。但目前使用下来效果没有那么惊艳，所以这里不会特别详细的介绍该模块。

1.1 document_loaders模块

  document_loaders负责加载外部数据源中的数据(比如PDF、Word、Html页面)，将其转换为内部可处理的文档格式。该模块下的类主要包括以下两大类别：

• Loader读取器: Loader类都继承自BaseLoader类(该类的定义在langchain_core.document_loaders中)，这一大类别一般可以直接接收文件的路径来读取文件内容。
• Parser解析器:Parser继承BaseBlobParser(该类的定义在langchain_core.document_loaders中)，这一个类别可以直接解析二进制数据Blob。

这里仅以pdf文件的读取为例进行说明：

from langchain_community.document_loaders import PDFMinerLoader
from langchain_community.document_loaders.parsers import PDFMinerParser
from langchain_core.documents.base import Blob

loader = PDFMinerLoader("llama2.pdf")
pages=loader.load_and_split()
print(pages[0])
print('===============')
blob=Blob.from_path("llama2.pdf")
parser=PDFMinerParser().parse(blob)
print(parser[0])

关于上述代码，有以下几点需要说明：

• 这些文件读取器、解析器的都依赖其它专门的python包，比如上述代码中用到的PDFMinerLoader, 其背后使用的包为pdfminer.six。在运行代码之前，要先完成该包的安装。
• 上述代码中Blob包的引用方法与当前LangChain官方案例中的引用方法不同(官方案例中的引用方法为from langchain_core.documents import Blob )，原因暂时不明。

1.2 document_compressors模块

  从名称上看，该模块好像是对documents进行压缩，但从各个类的源代码中可以发现，该模块的主要完成对documents的重排。目前document_compressors模块中的类主要有以下几种：DashScopeRerank、FlashrankRerank及JinaRerank等。不同的类方法会有些差异。这里仅以阿里的DashScopeRerank为例进行说明，具体如下

from langchain_community.document_compressors import DashScopeRerank
from dotenv import load_dotenv,find_dotenv
from langchain_core.documents import Document
_=load_dotenv(find_dotenv())
docs=[
    Document(page_content="今天天气很好"),
    Document(page_content="今天星期一"),
    Document(page_content="今天将会有新人加入我们"),
]
new_docs=DashScopeRerank().compress_documents(docs,query="今天是周几")
print(new_docs)

其运行结果如下：

[Document(metadata={'relevance_score': 0.5411219497495873}, page_content='今天星期一'), 
Document(metadata={'relevance_score': 0.2763095655416217}, page_content='今天将会有新人加入我们'),
Document(metadata={'relevance_score': 0.1740313260790499}, page_content='今天天气很好')]

1.3 document_transformers模块

  顾名思义，使用document_transformers中的对文档进行转换，比如将文档转换成embedding向量，从文档中抽取问题对等。这里仅以EmbeddingsRedundantFilter为例进行说明(结果将展示出具体的embedding向量，这里不展示)：

from langchain_community.document_transformers import EmbeddingsRedundantFilter
from langchain_core.documents import Document
from langchain_community.embeddings import HuggingFaceBgeEmbeddings
model_name = "BAAI/bge-large-en"
model_kwargs = {'device': 'cpu'}
encode_kwargs = {'normalize_embeddings': True}
hf = HuggingFaceBgeEmbeddings(
    model_name=model_name,
    model_kwargs=model_kwargs,
    encode_kwargs=encode_kwargs
)
docs=[
    Document(page_content="早上好"),
    Document(page_content="你好"),
    Document(page_content="hello"),
]
new_docs=EmbeddingsRedundantFilter(
    embeddings=hf).transform_documents(docs)
print(new_docs)