LangChain/LlamaIndex 开发实践与集成思路

LangChain 和 LlamaIndex 不只是工具，更是 RAG 智能问答系统开发范式的变革者。选对框架，事半功倍。

构建 RAG 系统的流程涉及多个步骤和组件，幸运的是，现有的开发框架如 LangChain 和 LlamaIndex（又名 GPT Index）极大简化了这些工作。它们为开发者提供了高层接口来处理文档导入、向量索引和 LLM 交互等环节，并支持与主流 LLM 和向量数据库的集成。

LangChain 框架介绍

LangChain 是一个模块化的框架，提供了"链"和"代理"等抽象来串联 LLM 与各种工具。对于 RAG 场景，LangChain 提供了：文档加载器、文本分割器、嵌入模型接口、向量存储接口，以及Retrieval QA Chain等现成组件。开发者只需少量代码即可实现从文档到问答的链式调用。

LangChain RAG 构建流程

使用 LangChain 可以按以下思路构建 RAG 流程：

加载文档

使用 LangChain 的各类文档加载器读取本地文件、网页或数据库记录为文本。例如 UnstructuredMarkdownLoader 可读取 Markdown 文档。

文本分割

调用 CharacterTextSplitter 等工具将长文本切块。可设置 chunk_size 和 chunk_overlap 参数。

向量化及存储

初始化一个嵌入模型（如 OpenAIEmbeddings 或 HuggingFaceEmbeddings），然后使用 Chroma.from_documents 等方法将分割后的文档列表转换为向量存储。例如：

from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores import Chroma

embeddings = OpenAIEmbeddings()
vectordb = Chroma.from_documents(documents, embeddings)

上述代码会自动完成对每个文档片段的向量化，并存入本地的 Chroma 数据库。

检索与生成

构建一个问答 Chain，如 RetrievalQA。将向量数据库封装为一个检索器传给该 Chain，再指定所使用的 LLM 模型。之后对用户问题调用 chain.run(query)，Chain 会先检索相关文档片段，然后将片段内容与问题拼接交给 LLM 生成最终答案。

LlamaIndex 框架介绍

LlamaIndex 框架专注于文档与索引构建，提供了更丰富的索引类型（不仅限于向量索引，还有列表索引、树索引等）。使用 LlamaIndex，开发者可以：导入文档 -> 选择索引结构 -> 直接执行查询。

LlamaIndex 快速使用

其简洁的接口允许一行代码创建向量索引并查询，例如：

from llama_index import VectorStoreIndex, SimpleDirectoryReader

# 读取本地目录下所有文本文件为文档对象
documents = SimpleDirectoryReader("./data").load_data()
# 创建向量索引
index = VectorStoreIndex.from_documents(documents)
# 查询
response = index.query("请问本公司的年假政策是怎样的？")
print(response)

以上几行利用了 LlamaIndex 内置的文本读取与索引构建能力，我们无需手动处理分片和 embedding，默认配置下 LlamaIndex 会自动将文档切分为节点（Node）并生成向量嵌入。查询时，索引会检索相关节点并让 LLM 综合生成答案。

框架结合使用

在实际项目中，LangChain 和 LlamaIndex 也可以结合使用：例如用 LlamaIndex 维护复杂索引结构，再通过 LangChain 的工具接口将其集成到 Agent 中。二者各有所长：

• LangChain 擅长链式调用和 Agent 工具集成，适合需要模型与多个工具互动的场景
• LlamaIndex 专注高效语料索引，在文档检索和结构化知识库方面提供了便利

开发者可以根据需求选择，并利用其开放接口将自定义组件（如自己的向量库或 LLM 接口）接入。总的来说，这些框架减少了样板代码，使开发者将精力放在自有数据和业务逻辑上，快速实现一个可用的 RAG 智能问答系统。