如何使用LlamaIndex创建知识库并进行智能对话

LlamaIndex 提供了一种非常方便的方式来上传包含多个文档的知识库，并基于这些文档进行对话。以下是一个详细的步骤，以及代码示例：

1. 安装必要的库:

首先，确保你已经安装了 llama-index 库，以及你想要使用的向量数据库的客户端库。例如，如果你使用 ChromaDB，你需要安装 chromadb。

pip install llama-index chromadb

2. 准备你的知识库文档:

将你的所有文档（例如，PDF, TXT, DOCX 等）放在一个文件夹中。 确保 LlamaIndex 支持这些文档类型，如果需要，可以使用转换工具进行转换。

3. 加载文档:

使用 SimpleDirectoryReader 类来加载整个文件夹中的文档。

from llama_index import SimpleDirectoryReader

# 指定包含文档的文件夹
documents_directory = "path/to/your/knowledge_base"

# 加载文件夹中的所有文档
documents = SimpleDirectoryReader(documents_directory).load_data()

print(f"加载了 {len(documents)} 个文档")

4. 选择并配置向量数据库 (例如, ChromaDB):

选择一个向量数据库，并按照其文档进行配置。 以下是使用 ChromaDB 的示例：

import chromadb
from llama_index.vector_stores import ChromaVectorStore
from llama_index.storage.storage_context import StorageContext

# 初始化 ChromaDB 客户端
chroma_client = chromadb.HttpClient(host="localhost", port=8000)  # 确保 ChromaDB 正在运行

# 如果集合已存在，可以选择删除它（可选，根据你的需求）
# chroma_client.delete_collection("my_knowledge_base")

# 创建或获取 ChromaDB 集合
chroma_collection = chroma_client.get_or_create_collection("my_knowledge_base")

# 创建 LlamaIndex 向量存储对象
vector_store = ChromaVectorStore(chroma_collection=chroma_collection)

# 创建存储上下文
storage_context = StorageContext.from_defaults(vector_store=vector_store)

• 注意: 你需要确保 ChromaDB 服务器正在运行。你可以使用 Docker 运行它（如之前的回答中所示）。 如果 my_knowledge_base 集合已经存在，则会附加新文档到现有集合。 如果集合不存在，则会创建一个新的集合。

5. 创建索引:

使用 VectorStoreIndex 类来创建索引，这将把你的文档嵌入到向量数据库中。

from llama_index import VectorStoreIndex

# 创建索引
index = VectorStoreIndex.from_documents(documents, storage_context=storage_context)

print("索引创建完成")

6. 创建查询引擎:

使用 index.as_query_engine() 来创建一个查询引擎，你可以用它来查询你的知识库。

# 创建查询引擎
query_engine = index.as_query_engine()

7. 进行对话:

现在你可以使用查询引擎来查询你的知识库，并进行对话。

# 提出问题
query = "请简要介绍一下LlamaIndex的功能和特点。"

# 查询知识库
response = query_engine.query(query)

# 打印回复
print("回复:", response)

完整代码示例:

import chromadb
from llama_index import SimpleDirectoryReader, VectorStoreIndex
from llama_index.vector_stores import ChromaVectorStore
from llama_index.storage.storage_context import StorageContext

# 1. 加载文档
documents_directory = "data"  # 替换为你的知识库文件夹
documents = SimpleDirectoryReader(documents_directory).load_data()
print(f"加载了 {len(documents)} 个文档")

# 2. 配置 ChromaDB
chroma_client = chromadb.HttpClient(host="localhost", port=8000)
chroma_collection = chroma_client.get_or_create_collection("my_knowledge_base")
vector_store = ChromaVectorStore(chroma_collection=chroma_collection)
storage_context = StorageContext.from_defaults(vector_store=vector_store)

# 3. 创建索引
index = VectorStoreIndex.from_documents(documents, storage_context=storage_context)
print("索引创建完成")

# 4. 创建查询引擎
query_engine = index.as_query_engine()

# 5. 进行对话
query = "请简要介绍一下LlamaIndex的功能和特点。"
response = query_engine.query(query)
print("回复:", response)

重要提示:

• 文件夹路径: 确保 documents_directory 变量指向你的知识库文件夹的正确路径。
• ChromaDB 服务器: 确保你的 ChromaDB 服务器正在运行。
• 向量数据库选择: 你可以根据你的需求选择不同的向量数据库，并相应地修改代码。
• 索引创建时间: 创建索引可能需要一些时间，特别是对于大型知识库。
• 文档格式支持: 确保 LlamaIndex 支持你使用的文档格式。
• 优化: 你可以通过调整 LlamaIndex 的参数（例如，分块大小、嵌入模型）来优化性能。
• 错误处理: 添加适当的错误处理，以处理文件加载、数据库连接等问题。
• 多轮对话: 如果需要实现多轮对话，需要将对话历史存储起来，并在每次查询时将其提供给查询引擎。 LlamaIndex 提供了 ConversationBufferMemory 等工具来管理对话历史。

这个例子提供了一个基本的框架，你可以根据你的具体需求进行定制。 希望这可以帮助你构建你的知识库对话系统!