mobile wallpaper 1mobile wallpaper 2mobile wallpaper 3mobile wallpaper 4
3963 words
10 minutes
RAG 基础(二):用 Qdrant 管理商城与 OA 两个知识库
2026-08-08
2026-09-29

上一篇把四个商城、OA 文档片段和三个问题转换成了向量,保存为 rag-demo.json。这一篇把它们交给 Qdrant,完成“保存 → 按范围检索 → 取回原文”的过程。

先回答一个很实际的问题:商城知识库与 OA 知识库要不要部署两套? 通常可以建立两个逻辑知识库,共用一套应用、一个向量数据库和同一个 Embedding 模型。接下来把“逻辑上分开”落实到数据库查询里。

本文继续使用虚构的教学规则。需要 PowerShell 7、Docker,以及上一篇生成的数据文件;查询阶段复用提前生成的问题向量,因此不需要一直开着 Ollama。在线系统遇到新问题时,仍然需要调用 Embedding 模型。

1. 先分清:系统、知识库、Collection#

名称表示什么这个例子里是什么
知识库系统管理文档、索引、权限、提问等功能的应用一套给商城和 OA 使用的 AI 平台
逻辑知识库业务上划定的一组资料商城资料 mall、公司制度 oa
Qdrant 实例正在运行的向量数据库服务本地启动的一个 Qdrant
CollectionQdrant 中的一组 Point 及其向量配置本练习的 rag_basics_bge_m3_v1

两个逻辑知识库不一定等于两个 Collection,更不一定等于两套部署。 常见做法有三种:

做法数据怎样区分适用考虑
一个 Collection,字段区分每段资料有 knowledge_base_id,查询必须带过滤条件模型与向量配置相同,希望共用检索结构
两个 Collection商城、OA 分别选择对应集合希望分别管理索引、发布或使用不同向量配置
两套数据库部署独立实例与访问入口有明确的资源、运维或部署隔离要求

本练习选择第一种,便于直观看到过滤的作用。共用的是基础设施,不是把所有资料无条件交给每个用户;拆成两个 Collection 也不会自动完成应用的权限校验。Qdrant 的多租户说明介绍了共享集合与过滤的组织方式。

还要区分业务库和租户:mall、oa 是业务范围。如果你的平台服务多家公司,还需要 tenant_id;同一家公司内部可能继续需要部门、角色或文档访问范围。只写 knowledge_base_id = oa,不代表所有员工都能看所有 OA 文档。

2. 看懂一条记录,就看懂四个基本概念#

Qdrant 中一条可检索记录叫 Point。本例的一条记录可以拆成:

Collection:rag_basics_bge_m3_v1
└── Point
├── id:3
├── vector:上一篇为报销制度生成的 1024 个数字
└── payload
├── knowledge_base_id:oa
├── document_id:travel
├── title:教学公司差旅报销制度
├── text:普通员工国内出差住宿上限为400元每晚……
├── source:oa/travel.md
├── version:v1
└── status:published
  • Collection:存放这组记录,并约定向量配置。
  • Point:一条记录,本例对应一个文档片段。
  • Vector:用于比较与问题的相似程度。
  • Payload:附带的原文、来源和过滤字段。

这不是可执行 JSON,省略号也不是实际向量。后面的脚本会读取完整向量,不会拿三个数字冒充 1024 维。

Qdrant 的 Point ID 支持无符号 64 位整数或 UUID,不能直接使用任意字符串如 return-policy-chunk-1。本练习固定使用整数 1~4;正式入库时可以给片段分配稳定 UUID。Point 文档

本例只配置一个未命名的稠密向量,要求 1024 维、Cosine 距离。Qdrant 也支持命名向量等更复杂结构,不是整个产品只能处理一种维度;同一个被查询的向量字段必须遵守自己的配置。Collection 文档

原文不一定必须放在 Qdrant,也可以通过文档 ID 从其他存储取回。关键是:检索后必须能拿到原文,不能只把一串向量交给聊天模型当作知识。 为了减少组件,本练习直接把原文放进 Payload。

3. 启动一个带持久化存储的 Qdrant#

确认 Docker 已安装并启动。在存放 rag-demo.json 的练习目录创建 compose.yaml,也可以下载 compose.yaml:

services:
qdrant:
image: qdrant/qdrant:v1.19.0
ports:
- "127.0.0.1:6333:6333"
volumes:
- rag_basics_storage:/qdrant/storage
volumes:
rag_basics_storage:

这里固定 Qdrant v1.19.0 作为示例基线,方便复现,并不要求已有项目盲目跟随这个版本。只绑定本机地址;这个配置用于本地学习。

在该目录执行:

docker compose up -d

就绪后可以打开 本地 Qdrant Dashboard。本文用 6333 的 HTTP API;一些 Java 客户端用 6334 的 gRPC,不能把两种端口混用。本例没有映射 gRPC 端口。

Volume 保存数据库文件,让容器重建后仍能复用数据,但不等于备份。若删除该数据卷,数据仍会丢失。

4. 把上一篇的四个片段真正写进去#

下面的 PowerShell 代码按顺序在同一个终端会话执行。也可以下载完整的 02-qdrant.ps1,在包含 rag-demo.json 的目录运行 pwsh -File ./02-qdrant.ps1;脚本会连接已启动的 Qdrant,不负责启动 Docker。

4.1 读取文件,准备一个 HTTP 调用函数#

Terminal window
$ErrorActionPreference = 'Stop'
$sample = Get-Content -LiteralPath './rag-demo.json' -Raw -Encoding utf8 | ConvertFrom-Json
$qdrantBase = 'http://localhost:6333'
$collection = 'rag_basics_bge_m3_v1'
if ($sample.model -ne 'bge-m3' -or $sample.dimension -ne 1024) {
throw '请使用上一篇生成的 bge-m3 数据文件'
}
if ($sample.chunks.Count -ne 4 -or $sample.questions.Count -ne 3 -or $sample.embeddings.Count -ne 7) {
throw '练习数据应包含4个片段、3个问题和7个向量'
}
foreach ($vector in $sample.embeddings) {
if ($vector.Count -ne 1024) { throw '数据文件中的向量维度不匹配' }
}
function Invoke-Qdrant {
param([string]$Method, [string]$Path, $Body = $null)
$request = @{
Method = $Method
Uri = "$qdrantBase$Path"
TimeoutSec = 30
}
if ($null -ne $Body) {
$request.ContentType = 'application/json; charset=utf-8'
$request.Body = $Body | ConvertTo-Json -Depth 20
}
Invoke-RestMethod @request
}

函数只是把“拼地址、转 JSON、发送请求”放到一起。这里检查维度是为了尽早发现错误,不代表同维度的不同模型就可以混用。Collection 也不会替你证明向量来自哪个模型,模型版本需要由应用记录。

4.2 创建集合,并确认已有集合的配置#

Terminal window
$collections = Invoke-Qdrant -Method Get -Path '/collections'
if ($collection -notin @($collections.result.collections.name)) {
Invoke-Qdrant -Method Put -Path "/collections/$collection" -Body @{
vectors = @{ size = 1024; distance = 'Cosine' }
} | Out-Null
}
$info = Invoke-Qdrant -Method Get -Path "/collections/$collection"
$vectors = $info.result.config.params.vectors
if ($vectors.size -ne 1024 -or $vectors.distance -ne 'Cosine') {
throw '已有集合的向量配置不匹配,请使用新的练习集合名'
}
foreach ($field in @('knowledge_base_id', 'status')) {
Invoke-Qdrant -Method Put -Path "/collections/$collection/index?wait=true" -Body @{
field_name = $field
field_schema = 'keyword'
} | Out-Null
}

knowledge_base_id、status 后面会参与精确过滤,因此为它们创建 keyword 类型的 Payload 索引。索引帮助查询执行,不会自动给请求加上过滤条件。四条数据不需要做性能调优,这一步是明确字段用途。

4.3 写入 Point,只写文档,不写问题#

Terminal window
$points = @(
for ($i = 0; $i -lt $sample.chunks.Count; $i++) {
$chunk = $sample.chunks[$i]
@{
id = $chunk.id
vector = @($sample.embeddings[$i])
payload = @{
knowledge_base_id = $chunk.kb
document_id = $chunk.doc
chunk_index = 0
title = $chunk.title
text = $chunk.text
source = $chunk.source
version = $chunk.version
status = 'published'
}
}
}
)
Invoke-Qdrant -Method Put -Path "/collections/$collection/points?wait=true" -Body @{ points = $points } | Out-Null
$count = Invoke-Qdrant -Method Post -Path "/collections/$collection/points/count" -Body @{ exact = $true }
"Point count: $($count.result.count)"

在专用的干净练习集合中,应看到 Point count: 4,不是 7。三个问题的向量只用于查询,不作为知识记录入库。

这里使用 Upsert:同一个 ID 已存在就替换,不存在就新增;wait=true 要求等待变更应用完成。重新执行本例仍是四条记录,因为 ID 始终是 1~4。Upsert API

这不等于已经做好通用增量同步:如果一份文档从五个片段变成三个,旧的两个片段还需要清理。本例的固定 ID 也不应拿去写入已有业务集合。

5. 同一个 Collection,分别查商城与 OA#

5.1 先读懂过滤条件#

假设用户从商城客服入口提问,后端确定本次只允许查商城已发布资料。查询条件应表达为:

{
"filter": {
"must": [
{ "key": "knowledge_base_id", "match": { "value": "mall" } },
{ "key": "status", "match": { "value": "published" } }
]
},
"limit": 2,
"with_payload": true,
"with_vector": false
}

这是请求体的条件部分,完整请求还需要 query 中的真实问题向量。must 表示条件要同时满足;limit = 2 表示最多取两条;with_payload 让结果带回原文与来源。过滤文档

我们要求数据库只返回范围内的候选结果,不是先召回全公司的资料,再让模型决定哪些可以说。

5.2 加上问题向量,发出完整查询#

Terminal window
function Search-Knowledge {
param(
[string]$KnowledgeBase,
[ValidateRange(0, 2)][int]$QuestionIndex,
$MinScore = $null
)
$body = @{
query = @($sample.embeddings[$sample.chunks.Count + $QuestionIndex])
filter = @{
must = @(
@{ key = 'knowledge_base_id'; match = @{ value = $KnowledgeBase } },
@{ key = 'status'; match = @{ value = 'published' } }
)
}
limit = 2
with_payload = $true
with_vector = $false
}
if ($null -ne $MinScore) { $body.score_threshold = [double]$MinScore }
$response = Invoke-Qdrant -Method Post -Path "/collections/$collection/points/query" -Body $body
foreach ($point in $response.result.points) {
[pscustomobject]@{
Id = $point.id
Score = $point.score
KnowledgeBase = $point.payload.knowledge_base_id
Title = $point.payload.title
Text = $point.payload.text
Source = $point.payload.source
Version = $point.payload.version
}
}
}
$mallResults = @(Search-Knowledge -KnowledgeBase 'mall' -QuestionIndex 0)
$mallResults | Format-Table Id, Score, KnowledgeBase, Title -AutoSize
$oaResults = @(Search-Knowledge -KnowledgeBase 'oa' -QuestionIndex 1)
$oaResults | Format-Table Id, Score, KnowledgeBase, Title -AutoSize

这里使用 POST /collections/{collection}/points/query,取回的是响应中的 result.points。Query API

检查两件事,不要只看有无返回:

查询必须满足的范围希望优先命中的内容
商城:在哪里申请退货?结果全部为 mallID 1,教学商城退货申请
OA:住宿一晚能报多少?结果全部为 oaID 3,教学公司差旅报销制度

范围正确是过滤要求,排序是否命中正确片段是检索质量要求。具体分数由你的模型运行产生;如果首位不符合预期,就记录这个检索问题,查看实际输入和原文,不把“有返回”直接算作通过。

脚本里的 KnowledgeBase 是手动指定的练习参数。实际系统应该由后端根据入口、用户身份与授权计算范围,不能直接信任用户传来的 oa。统一助手可以在已授权的库里进行业务路由,问题不明确时先澄清;模型不能自行扩大允许检索的范围。

6. TopK、分数阈值和“真的有答案”是三件事#

前面的 limit = 2 就是这里的 TopK:在符合条件的候选中,最多返回两条。不是必须凑齐两条,也不是“两条一定都能回答”。

先观察没有阈值时,资料缺失会怎样:

Terminal window
# 问题2:公司每月停车补贴多少钱?四段资料都没有这个答案。
$missingAnswer = @(Search-Knowledge -KnowledgeBase 'oa' -QuestionIndex 2)
$missingAnswer | Format-List Title, Score, Text, Source
# 问题1明明在问OA住宿报销,但这里故意限定为商城库。
$wrongScope = @(Search-Knowledge -KnowledgeBase 'mall' -QuestionIndex 1)
$wrongScope | Format-List KnowledgeBase, Title, Score, Text
# 不存在的业务范围,应当得到空结果。
$empty = @(Search-Knowledge -KnowledgeBase 'no-such-kb' -QuestionIndex 0)
"Empty result count: $($empty.Count)"

停车补贴问题可能仍然召回差旅或请假资料,因为数据库可以从候选里找出“相对最接近”的内容。把报销问题限定在商城库,也可能返回商城文档;过滤正确不等于知识库里一定有答案。

函数支持 MinScore,例如加上 -MinScore 0.70 会把它传给 score_threshold。但 0.70 只是演示参数,不是建议直接上线的阈值。本例只有四条资料,无法凭它确定生产环境的通用阈值。

对于本例的 Cosine 配置,分数越高表示向量越相似。它不是正确率:

控制或判断回答的问题
知识库、租户与文档过滤这次允许查哪些资料?
TopK最多取多少个候选片段?
分数阈值哪些候选在这个检索分数上太低?
原文与证据检查片段是否真的支持当前问题的答案?

最后一项不能只靠一个分数代替。可以用有答案、无答案、近义表达、条件相似但结论不同的题目进行评测;需要时再增加重排模型,把问题与候选原文一起比较,但仍要检查最终回答有没有依据。

以后再看:Qdrant 是不是每次都用 HNSW?

HNSW 是一种用图结构加快近似近邻查找的索引。数据规模、过滤条件和索引配置不同,Qdrant 可能选择不同执行方式;四条数据的练习不必假设一定使用 HNSW。

先验证范围、原文和排序。出现召回或延迟问题后,再结合评测学习索引参数。关系数据库也可以通过向量扩展等方式支持相似检索,选择 Qdrant 不代表普通数据库永远无法做这件事。

7. 把取回的原文交给聊天模型,才进入生成阶段#

到这里,完成的是检索,还没有调用聊天模型。现在可以把 OA 结果整理成带来源的参考资料,构造下一步要发送的内容:

Terminal window
if ($oaResults.Count -eq 0) {
throw '没有可用参考片段,先排查检索,不构造有依据的回答'
}
$context = ($oaResults | ForEach-Object {
"来源:$($_.Source),版本:$($_.Version)`n标题:$($_.Title)`n原文:$($_.Text)"
}) -join "`n`n"
$question = $sample.questions[1]
$answerPrompt = "请依据参考资料回答问题,保留适用对象、金额单位和例外条件,并标注来源。资料不足时明确说明。`n问题:$question`n参考资料:`n$context"
$answerPrompt

这段代码只展示待发送的内容,没有实际调用 DeepSeek 或其他聊天接口。接入聊天模型时,还需要配置它的接口、凭据和消息结构。

针对我们的虚构制度,回答应该保留以下内容;这是人工写出的验收示例,不是一次模型实测输出:

根据《教学公司差旅报销制度》,普通员工国内出差住宿上限为 400 元/晚;超标准需事前审批,报销时需提供住宿发票。来源:oa/travel.md,v1。

如果问题换成停车补贴,差旅住宿的 400 元不能挪用成停车补贴额度。提示词能表达要求,但不保证模型永远遵守,仍需用问题集验证回答和引用。

页面上的来源列表最好由后端根据实际命中的 Payload 生成,而不是让模型凭空写文件名。还要分别处理三种状态:命中且足以回答、命中但证据不足、检索服务不可用。

8. 资料以后改了,不能只改原文件#

假设教学公司的住宿标准从 400 改成 500,修改 Word 文件不会自动更新 Qdrant。系统还需要解析新文档、生成新片段和向量、发布新版本,并撤下旧版本。

这里先区分几件常被混在一起的事:

操作还需要做什么
原文内容变化为变化的片段重新生成向量,保存新的来源版本
文档片段数量减少清理或停用旧版本多余的片段
规则下线让检索立即排除该版本,再安排清理索引
更换 Embedding 模型重建相应向量空间并重新评测,不能只改模型名
应用或容器重启使用持久化数据,不应该每次都重新生成全部向量

简单更新只有几个字段时也要考虑中途失败。较完整的发布方式是“写候选版本 → 核对完整性和检索结果 → 切换可见版本 → 清理旧版”。切换可见版本需要明确机制,例如重建整个 Collection 后切换别名,或由应用维护可检索版本规则;仅仅把 version 放进 Payload 并不会自动生效。

本练习的查询只过滤知识库与 status = published,没有实现完整版本发布。如果同时把 v1 和 v2 都标成已发布,就可能召回冲突规则,不能把示例当成无缝更新方案。

MySQL 可以用来管理文档、版本、任务和失败记录,Qdrant 负责向量检索,但 MySQL 不是所有 RAG 系统的必选项。小练习先用 JSON 文件即可;实际项目按管理需求选择存储。两套存储之间也不是天然原子事务,需要可重试、可核对的同步过程。

9. 做完后,按结果验收#

检查应该得到什么
第一次入库专用练习集合共有 4 个 Point
重复运行入库代码仍为 4 个 Point,不重复追加
商城退货查询只返回商城资料,重点检查退货片段是否优先命中
OA 住宿查询只返回 OA 资料,检查适用对象、金额、单位、例外是否完整
停车补贴问题识别出资料不足,不借用住宿额度作答
不存在的知识库范围返回 0 条,而不是取消过滤查全库
返回引用文件名、版本能对应实际取回的原文

测试持久化时,在练习目录执行 docker compose restart qdrant,等服务就绪后,只重跑第 4.3 节最后的 Count 请求或直接在 Dashboard 检查,应该仍有四条数据。不要先重新执行整份入库脚本,否则即使数据丢失,也会被重新写入而掩盖问题。

本次练习只证明了数据组织和查询流程:完整产品还要把资料发布、访问范围、日志、备份恢复和实际问答评测接起来。继续看 商城 Agent 实战:接入持久化 RAG,就可以把本文的 HTTP 入库与查询对应到 LangChain4j 的 EmbeddingStore 和检索器。

Share

If this article helped you, please share it with others!

RAG 基础(二):用 Qdrant 管理商城与 OA 两个知识库
https://mizuki.mysqil.com/posts/qdrant-vector-database-basics/
Author
梦幻晨风
Published at
2026-08-08
License
CC BY-NC-SA 4.0

Some information may be outdated

Table of Contents