上一篇把四个商城、OA 文档片段和三个问题转换成了向量,保存为 rag-demo.json。这一篇把它们交给 Qdrant,完成“保存 → 按范围检索 → 取回原文”的过程。
先回答一个很实际的问题:商城知识库与 OA 知识库要不要部署两套? 通常可以建立两个逻辑知识库,共用一套应用、一个向量数据库和同一个 Embedding 模型。接下来把“逻辑上分开”落实到数据库查询里。
本文继续使用虚构的教学规则。需要 PowerShell 7、Docker,以及上一篇生成的数据文件;查询阶段复用提前生成的问题向量,因此不需要一直开着 Ollama。在线系统遇到新问题时,仍然需要调用 Embedding 模型。
1. 先分清:系统、知识库、Collection
| 名称 | 表示什么 | 这个例子里是什么 |
|---|---|---|
| 知识库系统 | 管理文档、索引、权限、提问等功能的应用 | 一套给商城和 OA 使用的 AI 平台 |
| 逻辑知识库 | 业务上划定的一组资料 | 商城资料 mall、公司制度 oa |
| Qdrant 实例 | 正在运行的向量数据库服务 | 本地启动的一个 Qdrant |
| Collection | Qdrant 中的一组 Point 及其向量配置 | 本练习的 rag_basics_bge_m3_v1 |
两个逻辑知识库不一定等于两个 Collection,更不一定等于两套部署。 常见做法有三种:
| 做法 | 数据怎样区分 | 适用考虑 |
|---|---|---|
| 一个 Collection,字段区分 | 每段资料有 knowledge_base_id,查询必须带过滤条件 | 模型与向量配置相同,希望共用检索结构 |
| 两个 Collection | 商城、OA 分别选择对应集合 | 希望分别管理索引、发布或使用不同向量配置 |
| 两套数据库部署 | 独立实例与访问入口 | 有明确的资源、运维或部署隔离要求 |
本练习选择第一种,便于直观看到过滤的作用。共用的是基础设施,不是把所有资料无条件交给每个用户;拆成两个 Collection 也不会自动完成应用的权限校验。Qdrant 的多租户说明介绍了共享集合与过滤的组织方式。
还要区分业务库和租户:mall、oa 是业务范围。如果你的平台服务多家公司,还需要 tenant_id;同一家公司内部可能继续需要部门、角色或文档访问范围。只写 knowledge_base_id = oa,不代表所有员工都能看所有 OA 文档。
2. 看懂一条记录,就看懂四个基本概念
Qdrant 中一条可检索记录叫 Point。本例的一条记录可以拆成:
Collection:rag_basics_bge_m3_v1└── Point ├── id:3 ├── vector:上一篇为报销制度生成的 1024 个数字 └── payload ├── knowledge_base_id:oa ├── document_id:travel ├── title:教学公司差旅报销制度 ├── text:普通员工国内出差住宿上限为400元每晚…… ├── source:oa/travel.md ├── version:v1 └── status:published- Collection:存放这组记录,并约定向量配置。
- Point:一条记录,本例对应一个文档片段。
- Vector:用于比较与问题的相似程度。
- Payload:附带的原文、来源和过滤字段。
这不是可执行 JSON,省略号也不是实际向量。后面的脚本会读取完整向量,不会拿三个数字冒充 1024 维。
Qdrant 的 Point ID 支持无符号 64 位整数或 UUID,不能直接使用任意字符串如 return-policy-chunk-1。本练习固定使用整数 1~4;正式入库时可以给片段分配稳定 UUID。Point 文档
本例只配置一个未命名的稠密向量,要求 1024 维、Cosine 距离。Qdrant 也支持命名向量等更复杂结构,不是整个产品只能处理一种维度;同一个被查询的向量字段必须遵守自己的配置。Collection 文档
原文不一定必须放在 Qdrant,也可以通过文档 ID 从其他存储取回。关键是:检索后必须能拿到原文,不能只把一串向量交给聊天模型当作知识。 为了减少组件,本练习直接把原文放进 Payload。
3. 启动一个带持久化存储的 Qdrant
确认 Docker 已安装并启动。在存放 rag-demo.json 的练习目录创建 compose.yaml,也可以下载 compose.yaml:
services: qdrant: image: qdrant/qdrant:v1.19.0 ports: - "127.0.0.1:6333:6333" volumes: - rag_basics_storage:/qdrant/storage
volumes: rag_basics_storage:这里固定 Qdrant v1.19.0 作为示例基线,方便复现,并不要求已有项目盲目跟随这个版本。只绑定本机地址;这个配置用于本地学习。
在该目录执行:
docker compose up -d就绪后可以打开 本地 Qdrant Dashboard。本文用 6333 的 HTTP API;一些 Java 客户端用 6334 的 gRPC,不能把两种端口混用。本例没有映射 gRPC 端口。
Volume 保存数据库文件,让容器重建后仍能复用数据,但不等于备份。若删除该数据卷,数据仍会丢失。
4. 把上一篇的四个片段真正写进去
下面的 PowerShell 代码按顺序在同一个终端会话执行。也可以下载完整的 02-qdrant.ps1,在包含 rag-demo.json 的目录运行 pwsh -File ./02-qdrant.ps1;脚本会连接已启动的 Qdrant,不负责启动 Docker。
4.1 读取文件,准备一个 HTTP 调用函数
$ErrorActionPreference = 'Stop'$sample = Get-Content -LiteralPath './rag-demo.json' -Raw -Encoding utf8 | ConvertFrom-Json$qdrantBase = 'http://localhost:6333'$collection = 'rag_basics_bge_m3_v1'
if ($sample.model -ne 'bge-m3' -or $sample.dimension -ne 1024) { throw '请使用上一篇生成的 bge-m3 数据文件'}if ($sample.chunks.Count -ne 4 -or $sample.questions.Count -ne 3 -or $sample.embeddings.Count -ne 7) { throw '练习数据应包含4个片段、3个问题和7个向量'}foreach ($vector in $sample.embeddings) { if ($vector.Count -ne 1024) { throw '数据文件中的向量维度不匹配' }}
function Invoke-Qdrant { param([string]$Method, [string]$Path, $Body = $null) $request = @{ Method = $Method Uri = "$qdrantBase$Path" TimeoutSec = 30 } if ($null -ne $Body) { $request.ContentType = 'application/json; charset=utf-8' $request.Body = $Body | ConvertTo-Json -Depth 20 } Invoke-RestMethod @request}函数只是把“拼地址、转 JSON、发送请求”放到一起。这里检查维度是为了尽早发现错误,不代表同维度的不同模型就可以混用。Collection 也不会替你证明向量来自哪个模型,模型版本需要由应用记录。
4.2 创建集合,并确认已有集合的配置
$collections = Invoke-Qdrant -Method Get -Path '/collections'if ($collection -notin @($collections.result.collections.name)) { Invoke-Qdrant -Method Put -Path "/collections/$collection" -Body @{ vectors = @{ size = 1024; distance = 'Cosine' } } | Out-Null}
$info = Invoke-Qdrant -Method Get -Path "/collections/$collection"$vectors = $info.result.config.params.vectorsif ($vectors.size -ne 1024 -or $vectors.distance -ne 'Cosine') { throw '已有集合的向量配置不匹配,请使用新的练习集合名'}
foreach ($field in @('knowledge_base_id', 'status')) { Invoke-Qdrant -Method Put -Path "/collections/$collection/index?wait=true" -Body @{ field_name = $field field_schema = 'keyword' } | Out-Null}knowledge_base_id、status 后面会参与精确过滤,因此为它们创建 keyword 类型的 Payload 索引。索引帮助查询执行,不会自动给请求加上过滤条件。四条数据不需要做性能调优,这一步是明确字段用途。
4.3 写入 Point,只写文档,不写问题
$points = @( for ($i = 0; $i -lt $sample.chunks.Count; $i++) { $chunk = $sample.chunks[$i] @{ id = $chunk.id vector = @($sample.embeddings[$i]) payload = @{ knowledge_base_id = $chunk.kb document_id = $chunk.doc chunk_index = 0 title = $chunk.title text = $chunk.text source = $chunk.source version = $chunk.version status = 'published' } } })
Invoke-Qdrant -Method Put -Path "/collections/$collection/points?wait=true" -Body @{ points = $points } | Out-Null$count = Invoke-Qdrant -Method Post -Path "/collections/$collection/points/count" -Body @{ exact = $true }"Point count: $($count.result.count)"在专用的干净练习集合中,应看到 Point count: 4,不是 7。三个问题的向量只用于查询,不作为知识记录入库。
这里使用 Upsert:同一个 ID 已存在就替换,不存在就新增;wait=true 要求等待变更应用完成。重新执行本例仍是四条记录,因为 ID 始终是 1~4。Upsert API
这不等于已经做好通用增量同步:如果一份文档从五个片段变成三个,旧的两个片段还需要清理。本例的固定 ID 也不应拿去写入已有业务集合。
5. 同一个 Collection,分别查商城与 OA
5.1 先读懂过滤条件
假设用户从商城客服入口提问,后端确定本次只允许查商城已发布资料。查询条件应表达为:
{ "filter": { "must": [ { "key": "knowledge_base_id", "match": { "value": "mall" } }, { "key": "status", "match": { "value": "published" } } ] }, "limit": 2, "with_payload": true, "with_vector": false}这是请求体的条件部分,完整请求还需要 query 中的真实问题向量。must 表示条件要同时满足;limit = 2 表示最多取两条;with_payload 让结果带回原文与来源。过滤文档
我们要求数据库只返回范围内的候选结果,不是先召回全公司的资料,再让模型决定哪些可以说。
5.2 加上问题向量,发出完整查询
function Search-Knowledge { param( [string]$KnowledgeBase, [ValidateRange(0, 2)][int]$QuestionIndex, $MinScore = $null ) $body = @{ query = @($sample.embeddings[$sample.chunks.Count + $QuestionIndex]) filter = @{ must = @( @{ key = 'knowledge_base_id'; match = @{ value = $KnowledgeBase } }, @{ key = 'status'; match = @{ value = 'published' } } ) } limit = 2 with_payload = $true with_vector = $false } if ($null -ne $MinScore) { $body.score_threshold = [double]$MinScore }
$response = Invoke-Qdrant -Method Post -Path "/collections/$collection/points/query" -Body $body foreach ($point in $response.result.points) { [pscustomobject]@{ Id = $point.id Score = $point.score KnowledgeBase = $point.payload.knowledge_base_id Title = $point.payload.title Text = $point.payload.text Source = $point.payload.source Version = $point.payload.version } }}
$mallResults = @(Search-Knowledge -KnowledgeBase 'mall' -QuestionIndex 0)$mallResults | Format-Table Id, Score, KnowledgeBase, Title -AutoSize
$oaResults = @(Search-Knowledge -KnowledgeBase 'oa' -QuestionIndex 1)$oaResults | Format-Table Id, Score, KnowledgeBase, Title -AutoSize这里使用 POST /collections/{collection}/points/query,取回的是响应中的 result.points。Query API
检查两件事,不要只看有无返回:
| 查询 | 必须满足的范围 | 希望优先命中的内容 |
|---|---|---|
| 商城:在哪里申请退货? | 结果全部为 mall | ID 1,教学商城退货申请 |
| OA:住宿一晚能报多少? | 结果全部为 oa | ID 3,教学公司差旅报销制度 |
范围正确是过滤要求,排序是否命中正确片段是检索质量要求。具体分数由你的模型运行产生;如果首位不符合预期,就记录这个检索问题,查看实际输入和原文,不把“有返回”直接算作通过。
脚本里的 KnowledgeBase 是手动指定的练习参数。实际系统应该由后端根据入口、用户身份与授权计算范围,不能直接信任用户传来的 oa。统一助手可以在已授权的库里进行业务路由,问题不明确时先澄清;模型不能自行扩大允许检索的范围。
6. TopK、分数阈值和“真的有答案”是三件事
前面的 limit = 2 就是这里的 TopK:在符合条件的候选中,最多返回两条。不是必须凑齐两条,也不是“两条一定都能回答”。
先观察没有阈值时,资料缺失会怎样:
# 问题2:公司每月停车补贴多少钱?四段资料都没有这个答案。$missingAnswer = @(Search-Knowledge -KnowledgeBase 'oa' -QuestionIndex 2)$missingAnswer | Format-List Title, Score, Text, Source
# 问题1明明在问OA住宿报销,但这里故意限定为商城库。$wrongScope = @(Search-Knowledge -KnowledgeBase 'mall' -QuestionIndex 1)$wrongScope | Format-List KnowledgeBase, Title, Score, Text
# 不存在的业务范围,应当得到空结果。$empty = @(Search-Knowledge -KnowledgeBase 'no-such-kb' -QuestionIndex 0)"Empty result count: $($empty.Count)"停车补贴问题可能仍然召回差旅或请假资料,因为数据库可以从候选里找出“相对最接近”的内容。把报销问题限定在商城库,也可能返回商城文档;过滤正确不等于知识库里一定有答案。
函数支持 MinScore,例如加上 -MinScore 0.70 会把它传给 score_threshold。但 0.70 只是演示参数,不是建议直接上线的阈值。本例只有四条资料,无法凭它确定生产环境的通用阈值。
对于本例的 Cosine 配置,分数越高表示向量越相似。它不是正确率:
| 控制或判断 | 回答的问题 |
|---|---|
| 知识库、租户与文档过滤 | 这次允许查哪些资料? |
| TopK | 最多取多少个候选片段? |
| 分数阈值 | 哪些候选在这个检索分数上太低? |
| 原文与证据检查 | 片段是否真的支持当前问题的答案? |
最后一项不能只靠一个分数代替。可以用有答案、无答案、近义表达、条件相似但结论不同的题目进行评测;需要时再增加重排模型,把问题与候选原文一起比较,但仍要检查最终回答有没有依据。
以后再看:Qdrant 是不是每次都用 HNSW?
HNSW 是一种用图结构加快近似近邻查找的索引。数据规模、过滤条件和索引配置不同,Qdrant 可能选择不同执行方式;四条数据的练习不必假设一定使用 HNSW。
先验证范围、原文和排序。出现召回或延迟问题后,再结合评测学习索引参数。关系数据库也可以通过向量扩展等方式支持相似检索,选择 Qdrant 不代表普通数据库永远无法做这件事。
7. 把取回的原文交给聊天模型,才进入生成阶段
到这里,完成的是检索,还没有调用聊天模型。现在可以把 OA 结果整理成带来源的参考资料,构造下一步要发送的内容:
if ($oaResults.Count -eq 0) { throw '没有可用参考片段,先排查检索,不构造有依据的回答'}$context = ($oaResults | ForEach-Object { "来源:$($_.Source),版本:$($_.Version)`n标题:$($_.Title)`n原文:$($_.Text)"}) -join "`n`n"
$question = $sample.questions[1]$answerPrompt = "请依据参考资料回答问题,保留适用对象、金额单位和例外条件,并标注来源。资料不足时明确说明。`n问题:$question`n参考资料:`n$context"$answerPrompt这段代码只展示待发送的内容,没有实际调用 DeepSeek 或其他聊天接口。接入聊天模型时,还需要配置它的接口、凭据和消息结构。
针对我们的虚构制度,回答应该保留以下内容;这是人工写出的验收示例,不是一次模型实测输出:
根据《教学公司差旅报销制度》,普通员工国内出差住宿上限为 400 元/晚;超标准需事前审批,报销时需提供住宿发票。来源:oa/travel.md,v1。
如果问题换成停车补贴,差旅住宿的 400 元不能挪用成停车补贴额度。提示词能表达要求,但不保证模型永远遵守,仍需用问题集验证回答和引用。
页面上的来源列表最好由后端根据实际命中的 Payload 生成,而不是让模型凭空写文件名。还要分别处理三种状态:命中且足以回答、命中但证据不足、检索服务不可用。
8. 资料以后改了,不能只改原文件
假设教学公司的住宿标准从 400 改成 500,修改 Word 文件不会自动更新 Qdrant。系统还需要解析新文档、生成新片段和向量、发布新版本,并撤下旧版本。
这里先区分几件常被混在一起的事:
| 操作 | 还需要做什么 |
|---|---|
| 原文内容变化 | 为变化的片段重新生成向量,保存新的来源版本 |
| 文档片段数量减少 | 清理或停用旧版本多余的片段 |
| 规则下线 | 让检索立即排除该版本,再安排清理索引 |
| 更换 Embedding 模型 | 重建相应向量空间并重新评测,不能只改模型名 |
| 应用或容器重启 | 使用持久化数据,不应该每次都重新生成全部向量 |
简单更新只有几个字段时也要考虑中途失败。较完整的发布方式是“写候选版本 → 核对完整性和检索结果 → 切换可见版本 → 清理旧版”。切换可见版本需要明确机制,例如重建整个 Collection 后切换别名,或由应用维护可检索版本规则;仅仅把 version 放进 Payload 并不会自动生效。
本练习的查询只过滤知识库与 status = published,没有实现完整版本发布。如果同时把 v1 和 v2 都标成已发布,就可能召回冲突规则,不能把示例当成无缝更新方案。
MySQL 可以用来管理文档、版本、任务和失败记录,Qdrant 负责向量检索,但 MySQL 不是所有 RAG 系统的必选项。小练习先用 JSON 文件即可;实际项目按管理需求选择存储。两套存储之间也不是天然原子事务,需要可重试、可核对的同步过程。
9. 做完后,按结果验收
| 检查 | 应该得到什么 |
|---|---|
| 第一次入库 | 专用练习集合共有 4 个 Point |
| 重复运行入库代码 | 仍为 4 个 Point,不重复追加 |
| 商城退货查询 | 只返回商城资料,重点检查退货片段是否优先命中 |
| OA 住宿查询 | 只返回 OA 资料,检查适用对象、金额、单位、例外是否完整 |
| 停车补贴问题 | 识别出资料不足,不借用住宿额度作答 |
| 不存在的知识库范围 | 返回 0 条,而不是取消过滤查全库 |
| 返回引用 | 文件名、版本能对应实际取回的原文 |
测试持久化时,在练习目录执行 docker compose restart qdrant,等服务就绪后,只重跑第 4.3 节最后的 Count 请求或直接在 Dashboard 检查,应该仍有四条数据。不要先重新执行整份入库脚本,否则即使数据丢失,也会被重新写入而掩盖问题。
本次练习只证明了数据组织和查询流程:完整产品还要把资料发布、访问范围、日志、备份恢复和实际问答评测接起来。继续看 商城 Agent 实战:接入持久化 RAG,就可以把本文的 HTTP 入库与查询对应到 LangChain4j 的 EmbeddingStore 和检索器。
If this article helped you, please share it with others!
Some information may be outdated






