mobile wallpaper 1mobile wallpaper 2mobile wallpaper 3mobile wallpaper 4
3035 words
8 minutes
RAG 基础(一):从商城与 OA 问答理解知识库和 Embedding
2026-08-05
2026-09-29

用户问商城客服:“收到商品后不想要了,在哪里申请退货?”员工问 OA 助手:“出差住酒店,一晚最多能报多少钱?”

模型可能知道退货、报销的一般含义,却不知道你的商城怎么操作、你的公司规定了多少额度。这些信息在商城帮助文档、公司制度里,需要先找到,再交给模型阅读。

这就是我们学习 RAG 的起点。这两篇共用“商城 + OA”一组教学资料,每次只增加一层:

篇章解决的问题实际产物
第一篇:本文RAG 怎么工作?文本为什么要变成向量?用 bge-m3 生成文档和问题的向量,保存为 rag-demo.json
第二篇:Qdrant 与多个知识库向量存哪里?商城和 OA 如何分开检索?把同一组向量入库,按知识库范围检索原文和来源

只想理解原理,可以先读第 1~5 节。动手部分使用 PowerShell 7、Ollama 和 HTTP 接口,不需要先搭建 Java 项目。读懂流程后,再接 LangChain4j 会容易很多。

1. RAG 是“先找资料,再依据资料回答”#

RAG 是 Retrieval-Augmented Generation,即检索增强生成。放进这两个问题里,就是:

商城问题 → 找商城的退货说明 → 把说明和问题交给聊天模型 → 回答操作步骤
OA 问题 → 找公司的报销制度 → 把制度和问题交给聊天模型 → 回答额度与条件

这里有两个不同任务:

  • 检索:从很多资料里找出与当前问题相关的片段。
  • 生成:阅读片段,组织成用户能看懂的回答。

上传文件后,通常需要解析、切分、建立索引,才能检索;不是文件一上传就已经被模型“永久学会”。普通 RAG 也不需要修改聊天模型的参数,每次回答时给它补充相关资料即可。修改模型参数属于训练或微调,是另一件事。

RAG 也不限定只能用向量检索。本系列用向量检索学习主流程,后续还可以组合关键词检索。

先判断问题需要什么依据:

用户的问题依据在哪里处理方式
商城如何申请退货?商城操作说明知识库检索
我的订单发货了吗?商城当前订单记录调用订单接口
公司出差住宿报销标准是什么?公司制度知识库检索
我这张报销单批到哪里了?OA 当前审批记录调用 OA 接口

“我这张报销单能不能通过”可能同时需要制度和单据。模型可以帮助解释,但正式审批仍由业务流程处理。把实时订单、审批状态写进一份静态文档,会很快过时。

2. 先分清各个组件,不急着写配置#

名称你可以怎样理解输入与输出
原始文档运营、人事维护的资料Markdown、PDF、Word 等文件
解析与切分程序把文件读成文字,再分成可检索的小段文件 → 带标题、来源的文本片段
bge-m3本文使用的 Embedding 模型,生成用于比较的向量文本 → 一组数字
Ollama在本地运行模型、提供调用接口的程序接收 HTTP 请求,调用 bge-m3,返回向量
Qdrant保存向量、根据相似度与条件检索的数据库问题向量 + 条件 → 候选片段及分数
聊天模型例如 DeepSeek,负责阅读资料并组织回答问题 + 检索到的资料 → 回答
LangChain4j在 Java 中连接模型、检索器等步骤的框架帮你编排调用,不替你提供业务知识

bge-m3 不负责聊天,Ollama 不是知识库,Qdrant 不会在本文的用法中生成答案。 接上 LangChain4j,也仍然需要准备文档、决定检索范围和检查结果。

这些组件不要求各部署一套给商城、一套给 OA。商城与 OA 可以共享程序和模型,用逻辑知识库区分资料;具体怎样存和查,第二篇再动手。

3. 入库和提问,是两条不同的流程#

先看资料准备阶段。假设人事上传一份《差旅报销制度》:

flowchart TD A["上传报销制度"] --> B["解析文件,得到文字"] B --> C["按主题切成片段,保留标题与来源"] C --> D["bge-m3 为每段文字生成向量"] D --> E["保存向量、原文、来源及所属知识库"]

这叫入库或建立索引,在新增资料、修改资料时执行。PDF 若只有扫描图片,还需要先识别文字;Embedding 模型不会替你完成所有文件解析。

员工提问时,走另一条流程:

flowchart TD A["员工提出问题"] --> B["后端确定允许检索的资料范围"] B --> C["bge-m3 把问题转换成向量"] C --> D["Qdrant 在限定范围内查找相似片段"] D --> E["检查原文、相关性和来源"] E --> F["聊天模型根据资料组织回答"]

提问时通常只需要给新问题生成向量,不需要重新给所有文档生成向量。 文档向量已经在入库阶段准备好了。

检索没有找到足够依据时,应该说明缺少资料;查询服务故障时,则应说明暂时无法查询。两者不能都包装成一段看似确定的业务答案。

4. Embedding:把不同表达放到可以比较的空间里#

Embedding 可以先理解为“模型给文本生成的数字表示”。例如:

“收到商品后不想要了” → 一组数字
“订单详情中提交退货申请” → 另一组数字
“公司出差住宿报销额度” → 第三组数字

模型经过训练,能够让一些语义相关的表达在向量空间中更接近。因此,即使问题和文档没有逐字重合,也有机会找到相关内容。

但“相近”只说明可能相关:

文档 A:普通员工的住宿上限为 400 元。
文档 B:普通员工的住宿上限为 800 元。

它们主题几乎一样,向量可能也很接近。相似度不能决定哪个数字正确、哪份制度生效,更不能代替资料权限判断。 这些需要文档版本、业务范围和实际原文共同决定。

本系列使用 bge-m3 的 1024 维稠密向量。“1024 维”就是一段文本输出 1024 个数,不是提取 1024 个关键词,也不是给每一维起一个业务标签。可以对照 BGE-M3 官方模型说明。

比较向量时,我们使用 Cosine(余弦相似度),可以先理解为比较两个向量的方向是否接近。先不背公式,第二篇直接观察检索结果。分数较高仍不等于答案一定正确,0.70 更不是“70% 的正确率”。

文档和问题必须使用兼容的编码方式。本文最简单的约定是:两边使用同一个 bge-m3 模型、同一套文本处理方式。 即使两个模型都输出 1024 维,也不能随意混用;更换模型时应重新生成文档向量并评测。

以后再看:bge-m3 的三个 M 是什么?

它支持多语言、多种检索方式,以及从短文本到较长文本的处理。官方模型资料列出了稠密、稀疏、多向量检索能力,最大输入长度为 8192 Token。

本练习只使用 Ollama /api/embed 返回的稠密向量,不会自动开启混合检索。Token 是模型使用的文本单位,不等于汉字数;模型上限也不代表应该把整份制度塞进一个片段,实际运行配置还要单独核对。

5. 资料怎样切,才不会把答案切坏#

一份公司手册可能同时包含考勤、差旅和报销。全部变成一个向量,既难以定位,也会给聊天模型塞入很多无关内容。

反过来,切得太碎也会出问题:

不合适的片段一:住宿上限为 400 元。
不合适的片段二:适用于普通员工国内出差,超标准需要事前审批。

只召回第一段,回答就可能漏掉适用对象和例外。更合适的片段应该保留完整规则:

标题:教学公司差旅报销制度 / 国内住宿
正文:普通员工国内出差住宿上限为 400 元/晚,超标准需事前审批。
来源:oa/travel.md
所属知识库:oa

刚开始可以按标题、段落切分:尽量一段表达一个完整主题,保留条件、单位、例外和来源。较长片段再继续细分;必要时增加少量重叠,不需要机械地给每段都复制很多上下文。

下面的练习直接准备四个短片段,省去文件解析与自动切分,集中观察向量化。所有公司、商城规则都是虚构的教学数据,不代表真实制度。

6. 动手:一次生成文档和问题的向量#

6.1 准备环境#

安装并启动 Ollama,使用 PowerShell 7 打开一个空的练习目录。安装后若桌面应用已启动服务,不需要重复执行 ollama serve;默认接口地址是 http://localhost:11434。

先下载本练习的模型,再查看本地模型信息:

Terminal window
ollama pull bge-m3
ollama list

第一次拉取需要下载模型文件。保留 ollama list 中的模型 ID 和 ollama --version 输出,有助于以后对比效果;bge-m3 是模型标签,不是永不变化的版本锁。Ollama 模型页

6.2 准备四个片段、三个问题并调用接口#

下面是一段完整脚本,也可以下载 01-embed.ps1。保存到练习目录后执行 pwsh -File ./01-embed.ps1。

Terminal window
$ErrorActionPreference = 'Stop'
# 固定编号只用于这四条练习资料。
$chunks = @(
@{
id = 1; kb = 'mall'; doc = 'return'; title = '教学商城退货申请'
source = 'mall/return.md'; version = 'v1'
text = '需要退货时,在订单详情中点击申请售后,选择退货并填写原因,等待客服审核后按指引寄回。'
},
@{
id = 2; kb = 'mall'; doc = 'shipping'; title = '教学商城配送说明'
source = 'mall/shipping.md'; version = 'v1'
text = '订单交给物流后,可以在订单详情的物流信息页面查看承运商和运单号。'
},
@{
id = 3; kb = 'oa'; doc = 'travel'; title = '教学公司差旅报销制度'
source = 'oa/travel.md'; version = 'v1'
text = '普通员工国内出差住宿上限为400元每晚,超标准需事前审批;报销时需提供住宿发票。'
},
@{
id = 4; kb = 'oa'; doc = 'leave'; title = '教学公司请假流程'
source = 'oa/leave.md'; version = 'v1'
text = '员工在OA的考勤页面提交请假申请,填写起止时间和原因,由直属主管审批。'
}
)
$questions = @(
'收到货不想要了,在哪里申请退货?',
'出差住酒店,一晚最多能报多少钱?',
'公司每月停车补贴多少钱?'
)
# 前4项是文档,后3项是问题;返回的向量与输入逐项对应。
$inputs = @($chunks | ForEach-Object { $_.title + "`n" + $_.text }) + $questions
$body = @{
model = 'bge-m3'
input = $inputs
truncate = $false
} | ConvertTo-Json -Depth 10
$result = Invoke-RestMethod -Method Post -Uri 'http://localhost:11434/api/embed' -ContentType 'application/json; charset=utf-8' -Body $body -TimeoutSec 300
if ($result.embeddings.Count -ne $inputs.Count) {
throw '返回的向量数量与输入数量不一致'
}
foreach ($vector in $result.embeddings) {
if ($vector.Count -ne 1024) { throw '向量维度不是1024,请核对模型' }
}
$sample = @{
model = 'bge-m3'
dimension = 1024
chunks = $chunks
questions = $questions
embeddings = $result.embeddings
}
$sample | ConvertTo-Json -Depth 20 | Set-Content -LiteralPath './rag-demo.json' -Encoding utf8
[pscustomobject]@{
Documents = $chunks.Count
Questions = $questions.Count
Vectors = $result.embeddings.Count
Dimension = $result.embeddings[0].Count
SavedTo = (Resolve-Path './rag-demo.json').Path
}

这里调用的是 Ollama 的 POST /api/embed,输入字段是 input,返回字段是二维数组 embeddings。truncate = false 表示输入超过上下文限制时明确报错,不悄悄截掉后半段。接口文档

6.3 怎样判断这一步完成了#

成功时应看到结构上的结果:4 个文档片段、3 个问题、7 个向量,每个 1024 维。具体浮点数由模型运行产生,本文不编造向量值或命中分数。

rag-demo.json 保存原文、来源和向量,下一篇会读取它。它只是两次练习之间的数据文件,还不是完整的知识库系统。实际在线提问时再生成问题向量;这里把三个练习问题提前编码,是为了让第二篇专注学习数据库。

如果出现错误,先按现象检查:

现象先检查什么
无法连接 11434Ollama 服务是否启动,地址是否正确
找不到模型ollama list 是否存在 bge-m3,拉取是否完成
请求超时首次模型加载耗时、机器内存和计算资源
文本超长报错回到文档切分,不直接把截断打开来掩盖问题
返回维度不是 1024是否用了不同模型或额外的维度配置,不手改文件凑数

7. 有了向量,距离正确回答还差什么#

现在只完成了编码,还没有执行检索、检查资料或调用聊天模型。

下一篇会验证两个不同目标:

验证目标例子
范围正确从商城入口检索,不能返回 OA 报销制度
内容相关商城退货问题,应优先找到退货申请片段

即使“范围正确”,也可能没有答案。“公司每月停车补贴多少钱”在这四段资料里没有依据;只取相似度最高的一段,仍可能拿到差旅报销,但它不能回答停车补贴。

准备真实评测时,可以先写一张小表:问题、允许查询的库、应命中的原文、必须保留的条件、是否应该回答不知道。先检查检索拿回了什么,再判断聊天模型是否读对,比只看最终回答是否流畅更可靠。

进入 第二篇:用 Qdrant 管理商城与 OA 两个知识库,继续使用刚生成的 rag-demo.json。完成两篇后,可以再阅读 商城 Agent 实战:接入持久化 RAG,把这里的接口流程对应到 Java 和 LangChain4j。

Share

If this article helped you, please share it with others!

RAG 基础(一):从商城与 OA 问答理解知识库和 Embedding
https://mizuki.mysqil.com/posts/bge-m3-embedding-for-rag/
Author
梦幻晨风
Published at
2026-08-05
License
CC BY-NC-SA 4.0

Some information may be outdated

Table of Contents