用户问商城客服:“收到商品后不想要了,在哪里申请退货?”员工问 OA 助手:“出差住酒店,一晚最多能报多少钱?”
模型可能知道退货、报销的一般含义,却不知道你的商城怎么操作、你的公司规定了多少额度。这些信息在商城帮助文档、公司制度里,需要先找到,再交给模型阅读。
这就是我们学习 RAG 的起点。这两篇共用“商城 + OA”一组教学资料,每次只增加一层:
| 篇章 | 解决的问题 | 实际产物 |
|---|---|---|
| 第一篇:本文 | RAG 怎么工作?文本为什么要变成向量? | 用 bge-m3 生成文档和问题的向量,保存为 rag-demo.json |
| 第二篇:Qdrant 与多个知识库 | 向量存哪里?商城和 OA 如何分开检索? | 把同一组向量入库,按知识库范围检索原文和来源 |
只想理解原理,可以先读第 1~5 节。动手部分使用 PowerShell 7、Ollama 和 HTTP 接口,不需要先搭建 Java 项目。读懂流程后,再接 LangChain4j 会容易很多。
1. RAG 是“先找资料,再依据资料回答”
RAG 是 Retrieval-Augmented Generation,即检索增强生成。放进这两个问题里,就是:
商城问题 → 找商城的退货说明 → 把说明和问题交给聊天模型 → 回答操作步骤OA 问题 → 找公司的报销制度 → 把制度和问题交给聊天模型 → 回答额度与条件这里有两个不同任务:
- 检索:从很多资料里找出与当前问题相关的片段。
- 生成:阅读片段,组织成用户能看懂的回答。
上传文件后,通常需要解析、切分、建立索引,才能检索;不是文件一上传就已经被模型“永久学会”。普通 RAG 也不需要修改聊天模型的参数,每次回答时给它补充相关资料即可。修改模型参数属于训练或微调,是另一件事。
RAG 也不限定只能用向量检索。本系列用向量检索学习主流程,后续还可以组合关键词检索。
先判断问题需要什么依据:
| 用户的问题 | 依据在哪里 | 处理方式 |
|---|---|---|
| 商城如何申请退货? | 商城操作说明 | 知识库检索 |
| 我的订单发货了吗? | 商城当前订单记录 | 调用订单接口 |
| 公司出差住宿报销标准是什么? | 公司制度 | 知识库检索 |
| 我这张报销单批到哪里了? | OA 当前审批记录 | 调用 OA 接口 |
“我这张报销单能不能通过”可能同时需要制度和单据。模型可以帮助解释,但正式审批仍由业务流程处理。把实时订单、审批状态写进一份静态文档,会很快过时。
2. 先分清各个组件,不急着写配置
| 名称 | 你可以怎样理解 | 输入与输出 |
|---|---|---|
| 原始文档 | 运营、人事维护的资料 | Markdown、PDF、Word 等文件 |
| 解析与切分程序 | 把文件读成文字,再分成可检索的小段 | 文件 → 带标题、来源的文本片段 |
| bge-m3 | 本文使用的 Embedding 模型,生成用于比较的向量 | 文本 → 一组数字 |
| Ollama | 在本地运行模型、提供调用接口的程序 | 接收 HTTP 请求,调用 bge-m3,返回向量 |
| Qdrant | 保存向量、根据相似度与条件检索的数据库 | 问题向量 + 条件 → 候选片段及分数 |
| 聊天模型 | 例如 DeepSeek,负责阅读资料并组织回答 | 问题 + 检索到的资料 → 回答 |
| LangChain4j | 在 Java 中连接模型、检索器等步骤的框架 | 帮你编排调用,不替你提供业务知识 |
bge-m3 不负责聊天,Ollama 不是知识库,Qdrant 不会在本文的用法中生成答案。 接上 LangChain4j,也仍然需要准备文档、决定检索范围和检查结果。
这些组件不要求各部署一套给商城、一套给 OA。商城与 OA 可以共享程序和模型,用逻辑知识库区分资料;具体怎样存和查,第二篇再动手。
3. 入库和提问,是两条不同的流程
先看资料准备阶段。假设人事上传一份《差旅报销制度》:
这叫入库或建立索引,在新增资料、修改资料时执行。PDF 若只有扫描图片,还需要先识别文字;Embedding 模型不会替你完成所有文件解析。
员工提问时,走另一条流程:
提问时通常只需要给新问题生成向量,不需要重新给所有文档生成向量。 文档向量已经在入库阶段准备好了。
检索没有找到足够依据时,应该说明缺少资料;查询服务故障时,则应说明暂时无法查询。两者不能都包装成一段看似确定的业务答案。
4. Embedding:把不同表达放到可以比较的空间里
Embedding 可以先理解为“模型给文本生成的数字表示”。例如:
“收到商品后不想要了” → 一组数字“订单详情中提交退货申请” → 另一组数字“公司出差住宿报销额度” → 第三组数字模型经过训练,能够让一些语义相关的表达在向量空间中更接近。因此,即使问题和文档没有逐字重合,也有机会找到相关内容。
但“相近”只说明可能相关:
文档 A:普通员工的住宿上限为 400 元。文档 B:普通员工的住宿上限为 800 元。它们主题几乎一样,向量可能也很接近。相似度不能决定哪个数字正确、哪份制度生效,更不能代替资料权限判断。 这些需要文档版本、业务范围和实际原文共同决定。
本系列使用 bge-m3 的 1024 维稠密向量。“1024 维”就是一段文本输出 1024 个数,不是提取 1024 个关键词,也不是给每一维起一个业务标签。可以对照 BGE-M3 官方模型说明。
比较向量时,我们使用 Cosine(余弦相似度),可以先理解为比较两个向量的方向是否接近。先不背公式,第二篇直接观察检索结果。分数较高仍不等于答案一定正确,0.70 更不是“70% 的正确率”。
文档和问题必须使用兼容的编码方式。本文最简单的约定是:两边使用同一个 bge-m3 模型、同一套文本处理方式。 即使两个模型都输出 1024 维,也不能随意混用;更换模型时应重新生成文档向量并评测。
以后再看:bge-m3 的三个 M 是什么?
它支持多语言、多种检索方式,以及从短文本到较长文本的处理。官方模型资料列出了稠密、稀疏、多向量检索能力,最大输入长度为 8192 Token。
本练习只使用 Ollama /api/embed 返回的稠密向量,不会自动开启混合检索。Token 是模型使用的文本单位,不等于汉字数;模型上限也不代表应该把整份制度塞进一个片段,实际运行配置还要单独核对。
5. 资料怎样切,才不会把答案切坏
一份公司手册可能同时包含考勤、差旅和报销。全部变成一个向量,既难以定位,也会给聊天模型塞入很多无关内容。
反过来,切得太碎也会出问题:
不合适的片段一:住宿上限为 400 元。不合适的片段二:适用于普通员工国内出差,超标准需要事前审批。只召回第一段,回答就可能漏掉适用对象和例外。更合适的片段应该保留完整规则:
标题:教学公司差旅报销制度 / 国内住宿正文:普通员工国内出差住宿上限为 400 元/晚,超标准需事前审批。来源:oa/travel.md所属知识库:oa刚开始可以按标题、段落切分:尽量一段表达一个完整主题,保留条件、单位、例外和来源。较长片段再继续细分;必要时增加少量重叠,不需要机械地给每段都复制很多上下文。
下面的练习直接准备四个短片段,省去文件解析与自动切分,集中观察向量化。所有公司、商城规则都是虚构的教学数据,不代表真实制度。
6. 动手:一次生成文档和问题的向量
6.1 准备环境
安装并启动 Ollama,使用 PowerShell 7 打开一个空的练习目录。安装后若桌面应用已启动服务,不需要重复执行 ollama serve;默认接口地址是 http://localhost:11434。
先下载本练习的模型,再查看本地模型信息:
ollama pull bge-m3ollama list第一次拉取需要下载模型文件。保留 ollama list 中的模型 ID 和 ollama --version 输出,有助于以后对比效果;bge-m3 是模型标签,不是永不变化的版本锁。Ollama 模型页
6.2 准备四个片段、三个问题并调用接口
下面是一段完整脚本,也可以下载 01-embed.ps1。保存到练习目录后执行 pwsh -File ./01-embed.ps1。
$ErrorActionPreference = 'Stop'
# 固定编号只用于这四条练习资料。$chunks = @( @{ id = 1; kb = 'mall'; doc = 'return'; title = '教学商城退货申请' source = 'mall/return.md'; version = 'v1' text = '需要退货时,在订单详情中点击申请售后,选择退货并填写原因,等待客服审核后按指引寄回。' }, @{ id = 2; kb = 'mall'; doc = 'shipping'; title = '教学商城配送说明' source = 'mall/shipping.md'; version = 'v1' text = '订单交给物流后,可以在订单详情的物流信息页面查看承运商和运单号。' }, @{ id = 3; kb = 'oa'; doc = 'travel'; title = '教学公司差旅报销制度' source = 'oa/travel.md'; version = 'v1' text = '普通员工国内出差住宿上限为400元每晚,超标准需事前审批;报销时需提供住宿发票。' }, @{ id = 4; kb = 'oa'; doc = 'leave'; title = '教学公司请假流程' source = 'oa/leave.md'; version = 'v1' text = '员工在OA的考勤页面提交请假申请,填写起止时间和原因,由直属主管审批。' })
$questions = @( '收到货不想要了,在哪里申请退货?', '出差住酒店,一晚最多能报多少钱?', '公司每月停车补贴多少钱?')
# 前4项是文档,后3项是问题;返回的向量与输入逐项对应。$inputs = @($chunks | ForEach-Object { $_.title + "`n" + $_.text }) + $questions$body = @{ model = 'bge-m3' input = $inputs truncate = $false} | ConvertTo-Json -Depth 10
$result = Invoke-RestMethod -Method Post -Uri 'http://localhost:11434/api/embed' -ContentType 'application/json; charset=utf-8' -Body $body -TimeoutSec 300
if ($result.embeddings.Count -ne $inputs.Count) { throw '返回的向量数量与输入数量不一致'}foreach ($vector in $result.embeddings) { if ($vector.Count -ne 1024) { throw '向量维度不是1024,请核对模型' }}
$sample = @{ model = 'bge-m3' dimension = 1024 chunks = $chunks questions = $questions embeddings = $result.embeddings}$sample | ConvertTo-Json -Depth 20 | Set-Content -LiteralPath './rag-demo.json' -Encoding utf8
[pscustomobject]@{ Documents = $chunks.Count Questions = $questions.Count Vectors = $result.embeddings.Count Dimension = $result.embeddings[0].Count SavedTo = (Resolve-Path './rag-demo.json').Path}这里调用的是 Ollama 的 POST /api/embed,输入字段是 input,返回字段是二维数组 embeddings。truncate = false 表示输入超过上下文限制时明确报错,不悄悄截掉后半段。接口文档
6.3 怎样判断这一步完成了
成功时应看到结构上的结果:4 个文档片段、3 个问题、7 个向量,每个 1024 维。具体浮点数由模型运行产生,本文不编造向量值或命中分数。
rag-demo.json 保存原文、来源和向量,下一篇会读取它。它只是两次练习之间的数据文件,还不是完整的知识库系统。实际在线提问时再生成问题向量;这里把三个练习问题提前编码,是为了让第二篇专注学习数据库。
如果出现错误,先按现象检查:
| 现象 | 先检查什么 |
|---|---|
| 无法连接 11434 | Ollama 服务是否启动,地址是否正确 |
| 找不到模型 | ollama list 是否存在 bge-m3,拉取是否完成 |
| 请求超时 | 首次模型加载耗时、机器内存和计算资源 |
| 文本超长报错 | 回到文档切分,不直接把截断打开来掩盖问题 |
| 返回维度不是 1024 | 是否用了不同模型或额外的维度配置,不手改文件凑数 |
7. 有了向量,距离正确回答还差什么
现在只完成了编码,还没有执行检索、检查资料或调用聊天模型。
下一篇会验证两个不同目标:
| 验证目标 | 例子 |
|---|---|
| 范围正确 | 从商城入口检索,不能返回 OA 报销制度 |
| 内容相关 | 商城退货问题,应优先找到退货申请片段 |
即使“范围正确”,也可能没有答案。“公司每月停车补贴多少钱”在这四段资料里没有依据;只取相似度最高的一段,仍可能拿到差旅报销,但它不能回答停车补贴。
准备真实评测时,可以先写一张小表:问题、允许查询的库、应命中的原文、必须保留的条件、是否应该回答不知道。先检查检索拿回了什么,再判断聊天模型是否读对,比只看最终回答是否流畅更可靠。
进入 第二篇:用 Qdrant 管理商城与 OA 两个知识库,继续使用刚生成的 rag-demo.json。完成两篇后,可以再阅读 商城 Agent 实战:接入持久化 RAG,把这里的接口流程对应到 Java 和 LangChain4j。
If this article helped you, please share it with others!
Some information may be outdated






