mobile wallpaper 1mobile wallpaper 2mobile wallpaper 3mobile wallpaper 4
3501 words
9 minutes
Elasticsearch 从 0 到 1(七):把商品搜索做成可验收的功能
2025-07-12
2026-09-27

一个搜索接口能返回商品,并不代表搜索页已经做好了。用户选择品牌后,其他品牌的选项要不要保留?按销量排序会不会把不相关的商品放到最前面?搜索服务超时,页面应该显示“没有商品”还是“暂时不可用”?

这些问题跨越了 DSL、接口设计和数据同步。本篇沿用前六篇的索引和样本,把它们整理成一套能逐项验收的商品搜索功能。

阅读前提:先完成第二篇的索引和样本导入,了解第三篇的组合查询。Java 接口见第四篇;本篇新增的品牌聚合先在 Kibana Console 验证,再按同样的响应契约扩展接口。

系列目录 · 上一篇:性能与运行排查

先写清楚一次搜索应该发生什么#

我们要实现的第一版需求是:

搜索“蓝牙耳机”,只展示已上架、价格在 100~300 元之间的数码耳机;用户可以选择品牌,也可以按销量或价格排序。列表同时展示标题高亮和可选品牌数量。

这里至少包含三种不同的决定:

决定本例规则放在哪里
哪些商品可以出现标题命中、上架,
分类与价格符合要求
主查询 query
选品牌后怎样筛选列表只显示所选品牌,
保留其他品牌入口
post_filter
商品怎样排列默认按相关性,
选销量时按销量
sort

明确规则以后,再设计接口参数。沿用第四篇的 keyword、category、brand、minPrice、maxPrice、sortBy、pageNo 和 pageSize;价格参数以分计,100~300 元传 10000 和 30000。

不要再为最后一篇新建一套 categoryId/categoryName 或 subtitle 字段。本系列使用 category 和 description,完整 Mapping 只维护在第二篇,减少“前面建的索引接不上后面查询”的问题。

一次请求和一次商品变更是两条链路#

搜索请求读取已经准备好的文档;商品变更则负责更新这份文档。两者分开,才能分别控制查询延迟和同步延迟。

flowchart LR U["用户搜索"] --> API["搜索接口:校验、构造查询"] API --> R["products-read"] R --> I["当前商品索引"] I --> V["商品列表、命中总数、品牌选项"] B["商品业务事务"] --> M["MySQL + 同事务 outbox"] M --> C["投递与消费者"] C --> P["组装完整商品投影"] P --> W["products-write"] W --> I

products-read 和 products-write 都是别名,最初指向 products-v1。重建索引后,应用继续使用原别名,不需要把索引版本写死在业务代码里。

同步程序要考虑的不只是商品表。品牌改名、类目调整,也会影响搜索文档。哪些源字段发生变化时要重建哪些商品,应当成为投影构建逻辑的一部分;重试、乱序和别名切换的完整流程见第五篇。

这里有一个边界必须保留:status=ON_SALE 只能过滤 ES 当前视图中 的下架商品,无法消除同步延迟。若业务要求下架后立即从页面消失,还需要权威状态校验或可靠的即时拦截机制;下单则始终重新校验商品、价格和可用库存。

用五条样本推演结果#

下面是第二篇数据中与本次查询有关的字段。预期结果以重新导入原始样本后为准;如果做过第五篇的改价练习,先恢复样本再核对。

ID标题价格(元)销量状态
1001SoundGo 无线蓝牙耳机1993000ON_SALE
1002SoundGo 便携蓝牙音箱2991200ON_SALE
1003GameMax 有线游戏耳机995000ON_SALE
1004SoundGo 降噪蓝牙耳机399800OFF_SALE
1005AirBeat 无线蓝牙耳机2591800ON_SALE

本系列标题采用内置 cjk 分词器,查询使用 match 配合 operator: "and"。搜索“蓝牙耳机”时,需要匹配查询分析得到的全部词项;在这套样本中,标题候选是 1001、1004、1005。

再加入上架、分类和价格条件,只剩 1001、1005。按销量降序时,1001 排在 1005 前面。这个推导过程比先看一段很长的 JSON 更有用:查询执行后,一旦结果不符,就可以逐层检查是哪一个条件出了问题。

品牌计数:统计“现在看到的”,还是“还可以选择的”#

假设页面已经显示两件耳机和两个品牌:

SoundGo(1)
AirBeat(1)

用户选择 SoundGo 后,我们希望列表只剩 1001,但品牌区域仍保留 AirBeat,方便切换。此时,列表和品牌统计使用的过滤范围不同。

如果把 brand=SoundGo 放进主查询的 bool.filter,品牌聚合也只能看到 SoundGo,AirBeat 会消失。这不是聚合失效,而是统计对象被主查询缩小了。

本例使用 post_filter:主查询保留关键词、上架、分类和价格;品牌聚合基于这个集合计算;最后只对搜索命中应用品牌条件。下面是一条完整的 Console 请求:

GET /products-read/_search
{
"from": 0,
"size": 10,
"track_total_hits": true,
"query": {
"bool": {
"must": [
{
"match": {
"title": {
"query": "蓝牙耳机",
"operator": "and"
}
}
}
],
"filter": [
{ "term": { "status": "ON_SALE" } },
{ "term": { "category": "数码耳机" } },
{ "range": { "price": { "gte": 10000, "lte": 30000 } } }
]
}
},
"post_filter": {
"term": { "brand": "SoundGo" }
},
"sort": [
{ "sales": "desc" },
{ "productId": "asc" }
],
"highlight": {
"encoder": "html",
"pre_tags": ["<em>"],
"post_tags": ["</em>"],
"fields": {
"title": { "number_of_fragments": 0 }
}
},
"aggs": {
"brands": {
"terms": {
"field": "brand",
"size": 20,
"order": { "_key": "asc" }
}
}
}
}

执行后,重点检查下面三处。JSON 只摘录核对字段,不是完整响应:

{
"hits": {
"total": { "value": 1, "relation": "eq" },
"hits": [
{ "_id": "1001" }
]
},
"aggregations": {
"brands": {
"buckets": [
{ "key": "AirBeat", "doc_count": 1 },
{ "key": "SoundGo", "doc_count": 1 }
]
}
}
}

hits.total 是选择 SoundGo 后的列表总数;品牌桶的计数则是选择品牌前、但满足其他主查询条件的数量。两者不同,正是我们定义的产品行为。

取消品牌选择时,移除 post_filter,列表恢复 1001、1005。选择一个不存在的品牌时,列表为空,品牌选项仍可保留,帮助用户撤销这次筛选。

多个筛选维度不能只靠一个 post_filter#

本例只让品牌统计忽略品牌选择。如果以后要求“品牌统计忽略品牌、分类统计忽略分类、价格统计忽略价格”,一个统一的 post_filter 无法自动完成这种口径。

可以让主查询保留共同条件,然后为每个聚合单独加入其他维度的过滤,再用列表过滤组合全部选择。例如,品牌聚合需要带上已选分类和价格,分类聚合需要带上已选品牌和价格。是否值得增加这层复杂度,应先由页面交互决定。

还要区分“展示若干筛选项”和“导出全部分组”。这里 size: 20 最多返回 20 个品牌桶;真实数据超过这个数量时,不能把返回桶当成所有品牌。大量分组需要完整遍历时,应另行使用 composite 聚合分页。

排序先回答业务问题,再调整分数#

“综合排序”这个名字并没有说明实际规则。第一版可以把选择写得明确一些:

sortBy优先比较排序规则
default文本相关性_score desc
再 productId asc
sales_desc销量sales desc
再 productId asc
price_asc
price_desc
价格price asc/desc
再 productId asc
newest创建时间createdAt desc
再 productId asc

样本中的 createdAt 是商品创建时间;如果业务真正要按“最近上架”排,应增加语义明确的 onSaleAt 字段并重新定义索引,不能把两个时间混用。空关键词表示浏览列表,本系列默认改按销量排序,因为这时没有文本相关性可以比较。

最后加上 productId 是为了在主要排序值相同时确定顺序。它无法冻结两次请求之间的数据变化;需要连续稳定遍历时,使用第六篇的 PIT 和 search_after。

销量应该加多少权重#

如果用户没有主动选择销量排序,可以尝试在相关性基础上加入销量信号,但不要直接把 _score 与销量相加。两者的量级不同,销量很容易压过文本相关性。

一种实验方向是用 function_score 对销量做对数变换,再以有限权重参与评分。这里不提供“通用最优系数”:同一个系数换一批商品,结果就可能完全不同。先准备一组真实搜索词及人工判断的相关商品,再比较改动前后的前几条结果。

例如,至少同时观察“蓝牙耳机”“有线游戏耳机”“SoundGo”这几类查询,检查新商品是否被历史销量长期压住。如果只是不断提高点击率,还可能放大标题吸引人但并不相关的结果。相关性评估和业务转化需要分别记录。

接口返回页面需要的数据,并保留错误含义#

第四篇的接口已经完成参数校验、排序白名单、分页和高亮。本篇的品牌聚合是后续扩展:在列表返回结构旁增加 brands,每项包含品牌值和数量即可,不必把整份 ES 响应直接交给前端。

原始标题与高亮标题应是不同字段。没有高亮时,用原始标题作为纯文本展示;有高亮时,只接受受控的标记和经过编码的内容。不能让列表依赖修改后的标题,再把带标签的文本用于订单、埋点或其他业务。

搜索返回前还应区分下面几种状态:

情况页面语义服务端处理
正常查询没有命中没有符合条件的商品返回成功和空列表,
允许调整筛选
参数越界或价格颠倒当前请求无效返回参数错误,
不执行 ES 查询
超时或部分分片失败本次结果不完整明确报错或降级
缓存或热门商品兜底当前是替代结果标明来源或降级状态

不要把连接失败捕获后直接返回 total=0。用户会误以为商品不存在,运营也会把基础设施故障算进“无结果搜索率”。

兜底不一定意味着直接把所有查询转到 MySQL。原先承受不了的复杂搜索,故障时可能反而把数据库压垮。可以提供受限的分类列表、短时间缓存结果或清楚的重试提示,并限制降级请求量。

用同一组用例验收整条链路#

先重置第二篇的五条样本,再执行以下检查。除特别说明外,所有列表查询都过滤 status=ON_SALE,价格单位为分。

  1. 关键词召回:标题搜“蓝牙耳机”,使用 operator=and。应命中 1001、1005,1002 音箱和 1003 有线耳机不混入。
  2. 空关键词:不加关键词及其他筛选,默认按销量。应依次返回 1003、1001、1005、1002。
  3. 价格与排序:关键词为“蓝牙耳机”,价格 10000~30000,销量降序。应是 1001 在前、1005 在后。
  4. 边界价格:在上个请求中将价格上下限都设为 19900。应只剩 1001,确认 gte/lte 包含边界。
  5. 品牌筛选:执行上面的聚合请求。列表总数应为 1,SoundGo 与 AirBeat 的桶计数各为 1。
  6. 参数错误:分别提交页码 0、超大页大小、未知排序,以及最小价格大于最大价格的请求。Java 接口应返回参数错误。
  7. 下架同步:在业务源将 1001 下架,等待同步成功及 refresh。它应从搜索结果消失;同步前仍可能被旧视图命中。
  8. 重复与乱序:按第五篇方案重投同一事件、晚投旧事件。商品不应重复,旧内容不应覆盖新内容。
  9. 服务不可用:在练习环境暂停 ES,再调用 Java 接口。应返回明确服务错误,不伪装为空结果。

涉及改价、下架的用例会改变数据,下一轮验收前要重新导入样本。前三类查询验证的是搜索规则;同步用例还需要你已经实现第五篇的同步链路,不能只改 ES 文档就声称验证了 MySQL 到 ES 的一致性。

后续优化从可观测的问题开始#

第一版上线后,可以先收集搜索词、结果数量、接口耗时、超时比例和同步延迟。日志里的查询条件与一次请求标识能帮助复现问题;统计时应把真实零命中与失败请求分开。

观察到大量型号、品牌词搜不到,再检查分词与词典;观察到用户反复改写同一个词,再考虑同义词、纠错或建议;观察到相关商品长期排在后面,再调整排序。每次变更保留一组查询和预期结果,避免修好一个词、弄坏另一个词。

做到这一步,你已经能沿着一条具体路径解释搜索:源数据如何变成文档,文档如何进入候选集合,候选如何过滤排序,结果又如何回到页面。继续扩展功能时,就可以明确知道改动影响的是哪一层。

回到系列目录 · 上一篇:性能与运行排查

参考资料#

Share

If this article helped you, please share it with others!

Elasticsearch 从 0 到 1(七):把商品搜索做成可验收的功能
https://mizuki.mysqil.com/posts/elasticsearch-07-ecommerce-search/
Author
梦幻晨风
Published at
2025-07-12
License
CC BY-NC-SA 4.0

Some information may be outdated

Table of Contents