mobile wallpaper 1mobile wallpaper 2mobile wallpaper 3mobile wallpaper 4
2645 words
7 minutes
Elasticsearch 从 0 到 1(一):从商品搜索理解 ES
2025-07-02
2026-09-27

假设你正在做一个商城。商品列表已经能按分类、价格查询,现在产品提出一个新需求:用户输入“蓝牙耳机”,页面要找出相关商品,还能筛选品牌、按销量排序、标出命中的文字。

写出第一条 SQL 不难。真正的问题是:用户输入的词和商品标题未必完全一致;即使都能匹配,也要决定哪件商品排在前面。数据量和搜索功能继续增加后,查询方式也需要随之调整。

Elasticsearch,简称 ES,就是这套教程用来处理商品搜索的工具。我们会先做出一个能解释结果的搜索,再把它接入 Java 项目,最后解决数据同步和运行问题。你只需要了解基本的 SQL、JSON;第四篇起需要 Spring Boot 基础。

这七篇怎么读#

整套文章围绕同一个商品索引推进,不需要每篇重新猜字段的含义。第一次接触 ES,建议按顺序阅读;已有基础,可以直接从要解决的问题进入。

篇章本篇要解决的问题
一:搜索与环境(本文)ES 负责什么,如何开始练习?
二:索引、Mapping 和分词商品应该怎样存、怎样分词?
三:Query DSL关键词、筛选和排序怎样组合?
四:Spring Boot 接入怎样提供完整的 Java 搜索接口?
五:MySQL 数据同步怎样处理改价、下架与同步失败?
六:性能与运行排查搜不到、搜索慢时从哪里查起?
七:电商搜索实践怎样定义筛选计数、验证搜索页?

版本约定:练习固定使用 Elasticsearch / Kibana / Java API Client 8.14.0,Java 示例使用 Java 17、Spring Boot 3.3.1。这是沿用本系列 API 的学习基线,不代表当前最新版本或生产选型建议;升级时需要同时核对服务端、客户端和框架依赖。

文章中的 http 代码块是 Kibana Dev Tools Console 的请求格式;终端命令会单独标注。所有价格统一以人民币“分”保存,例如 19900 表示 199 元。先记住这两点,后面的例子就不会混淆。

从一条 SQL 看搜索需求的变化#

查询“数码耳机分类、100~300 元的商品”,条件是确定的。用 MySQL 的结构化查询配合合适的索引就可以实现:

SELECT product_id, title, price
FROM product
WHERE category = '数码耳机'
AND price BETWEEN 10000 AND 30000;

这里假设 MySQL 的 price 也以分保存。用户输入“蓝牙耳机”后,最容易想到的是:

SELECT product_id, title, price
FROM product
WHERE title LIKE '%蓝牙耳机%';

这条语句查找连续的字符串片段。“无线蓝牙耳机”能匹配,“蓝牙运动耳机”却不会匹配。并且,前置通配符通常无法利用普通 B-tree 索引进行有效的范围定位,候选数据多时扫描成本可能很高。

搜索还关心另一个问题:标题命中和描述命中是否同样重要?两个结果都匹配时,谁更相关?这些需求已经超出了字符串包含判断。

MySQL 也有全文索引,不是所有搜索都必须引入 ES。数据规模不大、功能简单、数据库查询已经达标时,继续用 MySQL 可以少维护一套系统。引入 ES 的理由应当是搜索能力或负载确实需要独立承担,而不是“用了就一定更快”。

倒排索引:先建立“词到文档”的入口#

想象三条商品标题,先按便于理解的方式拆成词:

文档 ID标题示意词项
1001无线蓝牙耳机无线、蓝牙、耳机
1002便携蓝牙音箱便携、蓝牙、音箱
1003有线游戏耳机有线、游戏、耳机

从文档出发,可以知道它有哪些词;倒排索引把这个关系反过来,记录每个词出现在哪些文档中:

蓝牙 → 1001、1002
耳机 → 1001、1003
音箱 → 1002

如果查询要求同时包含“蓝牙”和“耳机”,就可以从两个词的文档集合中找到交集:1001。如果允许命中任意一个词,1002、1003 也可能进入结果。分词决定用哪些词去查,查询条件决定怎样组合这些词。

上表只是原理示意,不是后文分词器的真实输出。第二篇会通过 _analyze 查看实际词项,而不是凭标题猜分词结果。

命中之后,ES 还可以计算相关性评分 _score。默认文本相似度使用 BM25,会考虑词在文档中的出现情况、词在整个集合中的常见程度以及字段长度等因素。它不是“业务上最值得买”的评分;销量、价格、运营规则需要另外定义。

这也解释了为什么“能搜到”和“排序合理”是两个问题:前者看查询是否召回目标文档,后者看候选结果怎样排列。

把 ES 的概念放回一条商品里#

先看一条简化的搜索文档:

{
"productId": 1001,
"title": "SoundGo 无线蓝牙耳机",
"brand": "SoundGo",
"category": "数码耳机",
"price": 19900,
"status": "ON_SALE"
}

不必一次背下所有名词。围绕这条数据,先理解下面几层关系:

概念在商品搜索中的含义
Document(文档)一条商品 JSON,存储和检索的基本单位
Field(字段)title、price 等属性,
可以有不同的索引方式
Mapping(映射)字段定义:标题用 text,
品牌用 keyword,价格用整数
Index(索引)同类文档及其配置的集合,
本系列物理索引为 products-v1
Alias(别名)应用访问索引时使用的名字:
products-read 和 products-write

这里有两个容易混淆的“索引”:ES 的 Index 是一个数据集合;倒排索引是一种检索结构。它们也不能直接等同于 MySQL 的 CREATE INDEX。

Mapping 则决定数据“如何被搜索”。例如标题需要分词,品牌通常需要完整值匹配,价格需要按数值比较。先写数据、后想查询,容易遇到字段类型不合适的问题,这正是第二篇要解决的事情。

数据多了,分片和副本各做什么#

一个 ES 集群由多个节点组成,节点可以理解为运行 ES 的服务实例。一个索引的数据可以分给多个主分片,每个主分片负责其中一部分文档;每个主分片还可以有副本分片。

flowchart LR I["products-v1 索引"] --> P0["主分片 0:部分商品"] I --> P1["主分片 1:其余商品"] P0 -.复制.-> R0["副本 0:主分片 0 的拷贝"] P1 -.复制.-> R1["副本 1:主分片 1 的拷贝"]

主分片承担数据划分,副本提供冗余并可分担读请求。主分片与它的副本不会被安排在同一个节点上,所以单节点配置一个副本时,副本通常无法分配,健康状态会呈现 yellow。

副本也会同步错误的更新和删除,不能替代可恢复历史数据的快照备份。分片数越多也不意味着越快,每次跨分片查询都有协调成本。练习使用一个主分片、零副本;生产容量和恢复要求留到第六篇讨论。

MySQL 和 ES 怎样合作#

商品的品牌、分类、库存可能来自不同的表。为了快速生成搜索列表,我们会把页面需要的信息组合成一条 ES 文档。这份数据是面向查询的副本,也常称为“搜索投影”。

flowchart LR W["商品新增、改价、下架"] --> DB["MySQL:业务事实"] DB --> S["同步程序:组装商品文档"] S --> ES["ES:搜索投影"] Q["用户关键词与筛选"] --> API["搜索接口"] API --> ES O["下单请求"] --> T["商品 / 库存服务"] T --> DB

查询时少做关联,代价是写入时多维护一份数据。例如品牌改名后,所有引用这个品牌的商品搜索文档都可能需要更新。

还有时间差:MySQL 提交成功,不代表同步程序已经写入 ES;ES 写入成功,也不代表新数据立刻能被搜索到。它要经过 refresh 才会进入可搜索视图。这是近实时搜索需要理解的两个阶段。

因此,搜索页展示的价格、库存适合帮助用户浏览;创建订单时,仍然要由商品和库存系统重新校验。ES 提供单文档更新及并发控制,但不能承担这个商城需要的跨表交易事务。

准备后面六篇共用的练习环境#

已经有可用的 ES 8.14.0 和 Kibana,可以直接进入第二篇。否则,准备 Docker 与 Compose,在空目录保存下面的 compose.yaml。Docker Desktop 可先给至少 4 GB 内存作为启动资源,再根据日志调整。

这份配置只用于本机练习:关闭了认证,端口只绑定到 127.0.0.1。默认安装的 ES 8.x 通常启用认证与 TLS,不能把本例的 HTTP 连接直接套到已有集群。

compose.yaml
services:
elasticsearch:
image: docker.elastic.co/elasticsearch/elasticsearch:8.14.0
environment:
discovery.type: single-node
xpack.security.enabled: "false"
xpack.security.enrollment.enabled: "false"
ES_JAVA_OPTS: "-Xms1g -Xmx1g"
mem_limit: 2g
ports:
- "127.0.0.1:9200:9200"
volumes:
- es-data:/usr/share/elasticsearch/data
kibana:
image: docker.elastic.co/kibana/kibana:8.14.0
environment:
ELASTICSEARCH_HOSTS: '["http://elasticsearch:9200"]'
XPACK_SECURITY_ENABLED: "false"
ports:
- "127.0.0.1:5601:5601"
depends_on:
- elasticsearch
volumes:
es-data:

在文件所在目录运行以下终端命令:

docker compose up -d
docker compose ps
docker compose logs --tail 50 elasticsearch kibana

容器处于运行状态并不意味着应用已经就绪。等 Kibana 可以访问后,打开 本机 Kibana,进入 Dev Tools → Console,执行:

GET /

响应中的 version.number 应为 8.14.0。随后检查节点:

GET /_cat/nodes?v

看到一个节点记录,就可以继续第二篇。这里不要求集群已经有商品索引。如果启动失败,先读容器日志:内存不足、端口占用、宿主机 vm.max_map_count 限制是不同问题,不要把它们都归结为 ES 配置错误。

练习结束可执行 docker compose stop 暂停服务;数据保存在命名卷中,下次 docker compose up -d 可以继续使用。

接下来要做的第一件事,是明确“商品标题怎样分词、品牌怎样过滤、价格怎样排序”,再创建索引:

下一篇:索引、Mapping 和分词器

参考资料#

Share

If this article helped you, please share it with others!

Elasticsearch 从 0 到 1(一):从商品搜索理解 ES
https://mizuki.mysqil.com/posts/elasticsearch-01-intro/
Author
梦幻晨风
Published at
2025-07-02
License
CC BY-NC-SA 4.0

Some information may be outdated

Table of Contents