假设你正在做一个商城。商品列表已经能按分类、价格查询,现在产品提出一个新需求:用户输入“蓝牙耳机”,页面要找出相关商品,还能筛选品牌、按销量排序、标出命中的文字。
写出第一条 SQL 不难。真正的问题是:用户输入的词和商品标题未必完全一致;即使都能匹配,也要决定哪件商品排在前面。数据量和搜索功能继续增加后,查询方式也需要随之调整。
Elasticsearch,简称 ES,就是这套教程用来处理商品搜索的工具。我们会先做出一个能解释结果的搜索,再把它接入 Java 项目,最后解决数据同步和运行问题。你只需要了解基本的 SQL、JSON;第四篇起需要 Spring Boot 基础。
这七篇怎么读
整套文章围绕同一个商品索引推进,不需要每篇重新猜字段的含义。第一次接触 ES,建议按顺序阅读;已有基础,可以直接从要解决的问题进入。
| 篇章 | 本篇要解决的问题 |
|---|---|
| 一:搜索与环境(本文) | ES 负责什么,如何开始练习? |
| 二:索引、Mapping 和分词 | 商品应该怎样存、怎样分词? |
| 三:Query DSL | 关键词、筛选和排序怎样组合? |
| 四:Spring Boot 接入 | 怎样提供完整的 Java 搜索接口? |
| 五:MySQL 数据同步 | 怎样处理改价、下架与同步失败? |
| 六:性能与运行排查 | 搜不到、搜索慢时从哪里查起? |
| 七:电商搜索实践 | 怎样定义筛选计数、验证搜索页? |
版本约定:练习固定使用 Elasticsearch / Kibana / Java API Client 8.14.0,Java 示例使用 Java 17、Spring Boot 3.3.1。这是沿用本系列 API 的学习基线,不代表当前最新版本或生产选型建议;升级时需要同时核对服务端、客户端和框架依赖。
文章中的 http 代码块是 Kibana Dev Tools Console 的请求格式;终端命令会单独标注。所有价格统一以人民币“分”保存,例如 19900 表示 199 元。先记住这两点,后面的例子就不会混淆。
从一条 SQL 看搜索需求的变化
查询“数码耳机分类、100~300 元的商品”,条件是确定的。用 MySQL 的结构化查询配合合适的索引就可以实现:
SELECT product_id, title, priceFROM productWHERE category = '数码耳机' AND price BETWEEN 10000 AND 30000;这里假设 MySQL 的 price 也以分保存。用户输入“蓝牙耳机”后,最容易想到的是:
SELECT product_id, title, priceFROM productWHERE title LIKE '%蓝牙耳机%';这条语句查找连续的字符串片段。“无线蓝牙耳机”能匹配,“蓝牙运动耳机”却不会匹配。并且,前置通配符通常无法利用普通 B-tree 索引进行有效的范围定位,候选数据多时扫描成本可能很高。
搜索还关心另一个问题:标题命中和描述命中是否同样重要?两个结果都匹配时,谁更相关?这些需求已经超出了字符串包含判断。
MySQL 也有全文索引,不是所有搜索都必须引入 ES。数据规模不大、功能简单、数据库查询已经达标时,继续用 MySQL 可以少维护一套系统。引入 ES 的理由应当是搜索能力或负载确实需要独立承担,而不是“用了就一定更快”。
倒排索引:先建立“词到文档”的入口
想象三条商品标题,先按便于理解的方式拆成词:
| 文档 ID | 标题 | 示意词项 |
|---|---|---|
| 1001 | 无线蓝牙耳机 | 无线、蓝牙、耳机 |
| 1002 | 便携蓝牙音箱 | 便携、蓝牙、音箱 |
| 1003 | 有线游戏耳机 | 有线、游戏、耳机 |
从文档出发,可以知道它有哪些词;倒排索引把这个关系反过来,记录每个词出现在哪些文档中:
蓝牙 → 1001、1002耳机 → 1001、1003音箱 → 1002如果查询要求同时包含“蓝牙”和“耳机”,就可以从两个词的文档集合中找到交集:1001。如果允许命中任意一个词,1002、1003 也可能进入结果。分词决定用哪些词去查,查询条件决定怎样组合这些词。
上表只是原理示意,不是后文分词器的真实输出。第二篇会通过 _analyze 查看实际词项,而不是凭标题猜分词结果。
命中之后,ES 还可以计算相关性评分 _score。默认文本相似度使用 BM25,会考虑词在文档中的出现情况、词在整个集合中的常见程度以及字段长度等因素。它不是“业务上最值得买”的评分;销量、价格、运营规则需要另外定义。
这也解释了为什么“能搜到”和“排序合理”是两个问题:前者看查询是否召回目标文档,后者看候选结果怎样排列。
把 ES 的概念放回一条商品里
先看一条简化的搜索文档:
{ "productId": 1001, "title": "SoundGo 无线蓝牙耳机", "brand": "SoundGo", "category": "数码耳机", "price": 19900, "status": "ON_SALE"}不必一次背下所有名词。围绕这条数据,先理解下面几层关系:
| 概念 | 在商品搜索中的含义 |
|---|---|
| Document(文档) | 一条商品 JSON,存储和检索的基本单位 |
| Field(字段) | title、price 等属性,可以有不同的索引方式 |
| Mapping(映射) | 字段定义:标题用 text,品牌用 keyword,价格用整数 |
| Index(索引) | 同类文档及其配置的集合, 本系列物理索引为 products-v1 |
| Alias(别名) | 应用访问索引时使用的名字:products-read 和 products-write |
这里有两个容易混淆的“索引”:ES 的 Index 是一个数据集合;倒排索引是一种检索结构。它们也不能直接等同于 MySQL 的 CREATE INDEX。
Mapping 则决定数据“如何被搜索”。例如标题需要分词,品牌通常需要完整值匹配,价格需要按数值比较。先写数据、后想查询,容易遇到字段类型不合适的问题,这正是第二篇要解决的事情。
数据多了,分片和副本各做什么
一个 ES 集群由多个节点组成,节点可以理解为运行 ES 的服务实例。一个索引的数据可以分给多个主分片,每个主分片负责其中一部分文档;每个主分片还可以有副本分片。
主分片承担数据划分,副本提供冗余并可分担读请求。主分片与它的副本不会被安排在同一个节点上,所以单节点配置一个副本时,副本通常无法分配,健康状态会呈现 yellow。
副本也会同步错误的更新和删除,不能替代可恢复历史数据的快照备份。分片数越多也不意味着越快,每次跨分片查询都有协调成本。练习使用一个主分片、零副本;生产容量和恢复要求留到第六篇讨论。
MySQL 和 ES 怎样合作
商品的品牌、分类、库存可能来自不同的表。为了快速生成搜索列表,我们会把页面需要的信息组合成一条 ES 文档。这份数据是面向查询的副本,也常称为“搜索投影”。
查询时少做关联,代价是写入时多维护一份数据。例如品牌改名后,所有引用这个品牌的商品搜索文档都可能需要更新。
还有时间差:MySQL 提交成功,不代表同步程序已经写入 ES;ES 写入成功,也不代表新数据立刻能被搜索到。它要经过 refresh 才会进入可搜索视图。这是近实时搜索需要理解的两个阶段。
因此,搜索页展示的价格、库存适合帮助用户浏览;创建订单时,仍然要由商品和库存系统重新校验。ES 提供单文档更新及并发控制,但不能承担这个商城需要的跨表交易事务。
准备后面六篇共用的练习环境
已经有可用的 ES 8.14.0 和 Kibana,可以直接进入第二篇。否则,准备 Docker 与 Compose,在空目录保存下面的 compose.yaml。Docker Desktop 可先给至少 4 GB 内存作为启动资源,再根据日志调整。
这份配置只用于本机练习:关闭了认证,端口只绑定到 127.0.0.1。默认安装的 ES 8.x 通常启用认证与 TLS,不能把本例的 HTTP 连接直接套到已有集群。
services: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:8.14.0 environment: discovery.type: single-node xpack.security.enabled: "false" xpack.security.enrollment.enabled: "false" ES_JAVA_OPTS: "-Xms1g -Xmx1g" mem_limit: 2g ports: - "127.0.0.1:9200:9200" volumes: - es-data:/usr/share/elasticsearch/data
kibana: image: docker.elastic.co/kibana/kibana:8.14.0 environment: ELASTICSEARCH_HOSTS: '["http://elasticsearch:9200"]' XPACK_SECURITY_ENABLED: "false" ports: - "127.0.0.1:5601:5601" depends_on: - elasticsearch
volumes: es-data:在文件所在目录运行以下终端命令:
docker compose up -ddocker compose psdocker compose logs --tail 50 elasticsearch kibana容器处于运行状态并不意味着应用已经就绪。等 Kibana 可以访问后,打开 本机 Kibana,进入 Dev Tools → Console,执行:
GET /响应中的 version.number 应为 8.14.0。随后检查节点:
GET /_cat/nodes?v看到一个节点记录,就可以继续第二篇。这里不要求集群已经有商品索引。如果启动失败,先读容器日志:内存不足、端口占用、宿主机 vm.max_map_count 限制是不同问题,不要把它们都归结为 ES 配置错误。
练习结束可执行 docker compose stop 暂停服务;数据保存在命名卷中,下次 docker compose up -d 可以继续使用。
接下来要做的第一件事,是明确“商品标题怎样分词、品牌怎样过滤、价格怎样排序”,再创建索引:
下一篇:索引、Mapping 和分词器
参考资料
If this article helped you, please share it with others!
Some information may be outdated






