搜索变慢时,很容易想到增加分片、扩大线程池或者调大分页限制。但如果真正的问题是一次查询取回了几十万条候选记录,调参数可能只是让压力更快扩散。
这一篇按现象组织排查:写入后搜不到、查询越来越慢、集群出现异常。先找到证据,再决定改查询、改写入方式,还是调整容量。
示例使用 Elasticsearch 8.14.0,HTTP 请求在 Kibana Dev Tools 中执行。沿用第二篇的五条商品数据和 products-read / products-write 别名。第五篇的版本实验使用独立索引,不影响这些样本;若自行修改过商品,可重新导入第二篇的 Bulk 数据。若已将别名切到 products-v2,下面针对物理索引的诊断请求也要改用实际索引名。以下具体耗时、容量和阈值都需要用自己的负载验证。
1. 写入成功后搜不到:先区分“没写入”和“还不可搜索”
一次写请求成功,不代表它已经出现在搜索结果中。先沿着商品 ID 检查,避免把同步延迟、别名错误和 refresh 延迟混在一起:
GET /_alias/products-read,products-write
GET /products-read/_doc/1001
GET /products-read/_search{ "query": { "ids": { "values": ["1001"] } }}先看读写别名是否指向预期索引。按 ID 的 GET 默认是实时读取,而 _search 依赖已 refresh 的搜索视图:如果 GET 已读到新值、搜索仍是旧值,可以继续检查 refresh;如果 GET 也没有,先查写入响应和同步任务;如果按 ID 能搜到、关键词搜不到,应回到分词、字段类型和筛选条件。
refresh、flush 和持久性是三件事
| 机制 | 解决的问题 | 不能据此推断 |
|---|---|---|
| refresh | 让近期写入 进入可搜索视图 | 已可搜索不代表 已完成 Lucene commit |
| translog 持久化 | 恢复尚未进入 Lucene commit 的操作 | 写入已确认不代表_search 立即可见 |
| flush | 执行 Lucene commit, 开启新一代 translog | 不用于让每次 业务查询更及时 |
在默认 index.translog.durability=request 下,ES 确认写入前会完成主分片及已分配副本上的 translog 持久化。改成 async 会引入故障时丢失最近已确认写入的风险,不能把它当作没有代价的提速参数。flush 通常由 ES 自动管理。Translog 文档解释了这几者之间的关系。
8.14 默认会周期性 refresh,通常是 1 秒,但默认策略还与近期是否有搜索请求有关,所以它不是“所有写入恰好一秒后可见”的承诺。需要在一次写入后马上搜索验证时,可以使用写入参数 refresh=wait_for,等待该写入变得可搜索;不要让每个业务请求都强制 refresh=true。Refresh API说明了默认行为和成本。
排查学习环境时,可以查看有效配置并手动 refresh 一次,再重复前面的搜索:
GET /products-v1/_settings?include_defaults=true&flat_settings=true
POST /products-v1/_refresh如果 refresh 后立刻出现新值,就得到了一条可验证的解释。若仍搜不到,继续查查询条件,而不是反复调用 flush 或重启节点。
2. 写入变慢:Bulk 需要同时控制批次和重试
Bulk 把多个操作装进一次请求,减少往返开销。但单次请求返回 HTTP 200,只代表请求被处理,里面仍可能部分失败。结果中的 items 与提交操作按顺序对应,应检查每一项的状态与错误。Bulk API说明了这些响应语义。
例如,以下是简化后的响应示意,不是可以发送给 ES 的请求:
{ "errors": true, "items": [ { "index": { "_id": "1001", "status": 200 } }, { "index": { "_id": "1002", "status": 429, "error": { "type": "es_rejected_execution_exception" } } }, { "index": { "_id": "1003", "status": 400, "error": { "type": "document_parsing_exception" } } } ]}这批里 1001 已完成,1002 需要降速后重试,1003 需要修正数据或 Mapping。整批不断重发会重复处理成功项,也无法治好格式错误。
下面是处理逻辑伪代码,其中待发送操作应保留第五篇定义的商品 ID、源版本和文档快照:
发送 bulk(operations)如果请求超时或连接中断: 本批结果未知,按原 ID 和源版本安排重试否则逐项配对 operations[i] 与 response.items[i]: 成功:记录该操作完成 可确认的外部旧版本冲突:记录已被新版本覆盖 429 或暂时性故障:仅把这一项放入待重试集合 其他失败:持久化事件、错误原因,进入修复流程
对待重试集合: 减少并发,使用有上限的指数退避并加入随机抖动 超出重试预算后告警,保存到可重放的失败队列批次不能只按“条数”衡量:几百条短标题与几百条长说明,字节数可能相差很大。用代表性文档逐步增加单批字节数和并发,观察吞吐、p95 延迟、堆使用和拒绝数;达到平台期或开始恶化就停止增加。连续出现 429 时,优先降低生产速率,让消费能力追上来。写入性能指南也建议通过压测确定批量大小,并对拒绝做退避。
首次离线导入新索引时,可以评估临时降低 refresh 频率;导入完成后恢复设置并 refresh,再对外提供查询。是否临时减少副本,还取决于数据能否重建和能否承受节点故障,不能直接照搬到正在服务的索引。
3. 查询慢:先量出时间花在哪里
用户看到的接口耗时,包含应用排队、网络、ES 执行、响应传输和结果加工。ES 返回的 took 不能代替端到端耗时。
例如,接口耗时明显增加而 took 基本稳定,应检查连接池、返回体大小和应用转换逻辑;两者同时升高,再结合慢查询和节点指标定位 ES 内部开销。日志应能关联请求 ID、规范化后的查询条件、排序、页大小、端到端耗时、took、timed_out 和失败分片数。
先缩小一次请求真正要做的工作
下面这条请求只取商品卡片需要的字段,用 filter 表达状态和价格范围;只有标题匹配参与相关性计算。价格单位仍是分:
GET /products-read/_search{ "size": 10, "_source": ["productId", "title", "brand", "price", "sales"], "query": { "bool": { "must": [ { "match": { "title": { "query": "蓝牙耳机", "operator": "and" } } } ], "filter": [ { "term": { "status": "ON_SALE" } }, { "range": { "price": { "gte": 10000, "lte": 30000 } } } ] } }, "sort": [{ "sales": "desc" }, { "productId": "asc" }]}固定数据应按顺序返回 1001、1005。filter 表达“不需要打分”的条件,但不保证每条过滤都会被缓存,也不意味着任何查询改成 filter 都更快。_source 裁剪主要减少传输和反序列化成本,并不保证 ES 不再读取或解析完整 _source。
排序和聚合优先使用数值、日期、keyword 等合适字段。本系列按销量排序;如果业务真要按标题排序,使用已映射的 title.keyword,不要为了绕过报错给 text 随手开启 fielddata。
Mapping 也会决定每次写入和查询的成本。仅用于展示的字段可评估关闭索引;不需要排序或聚合的字段还要单独考虑 doc values,而不是以为 index: false 会关闭全部数据结构。本系列的 description 保持可搜索,避免读者改完配置后发现前文查询失效。对象数组是否需要 nested、动态字段是否会无限增长,也应在字段设计阶段确认。
用慢日志和 Profile 验证假设
慢日志用于发现哪些分片上的查询或取回阶段较慢。下面是学习环境的阈值示例,不是生产推荐值;排查后恢复原配置:
PUT /products-v1/_settings{ "index.search.slowlog.threshold.query.warn": "1s", "index.search.slowlog.threshold.fetch.warn": "500ms"}先记录修改前的配置,再根据实际延迟目标设阈值。慢日志通常是分片级别的耗时,仍需和应用请求关联,不能直接视作整个搜索接口的耗时。Slow Log 文档解释了 query 与 fetch 阶段。
对一条已复现的查询,可临时在请求体中加入 "profile": true,查看查询组件的执行开销。Profile 本身有额外成本,而且不涵盖网络、队列等待等全部耗时,所以适合定点诊断,不适合常开在所有请求上。Profile API列出了它的测量边界。
4. 翻页越深越慢:改用 PIT 与 search_after
from: 100000, size: 10 不表示 ES 只处理十条数据。各分片需要保留足够多的候选项,再由协调节点合并,因此页码越深,内存和排序开销越大。默认 from + size 受 10000 的结果窗口限制,直接调大限制并没有改变工作量。
普通商品搜索可以限制最大页数;连续浏览或导出可使用 search_after。它从上一页最后一条的排序值继续,而 PIT(point in time)固定这轮遍历看到的索引视图,避免翻页期间的更新造成结果漂移。分页文档给出了这一组合的用法。
下面按五条固定数据走完一次连续翻页。PIT ID 和排序游标必须从实际响应复制,模板中的字符串不能原样使用。
第一步,打开 PIT。
POST /products-read/_pit?keep_alive=1m保存返回的 id,把它填入下一步的 PIT_ID_1。
第二步,读取第一页。 使用 PIT 后,请求路径是 /_search,不再指定索引:
POST /_search{ "size": 2, "track_total_hits": false, "_source": ["productId", "title", "sales"], "pit": { "id": "PIT_ID_1", "keep_alive": "1m" }, "query": { "term": { "status": "ON_SALE" } }, "sort": [ { "sales": "desc" }, { "productId": "asc" }, { "_shard_doc": "asc" } ]}固定数据的第一页是 1003、1001。保存响应中的最新 pit_id,同时复制最后一条 1001 的完整 sort 数组。这里显式列出了 PIT 的 _shard_doc 决胜字段,因此数组有三个值;第三个值由本次 PIT 决定,不能从商品 ID 推导。
第三步,继续下一页。 假设实际返回的最后一个 sort 是 [3000, 1001, 7],则下一次请求如下;如果你的值不同,必须替换整个数组。PIT_ID_2 使用上一轮响应的最新 pit_id:
POST /_search{ "size": 2, "track_total_hits": false, "_source": ["productId", "title", "sales"], "pit": { "id": "PIT_ID_2", "keep_alive": "1m" }, "query": { "term": { "status": "ON_SALE" } }, "sort": [ { "sales": "desc" }, { "productId": "asc" }, { "_shard_doc": "asc" } ], "search_after": [3000, 1001, 7]}第二页应是 1005、1002。之后保持 query、sort 不变,继续使用最新 PIT ID 和上一页末尾的完整排序值,直到 hits.hits 为空。track_total_hits: false 表示本次遍历不需要精确总数;业务需要总数时应另行设计。
第四步,无论遍历结束、用户取消还是应用异常,都尽快关闭 PIT。 LATEST_PIT_ID 是最后一次成功响应中的 PIT ID:
DELETE /_pit{ "id": "LATEST_PIT_ID"}keep_alive 只需覆盖两次请求之间的间隔,每次请求可以续期。PIT 会让旧 segment 暂时保留,长时间大量打开会消耗磁盘、文件句柄和堆;过期后应重新开始遍历,不能把旧游标随意拼到新 PIT 上。PIT 文档说明了生命周期和资源成本。
5. 集群异常:把健康颜色还原成具体分片
green 表示主分片和副本都已分配;yellow 表示主分片已分配,但至少一个副本未分配;red 表示至少一个主分片未分配。颜色描述分片分配状态,不能替代性能指标,也不能单凭 yellow 判断所有查询已经失败。
先用只读请求查看现场:
GET /_cluster/health
GET /_cat/shards/products-v1?v
GET /_cat/allocation?v
GET /_nodes/stats/jvm,fs,thread_pool
GET /products-v1/_stats/search,indexing,refresh,merge| 看到的证据 | 下一步判断 |
|---|---|
UNASSIGNED 分片 | 查询分配解释:节点数量、 磁盘水位、分配规则 |
rejected 持续增加 | 对照同期流量、队列与资源, 降低输入压力 |
| 堆和 GC 时间持续偏高 | 检查大聚合、深分页、 字段数量与并发 |
| refresh / merge 耗时增长 | 对照写入速率、 refresh 频率与磁盘延迟 |
| 磁盘空间下降,写入被拒绝 | 查看分配决策和写阻塞, 先处理容量问题 |
这些计数很多是累计值,要比较相邻时间窗口的增量;一次 rejected: 100 不能说明现在仍在拒绝。_stats 同样是诊断数据,需要与负载变化放在一起看。Index stats API列出了可观察的索引指标。
如果存在未分配分片,再请求解释;没有未分配分片时,空请求可能返回无法找到待解释分片:
GET /_cluster/allocation/explain{}阅读响应中的 unassigned_info、can_allocate 和节点分配决策。先知道为什么不能分配,再调整容量或规则,不要凭颜色关闭限制。Allocation explain API专门用于这一判断。
分片、副本和快照分别解决什么
主分片把一个索引拆成多个部分;更多分片可能增加并行能力,也会增加每次搜索的分片扇出和管理成本。分片数要结合数据增长、查询并发、恢复时间和节点资源压测,不能给所有索引套一个固定数字。分片容量指南强调了基准测试与实际工作负载。
副本保存同一分片的另一份在线拷贝,用于故障接替,也可能帮助分担读请求。单节点不能把主分片和它的副本放在同一节点,因此本系列学习环境使用 1 个主分片、0 个副本;这只是本地实验配置。生产副本数还要考虑节点数量、故障域、恢复目标和写入成本。
副本会同步误删除,不能代替备份。快照把可恢复数据保存在独立仓库中,需要安排保留策略并验证恢复;直接复制节点数据目录不是受支持的快照替代方案。Snapshot and restore说明了备份与恢复边界。
资源规划也不能只盯 JVM heap。文件系统缓存、磁盘吞吐、CPU 和网络都影响搜索;不要把机器内存全部分给堆。数据分层则要先判断数据类型:商品目录持续更新,不能因为创建时间较早就机械地迁往冷层;冷热生命周期更常见于访问频率随时间下降的日志、指标等时序数据。Data tiers区分了商品目录所在的 content tier 与时序数据分层。
完成一次优化后,用相同数据量和相近流量复测吞吐、p95/p99 延迟、错误率及资源消耗。一次只改少量有证据支持的因素,才能知道收益来自哪里,并保留退回原配置的路径。
下一篇回到业务,把查询、同步和运行保障放进完整的电商搜索请求链路。
上一篇:MySQL 数据同步与一致性 · 下一篇:电商搜索架构实践 · 返回系列目录
参考资料
- Elasticsearch 8.14:Refresh API
- Elasticsearch:Translog settings
- Elasticsearch 8.14:Bulk API
- Elasticsearch 8.14:Tune for indexing speed
- Elasticsearch 8.14:Paginate search results
- Elasticsearch 8.14:Point in time API
- Elasticsearch 8.14:Slow Log
- Elasticsearch 8.14:Profile API
- Elasticsearch 8.14:Cluster allocation explain API
- Elasticsearch 8.14:Size your shards
- Elasticsearch 8.14:Snapshot and restore
If this article helped you, please share it with others!
Some information may be outdated






