feat(meituan-etl): 离线库扩到全国 359 城(多城并发抓取入库) #57

2026-06-16T11:53:28+08:00

Ghost commented

2026-06-16 11:53:28 +08:00

智能推荐 / 销量最高两 tab 的离线库此前只有北京(ETL 写死 cityId),改为遍历
美团官方城市字典 359 个地级市全量抓取。实测一个地级市 cityId 已覆盖其下辖县级市
(徐州→邳州/新沂/睢宁等),按地级市抓即可,无需区县层级。

城市字典:tools/gen_meituan_cities.py 从美团 Excel 生成随仓库 JSON
(app/integrations/data/meituan_cities.json,359 城),app/integrations/cities.py 读取;
ETL:city_id 参数化 + 城市级并发(默认 12)+ worker 启动错峰削平瞬时峰值
- 主线程逐城串行入库(Session 不跨线程);
配速实测:单城全量 ~110s/~2300 条;15 并发抓完一轮 ~50-60min,402 占 3% 退避全消化;
每 3h 一轮全量(--interval 10800),窗口充裕;
prune 双护栏:本轮 0 入库或失败城占比 >5% 时跳过,防上游故障/大面积限流误删全表;
仅写入侧;读取侧(rec/top-sales 按城过滤)待后续(依赖用户定位→cityId 映射,字典无经纬度)。

智能推荐 / 销量最高两 tab 的离线库此前只有北京(ETL 写死 cityId),改为遍历美团官方城市字典 359 个地级市全量抓取。实测一个地级市 cityId 已覆盖其下辖县级市 (徐州→邳州/新沂/睢宁等),按地级市抓即可,无需区县层级。 - 城市字典:tools/gen_meituan_cities.py 从美团 Excel 生成随仓库 JSON (app/integrations/data/meituan_cities.json,359 城),app/integrations/cities.py 读取; - ETL:city_id 参数化 + 城市级并发(默认 12)+ worker 启动错峰削平瞬时峰值 + 主线程逐城串行入库(Session 不跨线程); - 配速实测:单城全量 ~110s/~2300 条;15 并发抓完一轮 ~50-60min,402 占 3% 退避全消化; 每 3h 一轮全量(--interval 10800),窗口充裕; - prune 双护栏:本轮 0 入库或失败城占比 >5% 时跳过,防上游故障/大面积限流误删全表; - 仅写入侧;读取侧(rec/top-sales 按城过滤)待后续(依赖用户定位→cityId 映射,字典无经纬度)。

Ghost added 1 commit 2026-06-16 11:53:28 +08:00

feat(meituan-etl): 离线库扩到全国 359 城(多城并发抓取入库) 3fa20dbbf2

智能推荐 / 销量最高两 tab 的离线库此前只有北京(ETL 写死 cityId),改为遍历
美团官方城市字典 359 个地级市全量抓取。实测一个地级市 cityId 已覆盖其下辖县级市
(徐州→邳州/新沂/睢宁等),按地级市抓即可,无需区县层级。

- 城市字典:tools/gen_meituan_cities.py 从美团 Excel 生成随仓库 JSON
  (app/integrations/data/meituan_cities.json,359 城),app/integrations/cities.py 读取;
- ETL:city_id 参数化 + 城市级并发(默认 12)+ worker 启动错峰削平瞬时峰值
  + 主线程逐城串行入库(Session 不跨线程);
- 配速实测:单城全量 ~110s/~2300 条;15 并发抓完一轮 ~50-60min,402 占 3% 退避全消化;
  每 3h 一轮全量(--interval 10800),窗口充裕;
- prune 双护栏:本轮 0 入库 或 失败城占比 >5% 时跳过,防上游故障/大面积限流误删全表;
- 仅写入侧;读取侧(rec/top-sales 按城过滤)待后续(依赖用户定位→cityId 映射,字典无经纬度)。

Ghost added 1 commit 2026-06-16 15:06:11 +08:00

fix(meituan-etl): 常驻可观测性——压制美团 logger traceback + stdout 行缓冲 f1b811965b

本地灰度(20 城 / 每 10min 一轮)暴露两个只在常驻/cron 下出现的问题:
- 美团调用偶发 SSL EOF(本机走代理高并发)/ code=5 被 meituan._call 的 logger.exception
  打完整 traceback,单轮刷数十 KB 日志;ETL 已用 _STATS 统计放弃页数,故把
  shagua.meituan logger 压到 CRITICAL(线上直连少见,统计仍可见放弃数);
- stdout 块缓冲导致 cron/后台 log 攒到 ~4KB 才落盘,常驻几乎看不到进度;
  reconfigure(line_buffering=True) 每行即时 flush。

marco merged commit 783dfd059d into main

2026-06-16 15:40:46 +08:00

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: WonderableAI/shaguabijia-app-server#57