shaguabijia-app-server

WonderableAI/shaguabijia-app-server

Fork 0

Commit Graph

Author	SHA1	Message	Date
chenshuobo	1548406f29	美团 feed 改用离线库 + 三 tab 降级兜底(替换 main 的实时版 feed) (#88 ) Co-authored-by: lowmaster-chen <1119780489@qq.com> Co-authored-by: chenshuobo <1119780489@qq.com> Reviewed-on: #88 Co-authored-by: chenshuobo <chenshuobo@wonderable.ai> Co-committed-by: chenshuobo <chenshuobo@wonderable.ai>	2026-06-28 10:38:31 +08:00
chenshuobo	783dfd059d	feat(meituan-etl): 离线库扩到全国 359 城(多城并发抓取入库) (#57 ) 智能推荐 / 销量最高两 tab 的离线库此前只有北京(ETL 写死 cityId),改为遍历美团官方城市字典 359 个地级市全量抓取。实测一个地级市 cityId 已覆盖其下辖县级市 (徐州→邳州/新沂/睢宁等),按地级市抓即可,无需区县层级。 - 城市字典:tools/gen_meituan_cities.py 从美团 Excel 生成随仓库 JSON (app/integrations/data/meituan_cities.json,359 城),app/integrations/cities.py 读取; - ETL:city_id 参数化 + 城市级并发(默认 12)+ worker 启动错峰削平瞬时峰值 + 主线程逐城串行入库(Session 不跨线程); - 配速实测:单城全量 ~110s/~2300 条;15 并发抓完一轮 ~50-60min,402 占 3% 退避全消化; 每 3h 一轮全量(--interval 10800),窗口充裕; - prune 双护栏:本轮 0 入库或失败城占比 >5% 时跳过,防上游故障/大面积限流误删全表; - 仅写入侧;读取侧(rec/top-sales 按城过滤)待后续(依赖用户定位→cityId 映射,字典无经纬度)。 --------- Co-authored-by: chenshuobo <1119780489@qq.com> Reviewed-on: #57 Co-authored-by: chenshuobo <chenshuobo@wonderable.ai> Co-committed-by: chenshuobo <chenshuobo@wonderable.ai>	2026-06-16 15:40:46 +08:00
marco	e252277431	feat(tools): 美团 CPS API 调试 playground 浏览器填参数 → 本地签名代理打美团 → 卡片列表 + 可折叠 JSON 树。模板按到店/到家分组 + 渠道标识(榜/搜/供),支持翻页、测试坐标、距离展示。复用 integrations/meituan.py 的 _sign/_content_md5,AppSecret 只留后端,不碰生产代码。 Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>	2026-06-06 18:13:07 +08:00

Author

SHA1

Message

Date

chenshuobo

1548406f29

美团 feed 改用离线库 + 三 tab 降级兜底(替换 main 的实时版 feed) (#88 )

Co-authored-by: lowmaster-chen <1119780489@qq.com>
Co-authored-by: chenshuobo <1119780489@qq.com>
Reviewed-on: #88
Co-authored-by: chenshuobo <chenshuobo@wonderable.ai>
Co-committed-by: chenshuobo <chenshuobo@wonderable.ai>

2026-06-28 10:38:31 +08:00

chenshuobo

783dfd059d

feat(meituan-etl): 离线库扩到全国 359 城(多城并发抓取入库) (#57 )

智能推荐 / 销量最高两 tab 的离线库此前只有北京(ETL 写死 cityId),改为遍历
美团官方城市字典 359 个地级市全量抓取。实测一个地级市 cityId 已覆盖其下辖县级市
(徐州→邳州/新沂/睢宁等),按地级市抓即可,无需区县层级。

- 城市字典:tools/gen_meituan_cities.py 从美团 Excel 生成随仓库 JSON
  (app/integrations/data/meituan_cities.json,359 城),app/integrations/cities.py 读取;
- ETL:city_id 参数化 + 城市级并发(默认 12)+ worker 启动错峰削平瞬时峰值
  + 主线程逐城串行入库(Session 不跨线程);
- 配速实测:单城全量 ~110s/~2300 条;15 并发抓完一轮 ~50-60min,402 占 3% 退避全消化;
  每 3h 一轮全量(--interval 10800),窗口充裕;
- prune 双护栏:本轮 0 入库 或 失败城占比 >5% 时跳过,防上游故障/大面积限流误删全表;
- 仅写入侧;读取侧(rec/top-sales 按城过滤)待后续(依赖用户定位→cityId 映射,字典无经纬度)。

---------

Co-authored-by: chenshuobo <1119780489@qq.com>
Reviewed-on: #57
Co-authored-by: chenshuobo <chenshuobo@wonderable.ai>
Co-committed-by: chenshuobo <chenshuobo@wonderable.ai>

2026-06-16 15:40:46 +08:00

marco

e252277431

feat(tools): 美团 CPS API 调试 playground

浏览器填参数 → 本地签名代理打美团 → 卡片列表 + 可折叠 JSON 树。
模板按到店/到家分组 + 渠道标识(榜/搜/供),支持翻页、测试坐标、距离展示。
复用 integrations/meituan.py 的 _sign/_content_md5,AppSecret 只留后端,不碰生产代码。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>

2026-06-06 18:13:07 +08:00

3 Commits