Files
shaguabijia-app-server/docs/数据库迁移.md
marco 6c7eaa9734 docs: 跟齐 5 月 PR (#4 user/feedback / #5 ad-cooldown / #6 PG / abd8eab meituan 降级)
整轮 doc 跟齐 2026-05 落地但 doc 没补全/没更新的内容. 按 P0~P3 优先级处理.

P0 - 新 API doc + index 更新:
* docs/api/user-profile.md  (新) PATCH /api/v1/user/profile 改昵称
* docs/api/user-avatar.md   (新) POST /api/v1/user/avatar 上传头像(魔数嗅探/旧文件清理)
* docs/api/user-delete.md   (新) DELETE /api/v1/user 注销账号(软删+匿名化)
* docs/api/feedback.md      (新) POST /api/v1/feedback 提交反馈(含截图)
* docs/api/README.md           加 User/Feedback 组 + /media 静态服务段 +
                                修 UserOut "无接口可改恒为 null" 过时描述

P0 - 美团降级 / 现有 doc 校准:
* docs/api/meituan-coupons.md      加 "未配 MT_CPS 凭证降级返空" 说明
* docs/api/meituan-referral-link.md 同上 + 客户端兜底建议
* docs/api/meituan-feed.md         区分两种空结果路径(未配 vs 调用失败) +
                                    /health.mt_cps_configured 排障入口
* docs/integrations/meituan.md     "未配凭证降级" + "feed 静默吞错" 写进集成层
* ad-reward-status.md              PR #5 commit 已自带 doc 更新, 复核无需再改

P1 - 主文档大改:
* docs/后端技术实现.md
  - §1 能力表加 用户资料/外卖比价/钱包/福利/广告/反馈 (从 3 条扩到 9 条)
  - §1 数据模型纠正 "仅 1 张 user 表" -> 现有 10 张 + alembic_version
  - §2 DB 行 PG 主 / SQLite 兜底 + 加 psycopg3 行
  - §3 目录树补 user.py / feedback.py / media.py / repositories/feedback.py /
        scripts 子项 / docs/postgres-migration.md
  - §7 数据模型重写: 10 张业务表速查表 + alembic 合并迁移 f01db5d77dac 始末
  - §8 部署: 加 init_postgres.py 一句话流程 + checklist 加 "DATABASE_URL 切 PG"
        + "psycopg3 已装" + "MEDIA_ROOT 可写"
  - §10 已知问题: 加 美团降级 / agent 不鉴权 / MEDIA_ROOT serve / init_postgres bug /
        alembic 多 head 风险; 删过时 SQLite 行
  - 接口计数 11 -> 38

* docs/待办与技术债.md
  - 已解决追加: PG 切换 / 外卖比价透传 / 用户资料反馈接口 / 美团降级 /
                看广告 4 态冷却
  - 新增 "P2 DB 与 Alembic 治理" 段: alembic 多 head 团队规约 (含本次撞坑实录) +
    init_postgres.py 已知 5 处小 bug + MEDIA_ROOT serve

P2 - PG 迁移文档互指 + 迁移链补完:
* docs/数据库迁移.md
  - 顶部加 postgres-migration.md / 后端技术实现.md 互指
  - §6 迁移链 9 条 -> 12 条 (含 feedback_table / convert_dishes_jsonb /
        merge_pg_jsonb_and_feedback_heads)
  - §7 踩坑里 "多 head" 一行扩成完整故事 + 修复命令 + 团队预防规约
* docs/postgres-migration.md
  - 顶部加 数据库迁移.md / 后端技术实现.md §10 互指

P3 - 上线清单:
* docs/看广告赚金币上线清单.md
  - 设计要点加 PR #5 4 态 CTA + 后端权威派生说明 +
    VIDEO_ROUND_REQUIRED_COUNT/VIDEO_ROUND_COOLDOWN_SECONDS 常量
  - §E 端到端验收加 本轮冷却 / 弹窗 limit note / 跨设备一致 三项

所有最后更新日期同步到 2026-05-31.
2026-05-31 11:05:10 +08:00

7.2 KiB
Raw Permalink Blame History

数据库迁移指南(Alembic

本项目用 Alembic 管理数据库表结构。所有"建表/改表"都写成 alembic/versions/ 下的迁移脚本, 数据库的真实结构 = 把这些迁移按顺序跑一遍的结果。不要手动改库结构,一律走迁移。

相关文档:

  • 这份文档讲 alembic 操作(如何建表/升级/新增迁移/多 head 排查)
  • postgres-migration.md从 SQLite 切到 PostgreSQL 的完整步骤(本机安装/建库/scripts/init_postgres.py 用法)
  • 配合 后端技术实现.md §10 看待办与已知问题

一句话

clone 项目 / 拉到新迁移后,跑一条命令即可:

alembic upgrade head

它会把数据库结构升到最新(幂等,已是最新则什么都不做)。

新 PG 环境从零开始:跑 python scripts/init_postgres.py,它会建用户 + 建库 + 写 .env + 跑迁移。详见 postgres-migration.md


1. 首次初始化(clone 后)

1.1 用 PostgreSQL(推荐,与生产一致)

前置:本机已装 PostgreSQL 16 + 知道 postgres 超级用户密码。

# (1) 装依赖(在你的虚拟环境里, 含 psycopg)
pip install -e .

# (2) 一键建用户 + 建库 + 写 .env + 跑迁移
python scripts/init_postgres.py
# 按提示输入 PG 超级用户密码即可。脚本会:
#   - 自动建业务用户 shaguabijia_app + 业务库 shaguabijia
#   - 自动生成业务用户强密码,写入 .env 的 DATABASE_URL
#   - 跑完 alembic upgrade head

# (3) 启动
./run.sh

可用环境变量提前指定(免交互):

PG_SUPER_PASS=xxx APP_DB_PASS=yyy python scripts/init_postgres.py

脚本幂等,重复跑会重置业务用户密码、跳过已存在的库。

1.2 用 SQLite(本地开发临时用,不接生产链路时)

pip install -e .
cp .env.example .env       # 不动 DATABASE_URL, 默认 sqlite:///./data/app.db
mkdir -p data
alembic upgrade head
./run.sh

也可以直接 bash scripts/migrate.sh 只做迁移、不启服务(部署/CI 用)。

2. 数据库地址从哪来

  • settings.DATABASE_URL 决定(app/core/config.py),可在 .envDATABASE_URL= 覆盖。
  • 默认 SQLitesqlite:///./data/app.db(所以要先 mkdir -p data)。
  • PostgreSQL.env 里设 DATABASE_URL=postgresql+psycopg://user:pwd@host:5432/dbname,再 alembic upgrade head 即可(迁移脚本用了 render_as_batch 兼容 SQLitePostgres 也能跑)。
  • alembic.inisqlalchemy.url 故意留空,由 alembic/env.pysettings 注入,别在 alembic.ini 里填库地址

3. 常用命令

命令 作用
alembic upgrade head 升到最新(最常用)
alembic current 看当前库在哪个 revision
alembic history 看迁移链(谁接谁)
alembic heads 看有几个 head(正常只 1 个;出现多个 = 分叉了要 merge)
alembic downgrade -1 回滚一步(生产慎用,会丢数据)
alembic downgrade <revision> 回滚到指定版本

4. 改了 ORM model、要新增一次结构变更

# 1) 自动对比 models 与库,生成迁移草稿
alembic revision --autogenerate -m "add xxx index"
# 2) **务必打开生成的文件 review**(autogenerate 不完美,索引/默认值/数据迁移常需手改)
# 3) 应用
alembic upgrade head

5. 关于迁移文件名(重要)

  • 文件名是 <描述>.py(如 welfare_tables_coin_account_coin_txn.py)。早期带的 hex 前缀已去掉,只是文件名变干净
  • 真正的版本 id 是文件内的 revision 变量(如 revision = '357520ea3015'),迁移链靠文件内的 down_revision 串起来,与文件名无关。数据库 alembic_version 表里存的也是这个内部 id。
  • 因此:可以随意重命名迁移文件Alembic 靠扫描文件、读 revision 识别),但 绝不要改文件内的 revision / down_revision——改了会和已迁移过的库(含生产)对不上,报"找不到 revision"。
  • ⚠️ alembic revision --autogenerate 默认仍生成带 hex 前缀的文件名。想保持本目录"无前缀"风格,二选一:
    • 生成后手动把文件名前缀去掉(内部 id 别动);或
    • alembic.inifile_template = %%(slug)s(注意 ini 里 % 要写成 %%)让以后直接生成无前缀文件名(缺点:同名 slug 会冲突,描述写具体点)。

6. 当前迁移链(12 条,含合并迁移)

init_user_table                                    ← 起点(down_revision=None)
  → welfare_tables_coin_account_coin_txn           金币账户/金币流水/签到/任务表
  → cash_transaction_table                         现金流水表
  → savings_record_table                           省钱明细表
  → withdraw_order_and_user_openid                 提现单表 + user.wechat_openid
  → user_wechat_nickname_avatar                    user 微信昵称/头像字段
  → unique_wechat_openid                           user.wechat_openid 唯一约束
  → savings_shop_dishes                            省钱明细 shop_name + dishes
  → ad_reward_record                               看广告发奖记录表
  → (此处分叉,两条并行 head)
       ├→ feedback_table                          帮助与反馈表(PR #4)
       └→ ef96beb47b1e_convert_savings_record_dishes_from_json   dishes 列改 JSONB(PR #6)
  → f01db5d77dac_merge_pg_jsonb_and_feedback_heads (head,最新)  合并两条分叉

顺序以 alembic history 输出为准(按 down_revision 链,不是文件名字母序)。

7. 踩坑

SQLite 找不到目录

unable to open database file → 先 mkdir -p data

多 head 分叉(2026-05-29 撞过)

alembic upgrade head 报:

Multiple head revisions are present for given argument 'head';
please specify a specific target revision, '<branchname>@head'...

原因:跨分支并行开发,两条分支都加了新迁移且 down_revision 都指向同一个 commit,合并到 main 后形成两条平行链。本次实例:

  • PR #4 (feedback) 加了 d1e2f3a4b5c6,down_revision='c8d9e0f1a2b3' (ad_reward)
  • PR #6 (PG/JSONB) 加了 ef96beb47b1e,down_revision='c8d9e0f1a2b3'(也是 ad_reward) ← 跟 #4 同源,撞车
  • 两个 PR 都合进 main 后,alembic heads 出现两个

修复:

alembic heads                                    # 列出冲突的两个 head id
alembic merge -m "merge <description>" <head1> <head2>
# 生成一个空迁移文件,把两个 head 合成新的单一 head
git add alembic/versions/<new_merge_file>.py
# commit + push, PR review 后合并到 main

预防(团队规约):

  • 写迁移的 PR 在提交前跑 alembic heads,确认本分支只有一个 head
  • review 别人含迁移的 PR 时,看 down_revision 是否还是当前 main 的最新——如果上游已经被别人合了新迁移,需要 rebase 修改 down_revision 指过去
  • main 拉新代码后再跑一次 alembic heads 兜底
  • 生产库:不要随意 downgrade;新迁移先在本地/测试库验证过再上。生产 DATABASE_URL 由部署侧配置,不在本仓库 .env