xgb_wiki 增量同步流水线（sync.py 编排）

xgb_wiki 增量同步流水线（sync.py 编排） 由 Archify 生成的工作流图。 01 / 编排 · src/pipeline/sync.py 02 / 搬运与派生 · src/pipeline/etl.py 03 / 校验与发布 预检 搬运与重建 派生重算 校验与发布 合并 2_xuangubao 新增 环境检查 + 备份 · 目录/磁盘/MySQL/源表 → 备份 · 编排 · src/pipeline/sync.py › 预检 · 任一失败即停止 环境检查 + 备份 目录/磁盘/MySQL/源表 → 备份 任一失败即停止 回退（删临时库） · 正式库从头到尾未被写 · 编排 · src/pipeline/sync.py › 校验与发布 回退（删临时库） 正式库从头到尾未被写 进度标记增量拉取 · live/digest 新增 + 源端删除剔除 · 搬运与派生 · src/pipeline/etl.py › 搬运与重建 进度标记增量拉取 live/digest 新增 + 源端删除剔除 report_tag + 引用重建 · 栏目 tag 全量重建 / 券商引用自愈 · 搬运与派生 · src/pipeline/etl.py › 合并 2_xuangubao 新增 › 搬运与重建 · 每次同步 report_tag + 引用重建 栏目 tag 全量重建 / 券商引用自愈 每次同步 派生重算 · 聚合/时间窗/观点单元(近7日)/链映射 · 搬运与派生 · src/pipeline/etl.py › 派生重算 派生重算 聚合/时间窗/观点单元(近7日)/链映射 数据校验 · E0-E5 / X1 抽样比对 / W 警告 · 校验与发布 › 校验与发布 数据校验 E0-E5 / X1 抽样比对 / W 警告 原子替换 · os.replace + sync_log 双日志 · 校验与发布 › 校验与发布 原子替换 os.replace + sync_log 双日志 校验通过 E 类失败 图例 Agent 逻辑 策略 上下文 / 追踪

数据防线

  • • 校验失败即回退：删临时库即回滚，正式库从未被写
  • • 成功与失败均写 sync_log + 文件日志

合并新增（2026-09）

  • • report_tag 每次同步全量重建，一篇可属多栏目
  • • E3 外键校验扩为八组（含 report_tag→report）