pangolin

wangjia/pangolin

Fork 0

Commit Graph

Author	SHA1	Message	Date
wangjia	5d4b484646	feat(alert): 统一告警出口 TG bot + runbook [tsk_9YMHMTfWJyNB] 新增 server/internal/alert 包（15G）： - 定义 Notifier 接口及 7 种 EventType（判封确认/补新失败/水位低/熔断/ 探针失联/心跳缺失/故障态） - TGNotifier：Bot API 发送，Critical 事件不去重，Warning/Info 事件 10min SETNX 去重窗口，失败重试 ≤2 次后降级至 LogNotifier - LogNotifier：slog 结构化降级实现 - 单测：7 种事件模板 + runbook 锚点正确性；去重窗口内第二条被抑制； TG 5xx 重试后 fallback 且 Notify() 返回 nil； runbook 文件锚点与枚举一致性接入 scheduler（替换旧的 NotifyFault 桩）： - detect/engine.go：故障态（Rule 5）→ EventTypeFault；判封确认（Rule 3）→ EventTypeBlockConfirmed - orchestrate/deps.go：Notifier 类型别名指向 alert.Notifier - orchestrate/replacer.go：补新失败 → EventTypeReplenishFailed；熔断触发 → EventTypeBreakerTripped - probe/prober_agent.go：failCount ≥3 → EventTypeProbeAgentLost - probe/store.go：新增 CheckHeartbeats() 供 15H 检测心跳缺失>90s 新增 docs/runbook-scheduler.md：7 节各含含义/先查什么/处置/升级条件，锚点与代码枚举对应。 Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>	2026-06-16 00:52:26 +08:00
wangjia	7627c8a195	feat(scheduler): 自动更换编排 + 养机灰度 [tsk_mxEFSvKHX64G] 实现 15E 任务：Replacer 状态机（pending→creating→probing→activating→draining_old→done/failed） + Grayscale 权重梯度（10→25→50→75→100，每步 6h）。关键设计： - Redis JSON 记录（sched:replace:{uuid}）+ SetNX 崩溃安全，防止重复 CreateNode - 幂等 key：attempt 0 = uuid，retry N = uuid:retry:N - probePass：国内 ≥2/3 ISP 通过 + 海外 L1 全通，连续 2 Tick 才晋级 - 探活超时 15min → failProbeAttempt → 轮换 provider；3 次失败 → failed + NotifyFault - StubBreaker（15F 未就绪）；NewReplacer(Config{}) 依赖注入 - 6 个集成测试全部通过（happy path / max-retry / crash recovery / queue idempotency / grayscale） Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>	2026-06-15 21:26:07 +08:00

Author

SHA1

Message

Date

wangjia

5d4b484646

feat(alert): 统一告警出口 TG bot + runbook [tsk_9YMHMTfWJyNB]

新增 server/internal/alert 包（15G）：
- 定义 Notifier 接口及 7 种 EventType（判封确认/补新失败/水位低/熔断/
  探针失联/心跳缺失/故障态）
- TGNotifier：Bot API 发送，Critical 事件不去重，Warning/Info 事件
  10min SETNX 去重窗口，失败重试 ≤2 次后降级至 LogNotifier
- LogNotifier：slog 结构化降级实现
- 单测：7 种事件模板 + runbook 锚点正确性；去重窗口内第二条被抑制；
  TG 5xx 重试后 fallback 且 Notify() 返回 nil；
  runbook 文件锚点与枚举一致性

接入 scheduler（替换旧的 NotifyFault 桩）：
- detect/engine.go：故障态（Rule 5）→ EventTypeFault；
  判封确认（Rule 3）→ EventTypeBlockConfirmed
- orchestrate/deps.go：Notifier 类型别名指向 alert.Notifier
- orchestrate/replacer.go：补新失败 → EventTypeReplenishFailed；
  熔断触发 → EventTypeBreakerTripped
- probe/prober_agent.go：failCount ≥3 → EventTypeProbeAgentLost
- probe/store.go：新增 CheckHeartbeats() 供 15H 检测心跳缺失>90s

新增 docs/runbook-scheduler.md：7 节各含含义/先查什么/处置/升级条件，
锚点与代码枚举对应。

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>

2026-06-16 00:52:26 +08:00

wangjia

7627c8a195

feat(scheduler): 自动更换编排 + 养机灰度 [tsk_mxEFSvKHX64G]

实现 15E 任务：Replacer 状态机（pending→creating→probing→activating→draining_old→done/failed）
+ Grayscale 权重梯度（10→25→50→75→100，每步 6h）。

关键设计：
- Redis JSON 记录（sched:replace:{uuid}）+ SetNX 崩溃安全，防止重复 CreateNode
- 幂等 key：attempt 0 = uuid，retry N = uuid:retry:N
- probePass：国内 ≥2/3 ISP 通过 + 海外 L1 全通，连续 2 Tick 才晋级
- 探活超时 15min → failProbeAttempt → 轮换 provider；3 次失败 → failed + NotifyFault
- StubBreaker（15F 未就绪）；NewReplacer(Config{}) 依赖注入
- 6 个集成测试全部通过（happy path / max-retry / crash recovery / queue idempotency / grayscale）

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>

2026-06-15 21:26:07 +08:00

2 Commits