 wangjia
|
469c92191f
|
fix(scheduler): 熔断器/容量监控改用统一 alert.Notify(Event) 接口
容量水位(NPgPRxBGv0g9)与告警出口(9YMHMTfWJyNB)两条并行分支合并后接口
不兼容：前者调用旧的 NotifyFault(ctx,id,reason)，后者把 alert.Notifier 统一
为 Notify(ctx, Event)。将熔断触发/水位过低/探针失联三处改用 alert.NewEvent +
Notify，对齐 alert 包的统一事件出口设计（EventTypeBreakerTripped/WatermarkLow/
ProbeAgentLost），mockNotifier 既有 count() 断言无需改动即通过。
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
|
2026-06-17 00:44:27 +08:00 |
|
|
wangjia
|
22252612ea
|
merge: maestro/tsk_NPgPRxBGv0g9 into main (bulk integration)
|
2026-06-17 00:41:30 +08:00 |
|
|
wangjia
|
5d4b484646
|
feat(alert): 统一告警出口 TG bot + runbook [tsk_9YMHMTfWJyNB]
新增 server/internal/alert 包（15G）：
- 定义 Notifier 接口及 7 种 EventType（判封确认/补新失败/水位低/熔断/
探针失联/心跳缺失/故障态）
- TGNotifier：Bot API 发送，Critical 事件不去重，Warning/Info 事件
10min SETNX 去重窗口，失败重试 ≤2 次后降级至 LogNotifier
- LogNotifier：slog 结构化降级实现
- 单测：7 种事件模板 + runbook 锚点正确性；去重窗口内第二条被抑制；
TG 5xx 重试后 fallback 且 Notify() 返回 nil；
runbook 文件锚点与枚举一致性
接入 scheduler（替换旧的 NotifyFault 桩）：
- detect/engine.go：故障态（Rule 5）→ EventTypeFault；
判封确认（Rule 3）→ EventTypeBlockConfirmed
- orchestrate/deps.go：Notifier 类型别名指向 alert.Notifier
- orchestrate/replacer.go：补新失败 → EventTypeReplenishFailed；
熔断触发 → EventTypeBreakerTripped
- probe/prober_agent.go：failCount ≥3 → EventTypeProbeAgentLost
- probe/store.go：新增 CheckHeartbeats() 供 15H 检测心跳缺失>90s
新增 docs/runbook-scheduler.md：7 节各含含义/先查什么/处置/升级条件，
锚点与代码枚举对应。
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
|
2026-06-16 00:52:26 +08:00 |
|
|
wangjia
|
3d9ccff6e9
|
feat(scheduler): 容量水位监控 + 熔断器 + 阈值热加载 [tsk_NPgPRxBGv0g9]
实现 15F 任务的三个核心组件：
capacity.go — CapacityMonitor（每 1-2 min 由 CapacityLoop 调用）
- 池水位检查：up/target < 70% 时发告警，10 min 内降频去重
- 探针失联检查：扫 probe:hb:{probeId}，缺失发「探针失联」事件
- 驱动 Grayscale.Advance 推进养机档位
breaker.go — RedisBreaker（实现 Breaker 接口）
- 滑窗 ZSET sched:breaker:{tier}:{region}，窗口 1h
- 阈值 N = ceil(池容量 × 30%)，下限 3
- 窗口内计数 ≥ N → 置 tripped 标记位 + critical 告警
- Allow 恒 false 直到窗口滑出自动恢复，或管理员调 Reset
- Reset 清除 ZSET + trip flag，写 audit_log
config.go — SchedConfig + ConfigManager（全树阈值热加载）
- SchedConfig 集中定义 15D/15E/15F 所有阈值
- 来源：默认值 → YAML 文件 → 环境变量（三层叠加）
- 监听 SIGHUP，原子替换（atomic.Pointer[SchedConfig]）
- 每次变更 diff 写 audit_log（AuditFn 回调）
测试（24 个用例，全绿）：
- 窗口内第 N 次 Record 后 Allow 返回 false
- 窗口滑出后 Allow 自动恢复
- Reset 立即恢复 + audit 条目
- 下限 3 在小池（target=2）生效
- 65% 水位 → 告警；10 min 内不重复
- 探针心跳缺失 → 失联事件；存在 → 无告警
- YAML + env 覆盖 + SIGHUP Reload → 新阈值即时生效 + diff 审计
- 替换 stub 后 15E 全部集成测试仍绿
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
|
2026-06-16 00:31:58 +08:00 |
|
|
wangjia
|
7627c8a195
|
feat(scheduler): 自动更换编排 + 养机灰度 [tsk_mxEFSvKHX64G]
实现 15E 任务：Replacer 状态机（pending→creating→probing→activating→draining_old→done/failed）
+ Grayscale 权重梯度（10→25→50→75→100，每步 6h）。
关键设计：
- Redis JSON 记录（sched:replace:{uuid}）+ SetNX 崩溃安全，防止重复 CreateNode
- 幂等 key：attempt 0 = uuid，retry N = uuid:retry:N
- probePass：国内 ≥2/3 ISP 通过 + 海外 L1 全通，连续 2 Tick 才晋级
- 探活超时 15min → failProbeAttempt → 轮换 provider；3 次失败 → failed + NotifyFault
- StubBreaker（15F 未就绪）；NewReplacer(Config{}) 依赖注入
- 6 个集成测试全部通过（happy path / max-retry / crash recovery / queue idempotency / grayscale）
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
|
2026-06-15 21:26:07 +08:00 |
|