wangjia/pangolin
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases 22 Wiki Activity
125 Commits 7 Branches 47 Tags
bcee7f92edecf59cd0c9bda87d114a57cd55745f
Commit Graph

8 Commits

Author SHA1 Message Date
wangjia 469c92191f fix(scheduler): 熔断器/容量监控改用统一 alert.Notify(Event) 接口 
容量水位(NPgPRxBGv0g9)与告警出口(9YMHMTfWJyNB)两条并行分支合并后接口
不兼容：前者调用旧的 NotifyFault(ctx,id,reason)，后者把 alert.Notifier 统一
为 Notify(ctx, Event)。将熔断触发/水位过低/探针失联三处改用 alert.NewEvent +
Notify，对齐 alert 包的统一事件出口设计（EventTypeBreakerTripped/WatermarkLow/
ProbeAgentLost），mockNotifier 既有 count() 断言无需改动即通过。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-17 00:44:27 +08:00
wangjia 22252612ea merge: maestro/tsk_NPgPRxBGv0g9 into main (bulk integration) 2026-06-17 00:41:30 +08:00
wangjia 5d4b484646 feat(alert): 统一告警出口 TG bot + runbook [tsk_9YMHMTfWJyNB] 
新增 server/internal/alert 包（15G）：
- 定义 Notifier 接口及 7 种 EventType（判封确认/补新失败/水位低/熔断/
  探针失联/心跳缺失/故障态）
- TGNotifier：Bot API 发送，Critical 事件不去重，Warning/Info 事件
  10min SETNX 去重窗口，失败重试 ≤2 次后降级至 LogNotifier
- LogNotifier：slog 结构化降级实现
- 单测：7 种事件模板 + runbook 锚点正确性；去重窗口内第二条被抑制；
  TG 5xx 重试后 fallback 且 Notify() 返回 nil；
  runbook 文件锚点与枚举一致性

接入 scheduler（替换旧的 NotifyFault 桩）：
- detect/engine.go：故障态（Rule 5）→ EventTypeFault；
  判封确认（Rule 3）→ EventTypeBlockConfirmed
- orchestrate/deps.go：Notifier 类型别名指向 alert.Notifier
- orchestrate/replacer.go：补新失败 → EventTypeReplenishFailed；
  熔断触发 → EventTypeBreakerTripped
- probe/prober_agent.go：failCount ≥3 → EventTypeProbeAgentLost
- probe/store.go：新增 CheckHeartbeats() 供 15H 检测心跳缺失>90s

新增 docs/runbook-scheduler.md：7 节各含含义/先查什么/处置/升级条件，
锚点与代码枚举对应。

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-06-16 00:52:26 +08:00
wangjia 3d9ccff6e9 feat(scheduler): 容量水位监控 + 熔断器 + 阈值热加载 [tsk_NPgPRxBGv0g9] 
实现 15F 任务的三个核心组件：

capacity.go — CapacityMonitor（每 1-2 min 由 CapacityLoop 调用）
  - 池水位检查：up/target < 70% 时发告警，10 min 内降频去重
  - 探针失联检查：扫 probe:hb:{probeId}，缺失发「探针失联」事件
  - 驱动 Grayscale.Advance 推进养机档位

breaker.go — RedisBreaker（实现 Breaker 接口）
  - 滑窗 ZSET sched:breaker:{tier}:{region}，窗口 1h
  - 阈值 N = ceil(池容量 × 30%)，下限 3
  - 窗口内计数 ≥ N → 置 tripped 标记位 + critical 告警
  - Allow 恒 false 直到窗口滑出自动恢复，或管理员调 Reset
  - Reset 清除 ZSET + trip flag，写 audit_log

config.go — SchedConfig + ConfigManager（全树阈值热加载）
  - SchedConfig 集中定义 15D/15E/15F 所有阈值
  - 来源：默认值 → YAML 文件 → 环境变量（三层叠加）
  - 监听 SIGHUP，原子替换（atomic.Pointer[SchedConfig]）
  - 每次变更 diff 写 audit_log（AuditFn 回调）

测试（24 个用例，全绿）：
  - 窗口内第 N 次 Record 后 Allow 返回 false
  - 窗口滑出后 Allow 自动恢复
  - Reset 立即恢复 + audit 条目
  - 下限 3 在小池（target=2）生效
  - 65% 水位 → 告警；10 min 内不重复
  - 探针心跳缺失 → 失联事件；存在 → 无告警
  - YAML + env 覆盖 + SIGHUP Reload → 新阈值即时生效 + diff 审计
  - 替换 stub 后 15E 全部集成测试仍绿

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-06-16 00:31:58 +08:00
wangjia 7627c8a195 feat(scheduler): 自动更换编排 + 养机灰度 [tsk_mxEFSvKHX64G] 
实现 15E 任务：Replacer 状态机（pending→creating→probing→activating→draining_old→done/failed）
+ Grayscale 权重梯度（10→25→50→75→100，每步 6h）。

关键设计：
- Redis JSON 记录（sched:replace:{uuid}）+ SetNX 崩溃安全，防止重复 CreateNode
- 幂等 key：attempt 0 = uuid，retry N = uuid:retry:N
- probePass：国内 ≥2/3 ISP 通过 + 海外 L1 全通，连续 2 Tick 才晋级
- 探活超时 15min → failProbeAttempt → 轮换 provider；3 次失败 → failed + NotifyFault
- StubBreaker（15F 未就绪）；NewReplacer(Config{}) 依赖注入
- 6 个集成测试全部通过（happy path / max-retry / crash recovery / queue idempotency / grayscale）

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-06-15 21:26:07 +08:00
wangjia 88757b2ac4 feat(detect): 判定引擎 signals+rules+streak (tsk_OYEiDCzM9_0Y) 
新建 server/internal/scheduler/detect/ 包，实现任务 15D：

## 核心模块

**lifecycle.go**
- 定义 LifecycleService Go interface（ListNodes / TransitionStatus / SetWeight /
  BumpVersion / GetLoad / GetLoadHistory），供 #5 真实实现，内含乐观锁语义（0 行
  受影响即本周期放弃，幂等可重入）
- 提供 MockLifecycle 内存 stub（SetConflict / Events 等测试辅助方法）

**signals.go**
- computeSignals：读 SnapshotsByNode，归一化为 NodeSignal
  - domesticFailISPs：按 ISP 聚合（stripPrefix "3rd-" 合并 15B/15C 同 ISP 视角），
    L3 失败权重最高（L3 挂即记该 ISP 失败，即使 L1/L2 通），无数据 vantage 不计分母
  - overseasOK：境外对照点全部 L1 通为真
  - trafficDropPct：15min 前后半段在线数降幅百分比
- ProbeSnapshotter interface（解耦 probe.Store，便于 mock）

**rules.go**
- DetectConfig：全量阈值常量（DomesticFailNumerator/Denominator=2/3、
  SuspectStreakMin=2、TrafficDropThreshold=80%、TrafficBaselineMin=20、
  ConfirmedStreakMin=6、RecoverStreakMin=2、SuspectWeight=10）
- isSuspectTriggered：整数算术避免浮点误差（fail×den >= total×num）
- isFault / effectiveSuspectStreakMin / isTrafficWarning 规则助手

**streak.go**
- StreakStore：Redis hash detect:streak:{node}（fail_streak / suspect_streak /
  recover_streak），TTL 2h（宽于 6×5min=30min），进程重启后自动恢复

**engine.go**
- Engine.Tick(ctx)：列举 up/blocked_suspect 节点，按节点依序运行五条规则
- Rule 1 suspect：≥2/3 ISP 失败 + 境外正常 → 连续 2 周期 → up→blocked_suspect，
  weight→10，写 probe:freq:{node}=60（1min 提频标记），BumpVersion
- Rule 2 流量预警：trafficDrop≥80% + 基线≥20 → suspect 门槛放宽至 1 周期
- Rule 3 confirmed：blocked_suspect 连续 6 周期 → blocked_confirmed → down（跳过
  draining），入队 detect:replace:queue（JSON: nodeId + replacementUuid）
- Rule 4 recover：suspect 期间境内连续 2 周期恢复 → up（weight 交 15E warmup）
- Rule 5 fault：境内+境外同时失败 → 不迁移，调 Notifier.NotifyFault（log stub）
- Notifier interface + LogNotifier stub（15G 就绪前输出 slog.Warn）

**engine_test.go**（19 个测试，全部通过）
- 表驱动覆盖：恰好 2/3 失败、1/3 失败不触发、9min vs 10min streak、
  流量预警 1 周期即 suspect、suspect 第 6 周期 confirmed、境内外同挂 fault 不迁移、
  恢复 2 周期回 up、3rd- 前缀合并、L3 覆盖 L1/L2
- 乐观锁冲突：SetConflict → 放弃本周期 → 无副作用 → 解冲突后正常重试
- 进程重启：同一 miniredis，新 Engine 读取已存在 streak 继续计数不误清零
- 产出验证：replace queue JSON 结构、probe:freq 标记、weight 变更、事件 detail 字段

**migrations/000010_node_blocked_statuses.{up,down}.sql**
- 扩展 nodes.status ENUM 加入 blocked_suspect / blocked_confirmed

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-06-13 20:15:13 +08:00
wangjia a47121f99b feat(probe): add third-party dial-test adapter for 15C (tsk_-WC9smQK7YRt) 
Implements ProberAgent interface + Alibaba Cloud CloudMonitor Synthetic adapter:
- ProbeTarget / VantageResult types aligned with 15A schema (L3 always nil)
- AliyunSyntheticAgent: CreateSiteMonitor → poll → map to VantageResult
- ISP vantage uses "3rd-{ISP}" prefix; Redis key probe:{node}:CN:{region}:3rd-*
- Degradation: API error/rate-limit/timeout → skip vantage, log + counter (no write)
- RunOnce(ctx, targets) shape for 15H assembly wiring
- Credentials via cfg only (env-var injection, zero hardcoded secrets)
- 6 new tests (mock vendor server): normalization, rate-limit, timeout, Redis keys,
  failed-target L1, no-credentials check; all 22 probe-package tests pass

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-06-13 17:21:43 +08:00
wangjia f76e1797c2 merge: maestro/tsk_rBPr0Xuy10bz [tsk_rBPr0Xuy10bz] 探针汇聚入口 + Redis 探针存储 (tsk_eu2qVvni1HJR) 
Manually apply changes from maestro/tsk_rBPr0Xuy10bz that could not be
auto-merged due to uncommitted changes on main at merge time.

Added:
- server/internal/scheduler/probe/types.go  – frozen schema types (ReportRequest,
  VantagePoint, NodeReport, L1/L2/L3Result, ProbeSnapshot)
- server/internal/scheduler/probe/store.go  – Redis Store: SaveReports, CheckAndMarkSeen,
  SnapshotsByNode, AliveProbes with TTL constants and key-schema docs
- server/internal/scheduler/probe/ingest.go – IngestHandler (POST /probe/report),
  HMAC-SHA256 auth + timestamp window + replay prevention via SetNX
- server/internal/scheduler/probe/ingest_test.go – 17 tests (auth failures, integration,
  Store unit tests); all pass with miniredis

Updated:
- server/cmd/server/main.go – register /probe/report route when PROBE_SECRETS env is set

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-06-13 14:35:24 +08:00