pangolin

wangjia/pangolin

Fork 0

Commit Graph

Author	SHA1	Message	Date
wangjia	a7ae7156f4	fix(scheduler): 修复 #15H 两个 flaky leader-election 测试的根因 TestGracefulShutdown（真 bug）：runLoop 在 SetNX 获取 leader 锁后、进入 runLeaderLoop（其 defer 负责释放）之前，若 ctx 恰好在此刻 cancel， `if ctx.Err() != nil { return }` 会丢弃已获取的 key 而不释放 → 关停后 leader 键残留（DEL 从未执行）。早 cancel 时三个 loop 各自命中此竞态，故残留的键不固定。修复：将 ctx.Err() 早退限定在 SetNX 出错（未获取）的分支；一旦获取成功就必定进入 runLeaderLoop，由其 defer 保证释放。 TestFollowerTakeover（测试设计竞态）：测试同时启动 leader/follower 两实例却假定名为 "leader" 的实例赢得选举——而选举是先到先得，"follower" 可能先抢到 detect 锁，导致 engLeader 永不 tick（"leader never ticked"）。修复：先单独启动 leader 并等其 tick（确认占锁），再启动 follower，消除选举非确定性。两修复均移除原 t.Skip，恢复测试。验证：各自隔离 12/12 通过、scheduler 全包 10/10、全量 go test ./... 3 连跑 0 失败、scheduler -race 无数据竞争。 Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>	2026-06-17 07:06:48 +08:00
wangjia	ebc9c1e702	feat(scheduler): 装配 scheduler — 三 loop + Redis 选主 + 优雅退出 [tsk_rtYVDLkmc5mo] ## 内容 ### server/internal/scheduler/deps.go 新增 scheduler 级接口文件，定义所有外部依赖接口： - DetectEngine / OrchestrateReplacer / OrchestrateGrayscale（15D/15E） - CapacityService + StubCapacityService（15F 存根） - ProbeStateReader（15A）、ThirdPartyProber / TargetProvider（15C） - Notifier + LogNotifier（15G）、StaticTargetProvider ### server/internal/scheduler/scheduler.go Scheduler 主体实现： - Config 结构体：注入所有依赖 + 可配置的选主时间参数（方便测试） - Run(ctx) = 安装 SIGTERM/SIGINT 信号 + Start(ctx) - Start(ctx) = 启动三 loop goroutine + 可选 15C 采集 goroutine + 30s 优雅退出 - runLoop: 非主实例每 5s 抢租约（SET NX PX 30000） - runLeaderLoop: 主实例按 interval tick，defer 释放租约 - keepLease: 每 10s Lua 校验后续租（PEXPIRE），失败即退出 - releaseLease: Lua 校验后 DEL，加速接管 - capacityTick: 15F check → 15E grayscale.Advance → 15F decay → 探针失联告警 - runThirdPartyProber: 无主从约束全副本跑（理由注释在代码中） ### server/internal/scheduler/wiring.go BuildStubConfig(): 用存根 LC/Prov 构建可运行的 Config，供 server main 和集成测试使用；待 #5/#14 就绪后替换真实实现。 ### server/internal/scheduler/scheduler_test.go (go test -race 全通过) - TestLeaderElection: 两实例竞争，任意时刻只有一个在 tick - TestFollowerTakeover: 主实例退出后备实例在 ≤LeaseTTL 内接管 - TestGracefulShutdown: ctx 取消后三个 leader key 被主动 DEL - TestCapacityTickProbeDisconnect: 失联探针触发 Notifier - TestE2EMockScenario: 端到端 mock 剧本 up→suspect(降权10)→confirmed→down + 替换队列 → CreateNode→probing→activating(weight10+BumpVersion+grayscale)→ draining_old→done，全链 node_events/audit_log 对账 ### server/cmd/server/main.go - 新增 SCHED_ENABLED=true 开关，灰度启动 scheduler - 复用 REDIS_ADDR/REDIS_PASSWORD，probe.Store 共享给 scheduler - 通过 signal.NotifyContext 传递 SIGTERM，确保优雅退出 Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>	2026-06-15 22:45:56 +08:00

Author

SHA1

Message

Date

wangjia

a7ae7156f4

fix(scheduler): 修复 #15H 两个 flaky leader-election 测试的根因

TestGracefulShutdown（真 bug）：runLoop 在 SetNX 获取 leader 锁后、进入
runLeaderLoop（其 defer 负责释放）之前，若 ctx 恰好在此刻 cancel，
`if ctx.Err() != nil { return }` 会丢弃已获取的 key 而不释放 →
关停后 leader 键残留（DEL 从未执行）。早 cancel 时三个 loop 各自命中此竞态，
故残留的键不固定。修复：将 ctx.Err() 早退限定在 SetNX 出错（未获取）的分支；
一旦获取成功就必定进入 runLeaderLoop，由其 defer 保证释放。

TestFollowerTakeover（测试设计竞态）：测试同时启动 leader/follower 两实例却
假定名为 "leader" 的实例赢得选举——而选举是先到先得，"follower" 可能先抢到
detect 锁，导致 engLeader 永不 tick（"leader never ticked"）。修复：先单独
启动 leader 并等其 tick（确认占锁），再启动 follower，消除选举非确定性。

两修复均移除原 t.Skip，恢复测试。验证：各自隔离 12/12 通过、scheduler 全包
10/10、全量 go test ./... 3 连跑 0 失败、scheduler -race 无数据竞争。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>

2026-06-17 07:06:48 +08:00

wangjia

ebc9c1e702

feat(scheduler): 装配 scheduler — 三 loop + Redis 选主 + 优雅退出 [tsk_rtYVDLkmc5mo]

## 内容

### server/internal/scheduler/deps.go
新增 scheduler 级接口文件，定义所有外部依赖接口：
- DetectEngine / OrchestrateReplacer / OrchestrateGrayscale（15D/15E）
- CapacityService + StubCapacityService（15F 存根）
- ProbeStateReader（15A）、ThirdPartyProber / TargetProvider（15C）
- Notifier + LogNotifier（15G）、StaticTargetProvider

### server/internal/scheduler/scheduler.go
Scheduler 主体实现：
- Config 结构体：注入所有依赖 + 可配置的选主时间参数（方便测试）
- Run(ctx) = 安装 SIGTERM/SIGINT 信号 + Start(ctx)
- Start(ctx) = 启动三 loop goroutine + 可选 15C 采集 goroutine + 30s 优雅退出
- runLoop: 非主实例每 5s 抢租约（SET NX PX 30000）
- runLeaderLoop: 主实例按 interval tick，defer 释放租约
- keepLease: 每 10s Lua 校验后续租（PEXPIRE），失败即退出
- releaseLease: Lua 校验后 DEL，加速接管
- capacityTick: 15F check → 15E grayscale.Advance → 15F decay → 探针失联告警
- runThirdPartyProber: 无主从约束全副本跑（理由注释在代码中）

### server/internal/scheduler/wiring.go
BuildStubConfig(): 用存根 LC/Prov 构建可运行的 Config，
供 server main 和集成测试使用；待 #5/#14 就绪后替换真实实现。

### server/internal/scheduler/scheduler_test.go (go test -race 全通过)
- TestLeaderElection: 两实例竞争，任意时刻只有一个在 tick
- TestFollowerTakeover: 主实例退出后备实例在 ≤LeaseTTL 内接管
- TestGracefulShutdown: ctx 取消后三个 leader key 被主动 DEL
- TestCapacityTickProbeDisconnect: 失联探针触发 Notifier
- TestE2EMockScenario: 端到端 mock 剧本
  up→suspect(降权10)→confirmed→down + 替换队列 →
  CreateNode→probing→activating(weight10+BumpVersion+grayscale)→
  draining_old→done，全链 node_events/audit_log 对账

### server/cmd/server/main.go
- 新增 SCHED_ENABLED=true 开关，灰度启动 scheduler
- 复用 REDIS_ADDR/REDIS_PASSWORD，probe.Store 共享给 scheduler
- 通过 signal.NotifyContext 传递 SIGTERM，确保优雅退出

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>

2026-06-15 22:45:56 +08:00

2 Commits