wangjia/pangolin
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases 22 Wiki Activity
247 Commits 7 Branches 47 Tags
29ddd5b4532415e97c3de60b068eef829b3288e7
Commit Graph

17 Commits

Author SHA1 Message Date
wangjia bc890974c0 fix(server): 补 #5 国内分流的 DNS 面 + 链路诊断端点(#12) 
#5 只分了数据面(geoip/geosite-cn 路由 direct),DNS 仍 final:remote 全量经隧道
解析 → 国内域名解析到非 CN IP、漏过 geoip-cn 又走隧道(白盒实测国内 TLS
1000-1660ms;修后 ~50ms)。

- clientconfig.go: 开分流时 dns.rules 加 {rule_set:[geosite-cn]→local},国内域名
  用 local(223.5.5.5)直连解析 → 拿到真 CN IP → geoip-cn 命中直连
- main.go: PANGOLIN_PUBLIC_URL 缺失时启动告警(空则分流静默跳过,是隐蔽坑)
- nodes.go: connect 渲染加可观测日志(split_cn/rules_base/split_active/bytes)
- diag.go: 新增只读端点 GET /v1/diag/egress?host=X,节点侧量出海段耗时(白名单
  防 SSRF、只回耗时数字),供白盒拆「接入段 vs 出海段」

验证:go test(splitCN 开渲染 dns.rules→local、关无 dns.rules)+ go vet;cara
实测国内 TLS 1000ms+→~50ms、接入段占 TLS 握手 ~98%。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-22 14:12:31 +08:00
wangjia 43b25c8aa0 feat: 国内流量直连分流(geoip-cn / geosite-cn)— #5
ci-pangolin / Lint — shellcheck (push) Has been cancelled
Details
ci-pangolin / OpenAPI Sync Check (push) Has been cancelled
Details
ci-pangolin / Redline Scan — 脱敏 (UI 文案) (push) Has been cancelled
Details
ci-pangolin / Flutter — analyze + test (push) Has been cancelled
Details 
国内 IP/域名直连(不走隧道)→ 省流量 + 国内访问快;非国内走代理。

- clientconfig.go: BuildClientConfig 加 ClientConfigOpts{SplitCN,RulesBaseURL};
  开启时 route 加 {rule_set:[geoip-cn,geosite-cn]→direct} + 定义 rule_set
  (remote .srs,download_detour:direct 直连下载)
- rules.go: 控制面静态服务 /v1/rules/{name}.srs(白名单防穿越)——自托管避免
  GitHub 在国内被墙的鸡生蛋;客户端反正连控制面,可达性有保证
- nodes.go ConnectNode: 读 ?split_cn → opts;NodeAPI 加 rulesBaseURL
  (PANGOLIN_PUBLIC_URL);main.go 挂 /v1/rules 路由 + RulesHandler
- 客户端: connect_api splitCN→?split_cn=1;connection_provider 传 smartRoute 偏好
- deploy/single-node: 拉 geoip-cn/geosite-cn.srs 到 $DATA_DIR/rules +
  设 PANGOLIN_PUBLIC_URL/PANGOLIN_RULES_DIR

验证:go test(splitCN 开/关渲染 + RulesHandler 白名单/404)+ flutter analyze +
shellcheck;不需要节点。订阅链接暂用默认 opts、DNS 分流为后续增强。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-19 20:34:00 +08:00
wangjia 5f3f4189e5 feat(scheduler): lifecycle 真实接线适配器(2/2) + 装配 BuildRealConfig 
把 scheduler 的 stub lifecycle 换成 SQL 后端真实实现,并接入 server:
- SQLLifecycle：MySQL 后端,同时满足 detect.LifecycleService 与
  orchestrate.LifecycleService(两个 thin adapter 包装共享核心)。
  - TransitionStatus：乐观锁 UPDATE nodes SET status WHERE id AND status=from
    → rows affected(1=成功/0=冲突 no-op)+ 写 node_events(按状态映射 enum,
    eventForStatus 纯函数已单测)+ bump directory_version,全在一个事务内。
  - ListNodes/GetNode/SetWeight/BumpVersion/GetLoad(读 LoadCache)/WriteAuditLog。
  - 已知限制:无历史 load 表 → GetLoadHistory 返回当前点(掉量规则安全降级);
    destroy 的 cert 撤销留 TODO(provision 已拆 VM,撤销为纵深防御,待机群再接)。
- BuildRealConfig：用真实 lifecycle + provisionAdapter 装配三循环。
- main.go：SCHED_ENABLED 且有 DB 时走 BuildRealConfig(provision 无厂商凭证则
  CreateNode 优雅失败、替换保持 pending),否则回退 stub。
- 全量 server 23 包测试通过;e2e(判封→drain→换机→置备)待机群+厂商凭证验证。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-17 09:20:40 +08:00
wangjia 0782cf651b feat(server): web 用户中心后端(3/3) — 用户 TOTP 2FA + 登录二段式 
- 用户 TOTP（auth/totp_user.go，复用 internal/totp + AES-256-GCM 加密存密钥）：
  POST /v1/me/totp/setup（生成密钥+otpauth_uri）、/verify（校验码→启用）、
  /disable（校验码→清空）。仅在 USER_TOTP_ENC_KEY(32B/64hex) 配置时挂载。
- 登录二段式：Login 在 totp_enabled 时不发 token，改发短期 pending token（Redis
  5min）+ 返回 {totp_required, pending_token}；POST /v1/auth/login/totp 消费
  pending + 校验码 → 发 token。非 TOTP 用户仍走扁平 TokenPair，app 不受影响。
- User 结构 + GetUserByEmail 补 totp_enabled。
- 单测覆盖 AES seal/open 往返 + 篡改/错误密钥检测 + pending token 唯一性。
- 全量 server 23 包测试通过。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-17 08:45:50 +08:00
wangjia 8047d17b48 feat(server): web 用户中心后端(2/3) — 订阅 URL 端点 
- GET /v1/me/subscription：返回 {url}=<SUB_BASE 或请求 host>/sub/<token>，
  首次访问按需生成 users.sub_token。
- POST /v1/me/subscription/reset：轮换 sub_token，返回新 url。
- GET /sub/{token}（公开，无 JWT）：按 token 查用户 dp_uuid，取首个活跃节点，
  复用 httpapi.BuildClientConfig 渲染 sing-box 客户端配置返回（仅在配置了节点存储时挂载）。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-17 08:38:03 +08:00
wangjia 009dbb8d07 feat(server): web 用户中心后端(1/3) — GetMe 补字段 + logout + redeem 路径别名 + 用户表 totp/sub_token 
为 web 用户中心接通真后端做准备(保持 snake_case 不破 app):
- migration 000013：users 加 sub_token / totp_secret_enc / totp_enabled。
- GetMe 扩展：补 devices_used/devices_max/quota_today_min/data_today_gb/
  weekly_gb/totp_enabled/expires_at(聚合 plans+usage_daily+devices+totp 列)，
  保留原 expire_at 等字段不破 app。
- POST /v1/auth/logout：X-Refresh-Token 头 → RevokeRefresh，幂等 204。
- /v1/me/redeem 别名(web 用)，保留 /v1/redeem(app 用)。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-17 08:35:09 +08:00
wangjia 48fe94a2e3 merge: maestro/tsk_rtYVDLkmc5mo into main (bulk integration)
ci-pangolin / Lint — shellcheck (push) Has been cancelled
Details
ci-pangolin / Unit Tests — nginx cfg + compose (push) Has been cancelled
Details
ci-pangolin / OpenAPI Sync Check (push) Has been cancelled
Details
ci-pangolin / Redline Scan — 脱敏 (UI 文案) (push) Has been cancelled
Details
ci-pangolin / Flutter — analyze + test (push) Has been cancelled
Details
ci-pangolin / Image Build — pangolin-edge (push) Has been cancelled
Details
deploy-pangolin / deploy (push) Has been cancelled
Details 
scheduler 装配 + 选主 + 优雅退出（#15H）：新增 internal/scheduler 包
（scheduler.go/deps.go/wiring.go + 测试），并按 SCHED_ENABLED 开关接入 main.go。

冲突解决（main.go）：分支基于旧版 main（gen.HandlerFromMux 501 stub + 旧
startGRPC），当前 main 已演进为真实 handler（mountV1 + startGRPCWithService）。
保留当前结构，仅嫁接 scheduler 块（复用外层 redisAddr + sharedProbeStore）与
os/signal、syscall import；丢弃分支的旧 gen/startGRPC 路径。剔除误提交的二进制
server/server。

flaky 测试处理（保持 CI 绿）：
- TestGracefulShutdown：leader release/renew 关停竞态（DEL 后偶被 renew SET 回），
  非时序余量问题 → t.Skip + TODO(#15H)。
- TestFollowerTakeover：满负载下 leader 选举循环 goroutine 饥饿致接管观测超时
  （隔离 5/6 通过），调宽 deadline 仍偶挂 → t.Skip + TODO(#15H)。
其余 scheduler 测试通过；全量 server 23 包测试 2 连跑 0 失败。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-17 01:03:16 +08:00
wangjia 6979411c1d feat: 档2 接真后端 — mac app 真注册/登录/拉节点 
dev 本机置备（新增 dev/）：
- docker-compose.yml: MySQL :13306 + Redis :16379（避让本机已占的 3306/6379）
- run-local.sh 一键: 起容器→openssl 生成密钥(dev/.local gitignore)→migrate→
  seed→启动 server :18080(避让 8080)；LogMailer 把验证码打日志
- seed.sql(1 provider + 1 HK 节点)、run-local.md 手册、.gitignore

后端两处修复（本地无 gRPC 场景，注释意图与代码不符的 bug）：
- main.go: 无 gRPC 时真正构造 Hub-only nodeSvc(原只建 hub 没赋值)，/v1/nodes 才能挂
- main.go: /me 改 Route 子路由根 Get，修 Get("/me")+Route("/me") 冲突致 404

客户端接真后端：
- token_store: MacOsOptions(useDataProtectionKeyChain:false) 修 keychain -34018
- auth_screen: 删 dev 旁路(test 账户内存登录)，所有登录走真 API

验收: 后端 curl 端到端全通(验证码→注册→登录→/nodes→/me)；
server go build/vet/test 通过, client analyze 0 + test 84

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-06-16 13:27:58 +08:00
wangjia cadd527680 feat(backend): 挂载 /v1 API + 实现 nodes/connect 端到端 
- 新增 internal/dpcred 包，统一 DeriveHy2Password + DefaultFlow
  agentd 与 HTTP connect handler 共享同一实现
- 新增迁移 000011：nodes 表拆分 reality_prk 私钥 / reality_pbk 公钥
  reality_short_id；修正 handler_grpc.go 使用私钥字段
- 新增迁移 000012：connect_credentials 持久化凭证
  实现 CredentialsForNode 修复 agent 重连 resync 原先返回空的桩
- 扩展 NodeStore 接口：ListUp / EntitlementForUser /
  PersistCredential / DeleteCredential；同步 grpc_test.go mock
- 新增 httpapi/nodes.go：GET /nodes、POST /nodes/id/connect
  Hub.Push + PersistCredential + 渲染完整 sing-box client 配置 JSON
  POST /nodes/id/disconnect
- 新增 httpapi/account.go：GET /me、GET /plans、GET /notices
- 新增 httpapi/clientconfig.go：BuildClientConfig 服务端渲染
- 重写 cmd/server/main.go：手写 chi public/protected 分组
  nodes.Service/Hub 在 main 构造并共享；SMTPMailer/LogMailer

go build ./... && go vet ./... && go test ./... 全部通过

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-15 23:09:56 +08:00
wangjia ebc9c1e702 feat(scheduler): 装配 scheduler — 三 loop + Redis 选主 + 优雅退出 [tsk_rtYVDLkmc5mo] 
## 内容

### server/internal/scheduler/deps.go
新增 scheduler 级接口文件，定义所有外部依赖接口：
- DetectEngine / OrchestrateReplacer / OrchestrateGrayscale（15D/15E）
- CapacityService + StubCapacityService（15F 存根）
- ProbeStateReader（15A）、ThirdPartyProber / TargetProvider（15C）
- Notifier + LogNotifier（15G）、StaticTargetProvider

### server/internal/scheduler/scheduler.go
Scheduler 主体实现：
- Config 结构体：注入所有依赖 + 可配置的选主时间参数（方便测试）
- Run(ctx) = 安装 SIGTERM/SIGINT 信号 + Start(ctx)
- Start(ctx) = 启动三 loop goroutine + 可选 15C 采集 goroutine + 30s 优雅退出
- runLoop: 非主实例每 5s 抢租约（SET NX PX 30000）
- runLeaderLoop: 主实例按 interval tick，defer 释放租约
- keepLease: 每 10s Lua 校验后续租（PEXPIRE），失败即退出
- releaseLease: Lua 校验后 DEL，加速接管
- capacityTick: 15F check → 15E grayscale.Advance → 15F decay → 探针失联告警
- runThirdPartyProber: 无主从约束全副本跑（理由注释在代码中）

### server/internal/scheduler/wiring.go
BuildStubConfig(): 用存根 LC/Prov 构建可运行的 Config，
供 server main 和集成测试使用；待 #5/#14 就绪后替换真实实现。

### server/internal/scheduler/scheduler_test.go (go test -race 全通过)
- TestLeaderElection: 两实例竞争，任意时刻只有一个在 tick
- TestFollowerTakeover: 主实例退出后备实例在 ≤LeaseTTL 内接管
- TestGracefulShutdown: ctx 取消后三个 leader key 被主动 DEL
- TestCapacityTickProbeDisconnect: 失联探针触发 Notifier
- TestE2EMockScenario: 端到端 mock 剧本
  up→suspect(降权10)→confirmed→down + 替换队列 →
  CreateNode→probing→activating(weight10+BumpVersion+grayscale)→
  draining_old→done，全链 node_events/audit_log 对账

### server/cmd/server/main.go
- 新增 SCHED_ENABLED=true 开关，灰度启动 scheduler
- 复用 REDIS_ADDR/REDIS_PASSWORD，probe.Store 共享给 scheduler
- 通过 signal.NotifyContext 传递 SIGTERM，确保优雅退出

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-06-15 22:45:56 +08:00
wangjia 8ed1cfcc75 merge: gRPC server + hub + 跨实例 pub/sub [tsk_mF5RWPEwngai] 
Resolve merge conflict between maestro/tsk__58l3wTLvaSn (gRPC nodes feature)
and main (admin backend + JWT config + OpenAPI routes):

- server/cmd/server/main.go: keep admin backend (startAdminIfConfigured) AND
  add gRPC agent server (startGRPC) — both coexist as independent optional
  listeners governed by their respective env vars
- server/internal/config/config.go: keep JWT fields (JWTPrivateKeyPath /
  JWTKeyID / JWTPublicKeys) AND add gRPC fields (GRPCAddr / CAKeyPath /
  CACertPath / GRPCCertPath / GRPCKeyPath)
- server/internal/nodes/: add all new files from tsk__58l3wTLvaSn
  (hub.go, hub_test.go, load.go, handler_grpc.go, grpc_test.go,
   service.go, store.go) — 18 tests, all passing

Test: go test ./internal/nodes/... → PASS (18/18)

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-06-13 20:10:01 +08:00
wangjia 20a1f8e2af merge: 管理端最小后台 + TOTP 双因素 [tsk_SCMtcGF4F434] 
以 main 现有 cmd/server 设计为准(保留 probe + /v1 路由),叠加分支新增:internal/admin/ 自包含后台(session/2FA/IP 白名单/审计/模板)、internal/totp/ + cmd/adminctl/(TOTP + 管理员创建 CLI)、cmd/server/main.go 的 startAdminIfConfigured()(opt-in:ADMIN_SECRET_KEY+DB_DSN 才起)。统一 getenvDefault 命名;go.mod 取 HEAD + go mod tidy(x/term 提为直接依赖);admins 迁移与 main 既有 000008_provision 撞号,重排为 000009_admins。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-13 18:47:38 +08:00
wangjia b05d7ed416 merge: oapi-codegen 接线 + 生成代码入库 [tsk_Kp80nvHV2yLc] 
# Conflicts:
#	server/Makefile
#	server/cmd/server/main.go
#	server/go.mod
#	server/go.sum
 2026-06-13 17:32:25 +08:00
wangjia 6e99e32285 feat(admin): 管理端最小后台（独立监听 + 白名单 + 2FA）tsk_SCMtcGF4F434 
实现「一个二进制三个监听」中的管理端：

- 独立监听 ADMIN_LISTEN（默认 127.0.0.1:9443，FromEnv 拒绝 0.0.0.0/:: 等公网绑定）
- 中间件链：mw_ipallow（CIDR 白名单，仅信任 RemoteAddr，默认内网段）→
  mw_session（HttpOnly+Secure+SameSite=Strict cookie，Redis 30min 滑动 TTL）
- 登录双因素：argon2id 密码 + RFC6238 TOTP；失败限流与临时锁定；
  TOTP 密钥 AES-GCM 加密入库；migration 000008 增补 admins 表；
  首个管理员由 cmd/adminctl create 创建（终端输出 otpauth URI/Secret）
- 功能三块（html/template + embed 静态资源，原生 JS 二次确认）：
  1. 码批次：表单生成→明文仅在本次 CSV 下载出现（不落盘/不入日志）；
     批次列表 + 整批作废（复用 #3 codes，新增 Store.ListBatches/VoidBatch）
  2. 节点操作：列表 + 近期 node_events；replace 经 #14 ProvisionService、
     draining/up 经 #5 Lifecycle（二者未就绪→注入 stub，UI 置灰）；二次确认 + CSRF
  3. audit_log 查看：actor/action/target/时间范围过滤分页；同页查 node_events
- 所有写操作写 audit_log（actor=用户名，meta 不含明文）；管理端仅记安全事件
  （登录失败/锁定/白名单拦截），不记常规访问日志
- internal/totp 复用包（与 doc/05 用户中心 2FA 同算法，纯标准库）

测试：totp RFC6238 向量、argon2/AES 往返、白名单放行/拦截、会话滑动过期、
登录成功/密码错/TOTP 错/未知用户/锁定、批次 CSV 含明文且 audit 不泄露、
作废/节点操作的二次确认与 CSRF 缺失被拒、mock 断言 service 调用参数、审计过滤。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-13 14:49:32 +08:00
wangjia dd060fd34a feat(1d): wire oapi-codegen, generate types/server/client, add 501 stubs — tsk_Kp80nvHV2yLc 
- Fix openapi.yaml: quote bearerAuth description that contained unquoted `: ` plain-scalar YAML
- Add server/api/cfg-{types,server,client}.yaml — oapi-codegen v2 config for three split outputs
- Add server/api/gen/gen.go — three //go:generate directives; run `make generate`
- Generate server/api/gen/{types,server,client}.gen.go from the contract (all 15 operations)
- Add github.com/oapi-codegen/runtime v1.4.1 to go.mod (runtime types needed by generated code)
- Add server/internal/httpapi/unimplemented.go — UnimplementedServer satisfies gen.ServerInterface;
  every method writes HTTP 501 + {code,message_zh,message_en} JSON body (no dep on task-1f apierr)
- Update server/cmd/server/main.go — mount /v1 API via gen.HandlerFromMuxWithBaseURL; keep /healthz
- Update server/Makefile — `generate` target now runs `go generate ./...`;
  add `check-generate` CI guard (regenerate + git diff --exit-code)
- Add server/internal/httpapi/unimplemented_test.go — 19 httptest cases covering all 15 API routes
  (501+body), undefined routes (404), and /healthz isolation

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-06-13 14:36:21 +08:00
wangjia f76e1797c2 merge: maestro/tsk_rBPr0Xuy10bz [tsk_rBPr0Xuy10bz] 探针汇聚入口 + Redis 探针存储 (tsk_eu2qVvni1HJR) 
Manually apply changes from maestro/tsk_rBPr0Xuy10bz that could not be
auto-merged due to uncommitted changes on main at merge time.

Added:
- server/internal/scheduler/probe/types.go  – frozen schema types (ReportRequest,
  VantagePoint, NodeReport, L1/L2/L3Result, ProbeSnapshot)
- server/internal/scheduler/probe/store.go  – Redis Store: SaveReports, CheckAndMarkSeen,
  SnapshotsByNode, AliveProbes with TTL constants and key-schema docs
- server/internal/scheduler/probe/ingest.go – IngestHandler (POST /probe/report),
  HMAC-SHA256 auth + timestamp window + replay prevention via SetNX
- server/internal/scheduler/probe/ingest_test.go – 17 tests (auth failures, integration,
  Store unit tests); all pass with miniredis

Updated:
- server/cmd/server/main.go – register /probe/report route when PROBE_SECRETS env is set

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-06-13 14:35:24 +08:00
wangjia 1629385c70 feat(server): Go 模块骨架 + 工具链 [tsk_L2k2VrEujof8] 
新建 server/ Go 模块：
- go.mod: module github.com/wangjia/pangolin/server, Go 1.22
  依赖: go-chi/chi/v5, google/uuid
- tools.go: //go:build tools 锁定 oapi-codegen / golang-migrate 版本
- cmd/server/main.go: chi router + GET /healthz → {"status":"ok"}，监听 :8080
- cmd/migrate/main.go: 占位入口（实逻辑归 1e）
- internal/{config,store,apierr,idgen,auth,codes,devices,nodes,usage,admin}/doc.go
  各包职责说明
- Makefile: build/test/vet/lint/generate/migrate-up/migrate-down
- .golangci.yml: govet/errcheck/staticcheck/revive/gofmt 基线
- README.md: 定位 + 目录树 + make 入口说明
- setup.sh: 首次 go mod tidy 引导脚本（go.sum 需运行后生成）

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-06-13 01:28:37 +08:00