Docs: LXC deployment as done (agentd-01), rollback to oregon, double-start guard, PAD-11 cutover record
This commit is contained in:
jj.wang
+30
-12
@@ -12,20 +12,22 @@ python3 -m unittest # 离线单测
|
||||
配置里只写 Vault 键名（`token_key`）。agentd 读同名环境变量，token 只由 `agent-access.py exec --secret-env KEY=KEY` 注入进程内存；不要 export 到 shell、不要写文件。agentd 起的所有子进程（本机 runner/执行器、win10 中继脚本）拿到的环境都去掉了全部 `token_key` 与 `webhook_secret_key` 变量。
|
||||
|
||||
## 运行
|
||||
单次 tick（cron 推荐）：
|
||||
**调度器 2026-10-21（PAD-11）起跑在 LXC `agentd-01`**（root，仓库 `/opt/plane-agentd`），部署细节见 `docs/deploy-lxc.md`。任何时候只能有一个调度器排程。
|
||||
单次 tick（在 LXC 上）：
|
||||
```bash
|
||||
cd ~/.local/share/server-access-client && python3 -I agent-access.py \
|
||||
cd /root/.local/share/server-access-client && python3 -I agent-access.py \
|
||||
--config https://nas.tail9531b.ts.net:8443/identity/agent.json exec \
|
||||
--secret-env PLANE_OREGON_API_TOKEN=PLANE_OREGON_API_TOKEN \
|
||||
--secret-env PLANE_WINDOW10_API_TOKEN=PLANE_WINDOW10_API_TOKEN \
|
||||
--timeout 900 -- /home/ubuntu/Documents/wjj/project/plane-agentd/cli/agentd tick --once
|
||||
--timeout 900 -- python3 /opt/plane-agentd/cli/agentd tick --once
|
||||
```
|
||||
crontab（oregon 实际在用，每 2 分钟）：
|
||||
crontab（LXC root，每 2 分钟）：
|
||||
```
|
||||
*/2 * * * * /home/ubuntu/Documents/wjj/project/plane-agentd/cron/agentd-tick.sh
|
||||
*/2 * * * * /opt/plane-agentd/cron/agentd-tick-lxc.sh
|
||||
```
|
||||
`cron/agentd-tick.sh` = `flock -n ~/.gwent-board/agentd.lock timeout 900 python3 -I agent-access.py --config <identity> exec --secret-env PLANE_OREGON_API_TOKEN=… --secret-env PLANE_WINDOW10_API_TOKEN=… --timeout 850 -- python3 cli/agentd tick --once >> ~/.gwent-board/agentd-cron.log 2>&1`。空闲 tick 不打印任何东西（cron 日志为空是正常的），活着与否看 `heartbeat.json` 的 `at`；`skip: another tick holds …` 表示与手工 tick/smoke 撞锁，无害。
|
||||
实际配置 `config/agentd.yaml`（已提交，不含密钥）：`state_dir: ~/.gwent-board/agentd`，所以下表的 `state/…` 在 oregon 上是 `~/.gwent-board/agentd/…`。
|
||||
`cron/agentd-tick-lxc.sh` = `flock -n /var/lib/plane-agentd/cron.lock timeout 900 python3 -I agent-access.py --config <identity> exec --secret-env PLANE_OREGON_API_TOKEN=… --secret-env PLANE_WINDOW10_API_TOKEN=… --timeout 850 -- python3 /opt/plane-agentd/cli/agentd --config /opt/plane-agentd/config/agentd.yaml tick --once >> /var/log/plane-agentd/cron.log 2>&1`。空闲 tick 不打印任何东西（cron 日志为空是正常的），活着与否看 `heartbeat.json` 的 `at`；`skip: another tick holds …` 表示与手工 tick 撞锁，无害。
|
||||
实际配置 `config/agentd.yaml`（已提交，不含密钥）：`state_dir: /var/lib/plane-agentd`、`log_dir: /var/log/plane-agentd`，所以下表的 `state/…` 在 LXC 上是 `/var/lib/plane-agentd/…`，`agentd.log` 在 `/var/log/plane-agentd/`。改配置/代码 = 在 oregon 提交并推送，然后 LXC 上 `cd /opt/plane-agentd && git pull`（下一个 tick 生效）。
|
||||
oregon 上的 `cli/agentd` 只当 CLI 用（new/show/comment/state/assign，`smoke … --watch`）；**不要在 oregon 上跑 `tick` 或不带 `--watch` 的 `smoke`**（那是第二个调度器）。
|
||||
暂停一个终端（不再派新运行、也不探测，在途运行照常收尾）：把它的 `concurrency` 设为 0。
|
||||
|
||||
常驻替代：`... exec ... -- cli/agentd tick --loop --interval 120`（vault 会话超时要够长，cron 更稳）。
|
||||
@@ -44,8 +46,9 @@ cli/agentd show GWENT GW-12 3 # 状态/指派/标签 + 最近 3 条评论
|
||||
cli/agentd comment GWENT 12 reply.md # 或 - 读 stdin
|
||||
cli/agentd state GWENT 12 Todo # Plane 状态名或配置键（todo/review…）
|
||||
cli/agentd assign GWENT 12 window10
|
||||
cli/agentd smoke GWENT oregon # 建一个要求回复 "[review] ok" 的工作项，tick 到结束，PASS 则移到 Done
|
||||
cli/agentd smoke GWENT win10 --labels model:sol # --labels 给冒烟项加标签（路由到模型/档位）
|
||||
cli/agentd smoke GWENT oregon --watch # 建一个要求回复 "[review] ok" 的工作项，等排程中的调度器跑完，PASS 则移到 Done
|
||||
cli/agentd smoke GWENT win10 --labels model:sol --watch # --labels 给冒烟项加标签（路由到模型/档位）
|
||||
# 不带 --watch = 本机自己 tick（只在调度器所在机器上、且它的 cron 停着时用）
|
||||
```
|
||||
CLI 以 `--as <terminal>` / `agentd.cli_terminal` / 第一个有 token 的终端的身份操作。
|
||||
|
||||
@@ -53,8 +56,8 @@ CLI 以 `--as <terminal>` / `agentd.cli_terminal` / 第一个有 token 的终端
|
||||
| 路径 | 内容 |
|
||||
|---|---|
|
||||
| `state/agentd-state.json` | 每项目每工作项：轮次、线程 ID 与所在终端/执行器、线程轮数、各轮标签、已见评论、重试计数/下次重试、在途运行（handle、deadline） |
|
||||
| `state/agentd.log` | 每次 tick 的动作与错误 |
|
||||
| `state/heartbeat.json` | 最近一次 tick 的时间、在途运行、错误；超过 10 分钟不更新 = agentd 没在跑 |
|
||||
| `<log_dir>/agentd.log`（默认 `state/`） | 每次 tick 的动作与错误 |
|
||||
| `state/heartbeat.json` | 最近一次 tick 的时间、在途运行、启动未确认的运行（`launching`）、本 tick 跳过的不可达终端（`down`）、错误；超过 10 分钟不更新 = agentd 没在跑 |
|
||||
| `state/agentd.lock` | tick 互斥锁 |
|
||||
| `state/runs/<run_id>/` | `transport: local` 终端的运行目录：`prompt.md run.sh pid.txt started.txt exit.txt stderr.txt` + 执行器输出 |
|
||||
| oregon `/home/ubuntu/.gwent-board/agentd-runs/<run_id>/` | 远程 Linux 终端（`run_root`）：同上，另有 `launch.pid`（启动时的 `$!`，与 `pid.txt` 相同）；claude 输出 `out.json` |
|
||||
@@ -80,7 +83,10 @@ Todo + 指派给终端用户 → agentd 选最小编号、终端有空位、串
|
||||
| `类型=env` | 匹配 `retry.env_patterns`（焦点丢失/弹窗/断网等），转 Waiting，同串行组暂停到该项离开 Waiting |
|
||||
| `win10 unreachable; skipping` / `busy (N codex running…)` | 中继不通，或 win10 上有不是 agentd 起的 codex（`busy_processes`）；等它结束 |
|
||||
| `schtasks launch … failed` / `upload … failed` | 中继或 Windows 计划任务问题；手工 `win10-ps.sh "schtasks /Query /TN agentd-<run>"` 查看 |
|
||||
| `relay oregon exit 255: …` / `relay timeout` | 中继（Vault、Warpgate、目标 sshd）不通；启动失败时项留在 Todo，下一 tick 重新启动（同一 run id、目录清空重来），poll 失败下一 tick 再试。手工：`agent-access.py --config … run --target oregon --timeout 30 -- bash -c 'echo ok'` |
|
||||
| `relay oregon exit 255: …` / `relay timeout` / `<terminal> unreachable, skipping it for the rest of this tick` | 中继（Vault、Warpgate、目标 sshd）不通；该终端本 tick 余下的 poll/启动全部跳过（`heartbeat.down`），其他终端照常。poll 失败下一 tick 再试。手工：`agent-access.py --config … run --target oregon --timeout 30 -- bash -c 'echo ok'` |
|
||||
| `run GW-n-k: unconfirmed launch found …; adopting it` | 启动调用失败/超时（或 agentd 在启动中途退出），但终端上已有 `exit.txt`/`launch.pid`/`pid.txt`：接管该运行，不重复启动；开始评论注明"启动未确认、已接管" |
|
||||
| `run GW-n-k: nothing at …; relaunching in GW-n-k-r2` | 启动没有落地：同一 run id、新目录 `<run_id>-r2`（再失败 -r3…）重新启动，旧目录不清空。运行目录里已有 pid 文件时 transport 拒绝清空（`HASPID`），下一 tick 探测后接管 |
|
||||
| heartbeat `launching` 一直不消失 | 终端探测不通（中继坏），标记保留并占着该终端的槽位；中继恢复后自动接管或重启。人工处理：停 cron，在终端上看 `<run_root>/<run_id>/`，再从状态文件删掉该项的 `launching` |
|
||||
| `upload of … size mismatch` / `staging … size mismatch` | 远程写文件不完整（磁盘满、`run_root` 不可写）；看远程 `run_root` |
|
||||
| 远程 Linux 终端每步都慢 | 每次中继调用约 10–14 s（取 Vault 凭据 + SSH 握手）。一轮：启动 1 次（prompt 超过约 45 KB 时多几次分块上传）、每 tick poll 1 次、收尾 claude 约 3 次 |
|
||||
| 工作项在运行中被人改了状态 | 运行还没结束：下一 tick 取消（kill + `[worker] 运行已取消…` 评论），不改状态。已经结束（`exit.txt` 已写）：结果照常回帖，但不再改状态/重试 |
|
||||
@@ -88,6 +94,18 @@ Todo + 指派给终端用户 → agentd 选最小编号、终端有空位、串
|
||||
| 想手工终止一轮 | 把工作项移出 In Progress（如 Waiting）即可，下一 tick agentd 自己 kill 并释放槽位。中继不通、kill 一直失败时：在终端上手工结束（Linux 终端 `kill -TERM -- -$(cat pid.txt); pkill -TERM -s $(cat pid.txt)`，win10 `taskkill /T /F /PID <pid.txt>`），停 cron 后从 `state/agentd-state.json` 删掉该项的 `inflight` |
|
||||
| `已连续 N 轮 [progress]` | 达到 `max_progress_rounds`：看最近几轮是否在原地打转；拆分任务或补充说明后移回 Todo |
|
||||
|
||||
## 回滚到 oregon（LXC 调度器出问题时）
|
||||
1. 停 LXC：`agent-access.py … run --target agentd-01 -- bash -c 'crontab -r; flock /var/lib/plane-agentd/cron.lock true'`（删 crontab，等正在跑的 tick 结束）。
|
||||
2. 状态拷回 oregon：LXC `/var/lib/plane-agentd/agentd-state.json` → oregon `~/.gwent-board/agentd/agentd-state.json`（base64 经中继读回，比对 sha256）。在途运行照常被 oregon 接着 poll。
|
||||
3. oregon 恢复 cron：`crontab ~/.gwent-board/crontab.backup-20261021-pad11`（即 `*/2 * * * * /home/ubuntu/Documents/wjj/project/plane-agentd/cron/agentd-tick.sh`）。`cron/agentd-tick.sh` 用 `config/agentd.oregon.yaml`（`state_dir: ~/.gwent-board/agentd`，日志 `~/.gwent-board/agentd/agentd.log`、`~/.gwent-board/agentd-cron.log`），与 LXC 配置只差路径。
|
||||
4. 看 oregon 的 `~/.gwent-board/agentd/heartbeat.json` 更新。再切回 LXC = 反过来做一遍（docs/deploy-lxc.md §5）。
|
||||
|
||||
## 切换记录（2026-10-21，PAD-11：调度器迁到 LXC agentd-01）
|
||||
- 代码：防重复启动（`launching` 标记 + 探测接管/换目录重启）与"中继不通的终端本 tick 跳过"随本次一起上线（4f45d36）；LXC 用仓库里的 `config/agentd.yaml`，oregon 回滚用 `config/agentd.oregon.yaml`。
|
||||
- 切换前 LXC 手工 `tick --once`（oregon cron 仍在跑，Plane 上无 Todo 项）：空闲、无错误；LXC 经 helper 探测 win10（`codex` 计数）与经中继探测 oregon 运行目录均正常。
|
||||
- 切换时 oregon 刚收尾 GW-11-1（11:53 由 oregon 派出、11:57 `[review]`），无在途运行。11:59 删除 oregon crontab 行（备份 `~/.gwent-board/crontab.backup-20261021-pad11`，oregon crontab 现为空），状态文件（sha256 `106c2bce…`）复制到 LXC，12:00 装 LXC crontab，12:02:09 第一个 cron tick（heartbeat 更新，errors=[]）。
|
||||
- 冒烟（oregon 上 `smoke … --watch`，由 LXC cron 派发）：GW-12 oregon claude-code/sonnet 12:04:20 启动 → 12:06:47 `[review] ok` PASS；GW-13 win10 codex/gpt-6.1-sol/fast 12:05:58 启动 → 12:07:45 `[review] ok` PASS。续线程：GW-12 评论"回复 `[review] ok 2`"后移回 Todo，12:08:20 第 2 轮续 session `2348d52f…`（两轮 `out.json` 的 `session_id` 相同），12:10:44 `[review] ok 2`。两项均移到 Done。
|
||||
|
||||
## 切换记录（2026-10-21，P1-5）
|
||||
- 旧 worker `gwent-design/tools/board-worker-plane.py`（cron `board-worker-plane-cron.sh`）已从 crontab 移除；脚本与 `~/.gwent-board/plane-state.json`、`plane-worker.log` 保留作历史，不要再启用（两者会抢同一批 window10 的 Todo 项）。
|
||||
- 切换时旧 worker 无在途运行（GW-6 的 board-6-2 已于 06:30 以 `[blocked]` 结束，项在 Waiting）。GW-6 的 codex 线程 `01a15ce3…` 已迁入 agentd 状态（`runs=2`、`thread_on=[win10, codex]`、旧评论标为已见），移回 Todo 并指派 window10 时 agentd 续这个线程，run id 从 `GW-6-3` 起。
|
||||
|
||||
Reference in New Issue
Block a user