Update JEPSEN_TODO.md with checklist progress

Author: bootjp

JEPSEN_TODO.md

@@ -3,49 +3,59 @@
 本家 Jepsen Redis テストに近いレベルで Elastickv/Redis プロトコルを検証するために必要な構成要素と TODO です。
 
 ## 1. クラスタ構成
-- 最低 5 台のノードを用意する:
+- [x] 最低 5 台のノードを用意する:
   - 1 台: コントロールノード（Jepsen runner）
   - 4〜5 台: DB ノード（Elastickv を起動）
-- 全ノードで SSH 鍵認証（root または sudo 無パス）をセットアップ。
-- `/etc/hosts` 等でノード名解決をそろえる。
+- [x] 全ノードで SSH 鍵認証（root または sudo 無パス）をセットアップ。
+- [x] `/etc/hosts` 等でノード名解決をそろえる。
 
 ## 2. DB ドライバの拡張
-- `jepsen/src/elastickv/redis_workload.clj` を拡張し、`jepsen.os.debian` などを使って以下を実装:
-  - 各ノードへのバイナリ配布（ビルド or 配布）。
-  - 起動/停止/リスタートを `Remote` 経由で管理。
-  - データ/ログディレクトリをノードごとに初期化・掃除。
-  - ポート割り当て (Redis/GRPC/Raft) をノードごとに設定。
+- [x] `jepsen/src/elastickv/redis_workload.clj` を拡張し、`jepsen.os.debian` などを使って以下を実装:
+  - [x] 各ノードへのバイナリ配布（ビルド or 配布）。
+  - [x] 起動/停止/リスタートを `Remote` 経由で管理。
+  - [x] データ/ログディレクトリをノードごとに初期化・掃除。
+  - [x] ポート割り当て (Redis/GRPC/Raft) をノードごとに設定。
+  - [x] 起動時のサービス待機（gRPCポート待機など）の実装。
 
 ## 3. 故障注入 (Nemesis)
-- 本家に近いセットを有効化する:
-  - ネットワーク分断（partition-random-halves, majorities-ring 等）
-  - プロセス kill / 再起動
-  - ノード停止/再起動（必要なら再デプロイ）
-  - 時刻ずれ（clock-skew）
-- `jepsen.nemesis` を使い、複数 nemesis の組み合わせをテスト。
+- [x] 本家に近いセットを有効化する:
+  - [x] ネットワーク分断（partition-random-halves, majorities-ring 等）
+  - [x] プロセス kill / 再起動 (server 側の bootstrap エラー無視対応済み)
+  - [x] ノード停止/再起動（必要なら再デプロイ）
+  - [x] 時刻ずれ（clock-skew）
+- [x] `jepsen.nemesis` を使い、複数 nemesis の組み合わせをテスト。
 
 ## 4. ワークロード
-- 既存 append ワークロードに加え、以下を追加検討:
-  - 混合 read/write、トランザクション長バリエーション
-  - キー数増加、コンカレンシ/レート可変
-  - テスト時間 5〜10 分 / 試行、複数試行
+- [x] 既存 append ワークロード (基本動作確認済み)
+- [ ] 以下を追加検討:
+  - [ ] 混合 read/write、トランザクション長バリエーション
+  - [ ] キー数増加、コンカレンシ/レート可変
+  - [ ] テスト時間 5〜10 分 / 試行、複数試行 (現在は 60秒程度で検証中)
 
 ## 5. バイナリ配布/ビルド
-- DB ノード上で Elastickv をビルドするか、事前ビルド済みバイナリを `scp` 配布。
-- systemd/supervisor か Jepsen 管理スクリプトでプロセスを起動・監視。
+- [x] DB ノード上で Elastickv をビルドするか、事前ビルド済みバイナリを `scp` 配布。
+- [x] systemd/supervisor か Jepsen 管理スクリプトでプロセスを起動・監視。
 
 ## 6. 計測と証跡
-- Raft/Redis/アプリログをノード別に収集。
-- Jepsen history/analysis の保管。
-- 可能なら tcpdump やメトリクス（Prometheus/Grafana）も併設。
+- [x] Raft/Redis/アプリログをノード別に収集。
+- [x] Jepsen history/analysis の保管。
+- [ ] 可能なら tcpdump やメトリクス（Prometheus/Grafana）も併設。
 
 ## 7. CI への統合
-- GitHub Actions 単体では不足するため、外部の VM/ベアメタルクラスタを用意し、Actions から SSH で制御するワークフローを作成。
-- サブモジュール（`jepsen/redis`）取得を忘れず `submodules: recursive` を設定。
+- [x] GitHub Actions 単体では不足するため、外部の VM/ベアメタルクラスタを用意し、Actions から SSH で制御するワークフローを作成。
+- [x] サブモジュール（`jepsen/redis`）取得を忘れず `submodules: recursive` を設定。
 
 ## 8. 作業ステップ案
-1. ワークロードドライバを `db` / `os` / `nemesis` 付きに書き換える。
-2. デプロイ・起動スクリプトを用意（ビルド or 配布を選択）。
-3. 小規模 (2~3 ノード) でローカル VM を用いた疎通テスト。
-4. 故障注入を広げ、本家標準セットに近づける。
-5. 外部クラスタで長時間テストを回し、結果を保存。
+1. [x] ワークロードドライバを `db` / `os` / `nemesis` 付きに書き換える。
+2. [x] デプロイ・起動スクリプトを用意（ビルド or 配布を選択）。
+3. [x] 小規模 (2~3 ノード) でローカル VM を用いた疎通テスト。
+4. [x] 故障注入を広げ、本家標準セットに近づける (Partition, Kill, Clock 対応)。
+5. [ ] 外部クラスタで長時間テストを回し、結果を保存。
+
+## 9. 実装済みの足回り (最新ステータス)
+- **Vagrant Cluster**: `jepsen/Vagrantfile` と `jepsen/VM.md` でコントロール + 5 ノードの VM クラスタ構築済み。
+- **DB Adapter**: `jepsen/src/elastickv/db.clj` 実装済み。Go バイナリのビルド/配布、起動・停止、Raft 参加、再起動時の待機処理を管理。
+- **Fault Tolerance**: `elastickv` サーバー側で `raft.ErrCantBootstrap` を無視する修正を適用し、Kill Nemesis 耐性を獲得。
+- **Workload**: `jepsen/src/elastickv/redis_workload.clj` は Debian/SSH/combined nemesis（partition, kill, clock）対応済み。
+- **CI**: `.github/workflows/jepsen.yml` で self-hosted ランナー向けワークフローを用意。
+- **Result**: `partition`, `kill`, `clock` 障害下での `append` ワークロードテストをパス (`{:valid? true}`)。

cmd/server/demo.go

@@ -193,4 +193,4 @@ func run(eg *errgroup.Group) error {
 	})
 
 	return nil
-}
+}

go.mod

@@ -65,6 +65,7 @@ require (
 	github.com/hashicorp/go-msgpack/v2 v2.1.2 // indirect
 	github.com/hashicorp/go-multierror v1.1.1 // indirect
 	github.com/hashicorp/golang-lru v1.0.2 // indirect
+	github.com/iancoleman/strcase v0.3.0 // indirect
 	github.com/klauspost/compress v1.16.0 // indirect
 	github.com/kr/pretty v0.3.1 // indirect
 	github.com/kr/text v0.2.0 // indirect

go.sum

@@ -203,6 +203,8 @@ github.com/hashicorp/raft-boltdb v0.0.0-20230125174641-2a8082862702 h1:RLKEcCuKc
 github.com/hashicorp/raft-boltdb v0.0.0-20230125174641-2a8082862702/go.mod h1:nTakvJ4XYq45UXtn0DbwR4aU9ZdjlnIenpbs6Cd+FM0=
 github.com/hashicorp/raft-boltdb/v2 v2.3.1 h1:ackhdCNPKblmOhjEU9+4lHSJYFkJd6Jqyvj6eW9pwkc=
 github.com/hashicorp/raft-boltdb/v2 v2.3.1/go.mod h1:n4S+g43dXF1tqDT+yzcXHhXM6y7MrlUd3TTwGRcUvQE=
+github.com/iancoleman/strcase v0.3.0 h1:nTXanmYxhfFAMjZL34Ov6gkzEsSJZ5DbhxWjvSASxEI=
+github.com/iancoleman/strcase v0.3.0/go.mod h1:iwCmte+B7n89clKwxIoIXy/HfoL7AsD47ZCWhYzw7ho=
 github.com/josharian/intern v1.0.0/go.mod h1:5DoeVV0s6jJacbCEi61lwdGj/aVlrQvzHFFd8Hwg//Y=
 github.com/jpillora/backoff v1.0.0/go.mod h1:J/6gKK9jxlEcS3zixgDgUAsiuZ7yrSoa/FX5e0EB2j4=
 github.com/json-iterator/go v1.1.6/go.mod h1:+SdeFBvtyEkXs7REEP0seUULqWtbJapLOCVDaaPEHmU=

jepsen/VM.md

@@ -0,0 +1,44 @@
+# Local Jepsen VM Cluster
+
+This brings up a 5-node Jepsen lab (control + 5 DB nodes) using Vagrant and VirtualBox.
+
+## Requirements
+- VirtualBox (tested with 7.x)
+- Vagrant 2.3+
+
+## Boot and Login
+```bash
+cd jepsen
+vagrant up          # spins up ctrl, n1..n5 (first run takes a few minutes)
+vagrant ssh ctrl    # control node
+```
+
+The repository is rsynced into `~/elastickv` on the control node. SSH between nodes uses the bundled Vagrant insecure key.
+
+## Run Jepsen workload
+On the control node:
+```bash
+cd ~/elastickv/jepsen
+HOME=$(pwd)/tmp-home LEIN_HOME=$(pwd)/.lein LEIN_JVM_OPTS="-Duser.home=$(pwd)/tmp-home" \
+  lein run -m elastickv.redis-workload \
+  --nodes n1,n2,n3,n4,n5 \
+  --time-limit 60 --rate 10 --concurrency 10 \
+  --faults partition,kill,clock
+```
+
+The test will:
+- build Linux/amd64 elastickv + raftadmin binaries on the control node,
+- deploy them to each VM under `/opt/elastickv/bin`,
+- start the cluster (bootstrap on `n1`, join others),
+- run the Redis append workload with the Jepsen combined nemesis (partitions + process kills by default).
+
+## Tear down
+```bash
+cd jepsen
+vagrant destroy -f
+```
+
+## Notes
+- Ports: Redis 6379, gRPC/Raft 50051 on each node.
+- SSH defaults: user `vagrant`, key `~/.ssh/id_rsa` inside `ctrl`.
+- Adjust fault mix via `--faults partition,kill,clock` (aliases: `reboot` maps to `kill`).

jepsen/Vagrantfile

@@ -0,0 +1,43 @@
+NODES = {
+  ctrl: "192.168.56.10",
+  n1:   "192.168.56.11",
+  n2:   "192.168.56.12",
+  n3:   "192.168.56.13",
+  n4:   "192.168.56.14",
+  n5:   "192.168.56.15"
+}.freeze
+
+Vagrant.configure("2") do |config|
+  config.ssh.insert_key = false
+  #config.vm.box = "debian/bookworm64"
+  config.vm.box = "bento/debian-12"
+
+  NODES.each do |name, ip|
+    config.vm.define name do |node|
+      node.vm.hostname = name.to_s
+      node.vm.network "private_network", ip: ip
+
+      # VirtualBox (Intel) defaults
+      node.vm.provider "virtualbox" do |vb|
+        vb.memory = name == :ctrl ? 4096 : 2048
+        vb.cpus   = 2
+      end
+
+      # UTM (Apple Silicon) defaults
+      node.vm.provider "utm" do |utm|
+        utm.memory = name == :ctrl ? 4096 : 2048
+        utm.cpus   = 2
+      end
+
+      if name == :ctrl
+        node.vm.synced_folder "..", "/home/vagrant/elastickv",
+                              type: "rsync",
+                              rsync__exclude: [".git", "target", "build", ".cache", "tmp-home", "jepsen/target", "jepsen/tmp-home"]
+      else
+        node.vm.synced_folder ".", "/vagrant", disabled: true
+      end
+
+      node.vm.provision "shell", path: "provision/base.sh", args: name.to_s
+    end
+  end
+end

jepsen/src/elastickv/jepsen_test.clj

@@ -1,44 +1,10 @@
 (ns elastickv.jepsen-test
   (:gen-class)
-  (:require [jepsen
-             [core :as jepsen]
-             [cli :as cli]
-             [db :as db]
-             [client :as client]
-             [checker :as checker]]
-            [jepsen.checker.timeline :as timeline]
-            [jepsen.tests.linearizable-register :as register]
-            [jepsen.nemesis :as nemesis])
-  (:import (redis.clients.jedis Jedis)))
-
-(defrecord RedisClient [port]
-  client/Client
-  (open! [this test node]
-    (assoc this :conn (Jedis. (name node) port)))
-  (close! [this test]
-    (.close (:conn this))
-    this)
-  (setup! [this test])
-  (teardown! [this test])
-  (invoke! [this test op]
-    (let [conn (:conn this)
-          value (:value op)]
-      (case (:f op)
-        :write (do (.set conn "k" (pr-str value))
-                   (assoc op :type :ok))
-        :read (let [v (.get conn "k")]
-                (assoc op :type :ok
-                       :value (when v (read-string v))))
-        (assoc op :type :fail :error :unknown-op)))))
+  (:require [elastickv.redis-workload :as redis-workload]
+            [jepsen.cli :as cli]))
 
 (defn elastickv-test []
-  (register/test
-    {:name "elastickv-register"
-     :nodes ["n1" "n2" "n3"]
-     :db db/noop
-     :client (->RedisClient 63791)
-     :concurrency 5
-     :nemesis (nemesis/partition-random-halves)}))
+  (redis-workload/elastickv-redis-test {}))
 
 (defn -main
   [& args]