📊 Add inactivated_at to Dojo model to replace is_active boolean column

[yasulab]

Fix #1373

概要

Issue #1373 を解決するための PR です。

問題

• 現在の is_active: false では いつ非アクティブになったのか? という情報が欠けてしまう
• 結果として、統計情報にある 道場数の推移 グラフの一部がやや不明瞭なデータになったり、xx年度の時点では、どの地域に oo の Active な Dojo があった という過去の任意の時点でのデータを参照/検証できない

解決策

• is_active ブール値を inactivated_at タイムスタンプに置き換えることで、過去の活動履歴を保持しながら統計を正確に表示できるようにする。
• いつ非アクティブになったのか? という情報は、幸いにも、YAML ファイルに is_active がセットされた情報から git blame でサルベージが可能
• サルベージの実装例: https://github.com/remote-jp/remote-in-japan/blob/main/doc/upsert_data_by_readme.rb#L28-L44

readme.each.with_index(1) do |line, index|
  ...
  # Fetch latest commit info
  latest_commit_id  = `git blame #{readme_path} -L #{index},+1 --porcelain --ignore-revs-file=docs/ignore_revs.txt`.strip.lines[0].split.first
  latest_commit_at  = git.gcommit(latest_commit_id).author_date.strftime('%Y-%m-%d %H:%M:%S %z')
  latest_commit_day = git.gcommit(latest_commit_id).author_date.strftime('%Y-%m-%d')
  latest_commit_url = 'https://github.com/remote-jp/remote-in-japan/commit/' + latest_commit_id
  ...

これにより、例えば「2018年時点で関東地方に存在していたDojo一覧」のような過去の任意時点でのデータを正確に取得できるようになります。 🗾📊✨

📍 現在の実装状況

✅ Phase 1: 基盤整備（完了）

• データベースマイグレーション（inactivated_at カラム追加、note カラムの型変更）
• Dojoモデルの更新（active_at スコープ、reactivate! メソッドなど）
• 基本的なテストの追加
• 既存機能への影響なし（追加型の実装）

✅ Phase 2: YAMLサポートと統計ロジック（完了）

• dojos:update_db_by_yaml タスクへの inactivated_at サポート追加（1行追加で実装）
• Git履歴から inactivated_at を抽出してYAMLに反映するRakeタスク実装
  • 2フェーズ処理で行番号ずれのバグを修正
  • 冪等性を保証（再実行しても変更なし）
• 全124個の非アクティブDojoに inactivated_at を追加完了

✅ Phase 3: データ移行とテスト（完了）

• Git履歴から自動抽出を実行
• 124個のDojoに inactivated_at を追加（すべて単純な履歴）
• 統計精度が平均24.7%改善見込み
• 包括的なテストを追加：
  • 全ての非アクティブDojoが inactivated_at を持つことを確認
  • 日付の妥当性検証（未来日付でない、created_at以降など）
  • inactivated_at を持つDojoが必ず is_active カラムを持つことを確認

✅ Phase 4: 統計ロジック更新（完了）

• annual_dojos_with_historical_dataメソッドで過去の活動履歴を正確に集計
• 統計精度が大幅改善（例：2018年 98→172道場）
• 全133個のテストが通過
• 実装の冪等性を検証済み

✅ Phase 5: 統計グラフの改善（完了）

• 道場数グラフの「増加数」ラベルの問題を修正
  • 問題：差分計算により負の値が表示されていた
  • 解決：新規開設数を正しく計算する annual_new_dojos_count メソッドを追加
  • ラベルを「増加数」から「開設数」に変更（より意味が明確に）
  • 英語版は「Change」→「New」に変更
• テスト環境の改善
  • テストデータを2012-2024年の全期間に拡張
  • より現実的なデータパターンを使用（COVID影響も再現）
  • 環境独立性を確保（テストDBのみを使用）

⚠️ 重要な発見

db/dojos.yaml がマスターデータであるため：

• DBへの直接変更では不十分（次回の update_db_by_yaml で上書きされる）
• 永続化にはYAMLファイルの更新が必須
• データフロー: YAML → rails dojos:update_db_by_yaml → DB

📊 実装効果

• 統計精度の大幅改善
  • 2018年: 98 → 172道場（+75.5%）
  • 2019年: 126 → 200道場（+58.7%）
  • 2020年: 148 → 222道場（+50.0%）
• グラフ表示の改善
  • 「開設数」が常に0以上の値を表示（論理的に正しい）
  • 過去の道場数推移をより正確に反映

Action List

• 実装計画ドキュメントを追加 34b5ab7 92f35c9 d16ae98
• 実装前の統計データ記録 fdd31df
• inactivated_at カラムと基本機能の実装 3c24c7b
  • データベースマイグレーション（inactivated_at カラム追加）
  • note カラムの型変更（string → text）
  • モデルメソッドとスコープの追加（active_at, reactivate! など）
  • 基本的なテストの追加
• YAMLマスターデータを考慮した計画更新 92f35c9
• dojos:update_db_by_yaml タスクへの inactivated_at サポート追加 11c3d41
• Git履歴から inactivated_at を抽出してYAMLに反映するRakeタスク実装 03997a9 047db74 2832230
• 全124個の非アクティブDojoへのデータ移行 5a548c7
• YAMLデータ整合性のテスト追加 884afec 38ff377
• 統計ロジックの更新（active_at スコープを使用） 521cce6
• 道場数グラフの「開設数」表示修正 646d318 2505fcf 54e4bdd 0c95b47
• 動作確認とベースラインとの比較 - 統計精度が大幅改善

やらないこと

• 複数の活動期間を持つ Dojo の場合は、一旦、最も新しい in-activated された日付を登録する
  • 複数の活動期間を持つ例: Dojo 登録 → in-active -> re-activated -> in-activated again
  • 具体的なデータ例: CoderDojo 渋谷
    1. 86dd87a
    2. 6de6674
    3. 4ca0734
  • 上記のような特殊なデータ処理が必要なケースは、本PRでは対応せず、一旦 db/dojos.yaml の note カラムに記載して、当該 Dojo の統計データの対応は別途 PR で対応する
  • 複数の活動期間を持つ Dojo も、それぞれの活動/非活動期間が統計データに反映されるようにする #1730

🧪 テスト方法

# モデルテストの実行
bundle exec rspec spec/models/dojo_spec.rb -e "inactivated_at"
bundle exec rspec spec/models/stat_spec.rb

# 統計の変化確認（実装後）
rails runner "
  (2012..2024).each do |year|
    date = Time.zone.local(year).end_of_year
    count = Dojo.active_at(date).sum(:counter)
    puts \"#{year}: #{count} dojos\"
  end
"

# グラフデータの確認
rails runner "
  stat = Stat.new(Date.new(2018, 1, 1)..Date.new(2024, 12, 31))
  new_data = stat.annual_new_dojos_count
  new_data.each { |year, count| puts \"#{year}: #{count} new dojos\" }
"

📚 関連ドキュメント

• 詳細な実装計画: doc/plan_inactivated_at_column.md
• ベースライン統計: doc/log_baseline_stats_before_inactivated_at.md

関連

• Dojo モデルに inactived_at を追加し、より正確な統計情報にする #1373
• 複数の活動期間を持つ Dojo も、それぞれの活動/非活動期間が統計データに反映されるようにする #1730
• 📊 Cont'd: Add inactivated_at to Dojo model to replace is_active boolean column (#1726) #1731
• 📥 Enable to download Dojo stats as CSV for specific year #1732

[yasulab]

統計データ周りも大体仕上がったので、一旦ココらでマージ＆デプロイします！何かあれば随時追加で修正します...!! 🚀✨

[yasulab]

Forgot to git push these commits... 🙈💦 #1731