Merge branch 'backend_kume' into develop

Author: Soki0909

hardware/rpi_server/src/mqtt/event_mapper.py

@@ -267,7 +267,8 @@ def map_event_to_mqtt(
             # action == "start" or "shot"
             mqtt_commands = cls.EVENT_MAP.get(key, [])
 
-        if not mqtt_commands:
+        # キャプションイベントの場合は警告を出さない（MQTTコマンドなし）
+        if not mqtt_commands and action != "caption":
             logger.warning(
                 f"未マップイベント: effect={effect}, mode={mode}, action={action}"
             )

hardware/rpi_server/src/server/app.py

@@ -24,7 +24,19 @@ def __init__(
         timeline_processor=None,
         mqtt_client=None
     ):
-        self.app = Flask(__name__, template_folder='../../templates', static_folder='../../static')
+        # 絶対パスでtemplates/staticディレクトリを指定
+        base_dir = Path(__file__).resolve().parent.parent.parent
+        template_dir = base_dir / 'templates'
+        static_dir = base_dir / 'static'
+        
+        logger.info(f"Flask template_folder: {template_dir}")
+        logger.info(f"Flask static_folder: {static_dir}")
+        
+        self.app = Flask(
+            __name__,
+            template_folder=str(template_dir),
+            static_folder=str(static_dir)
+        )
         CORS(self.app)
 
         self.device_manager = device_manager

hardware/rpi_server/src/timeline/processor.py

@@ -83,6 +83,26 @@ def update_current_time(self, current_time: float) -> None:
         Args:
             current_time: 現在時刻（秒）
         """
+        # シーク検出（時刻が1秒以上後退した場合、または大きく前進した場合）
+        time_diff = current_time - self.current_time
+        
+        if time_diff < -1.0:
+            # 巻き戻し
+            logger.info(
+                f"⏪ シーク検出（巻き戻し）: {self.current_time:.2f}s → {current_time:.2f}s, "
+                f"クールダウンをリセット"
+            )
+            self.effect_cooldowns.clear()
+            # 巻き戻した先のイベントを再実行できるようにlast_processed_timeもリセット
+            self.last_processed_time = current_time - 1.0
+        elif time_diff > 5.0:
+            # 大きく前進（シーク先送り）
+            logger.info(
+                f"⏩ シーク検出（先送り）: {self.current_time:.2f}s → {current_time:.2f}s, "
+                f"クールダウンをリセット"
+            )
+            self.effect_cooldowns.clear()
+        
         self.current_time = current_time
 
         if not self.is_playing:
@@ -164,9 +184,22 @@ def _execute_event(self, event: Dict) -> None:
         """
         try:
             event_time = event.get("t", 0)
-            effect = event.get("effect", "unknown")
+            effect = event.get("effect", "")
             mode = event.get("mode", "")
             action = event.get("action", "start")
+            caption_text = event.get("text", "")
+            
+            # キャプションイベントの場合は専用ログ出力
+            if action == "caption":
+                logger.info(
+                    f"💬 キャプション: t={event_time}, text=\"{caption_text}\""
+                )
+                # キャプションはMQTTコマンドに変換しないのでここで終了
+                return
+            
+            # effectがない場合はunknownとする
+            if not effect:
+                effect = "unknown"
 
             # クールダウンチェック
             if effect in self.cooldown_durations:
@@ -179,7 +212,16 @@ def _execute_event(self, event: Dict) -> None:
                     last_executed_time = self.effect_cooldowns.get(effect, -999.0)
                     time_since_last = self.current_time - last_executed_time
 
-                    if time_since_last < cooldown_duration:
+                    # シーク等で時刻が巻き戻った場合はクールダウンをリセット
+                    if time_since_last < 0:
+                        logger.debug(
+                            f"⏪ 時刻巻き戻り検出: effect={effect}, "
+                            f"last={last_executed_time:.2f}s → current={self.current_time:.2f}s, "
+                            f"クールダウンリセット"
+                        )
+                        # クールダウンを解除（次の実行を許可）
+                        del self.effect_cooldowns[effect]
+                    elif time_since_last < cooldown_duration:
                         remaining = cooldown_duration - time_since_last
                         logger.info(
                             f"⏸️  イベントスキップ（クールダウン中）: t={event_time}, effect={effect}, "

hardware/rpi_server/test_caption_logging.py

@@ -0,0 +1,146 @@
+"""
+キャプションイベントのログ出力テスト
+"""
+
+import sys
+import logging
+from pathlib import Path
+
+# プロジェクトルートをパスに追加
+sys.path.insert(0, str(Path(__file__).parent))
+
+from src.timeline.processor import TimelineProcessor
+from src.mqtt.event_mapper import EventToMQTTMapper
+
+# ログ設定
+logging.basicConfig(
+    level=logging.INFO,
+    format='%(asctime)s - %(name)s - %(levelname)s - %(message)s'
+)
+
+
+def test_caption_event_logging():
+    """キャプションイベントのログ出力テスト"""
+    print("=" * 70)
+    print("キャプションイベントのログ出力テスト")
+    print("=" * 70)
+    
+    executed_events = []
+    
+    def callback(event):
+        executed_events.append(event)
+    
+    processor = TimelineProcessor(on_event_callback=callback)
+    
+    # タイムラインロード（キャプション + 水しぶき）
+    processor.load_timeline({
+        "events": [
+            {
+                "t": 0,
+                "action": "caption",
+                "text": "オープニングシーン。静寂の中、物語が始まる。"
+            },
+            {
+                "t": 5.0,
+                "effect": "vibration",
+                "mode": "down_weak",
+                "action": "start"
+            },
+            {
+                "t": 10.0,
+                "action": "caption",
+                "text": "カメラが川面を捉える。穏やかな水の流れ。"
+            },
+            {
+                "t": 15.0,
+                "effect": "water",
+                "mode": "burst",
+                "action": "shot"
+            },
+            {
+                "t": 36.0,
+                "action": "caption",
+                "text": "球体が川面に激突し、巨大な水しぶきを上げる。激しい衝撃音が聞こえてきそうだ。"
+            },
+            {
+                "t": 36.0,
+                "effect": "water",
+                "mode": "burst",
+                "action": "shot"
+            }
+        ]
+    })
+    
+    processor.start_playback()
+    
+    print("\n--- 時刻0秒: キャプションイベント ---")
+    processor.update_current_time(0.0)
+    
+    print("\n--- 時刻5秒: 振動イベント ---")
+    processor.update_current_time(5.0)
+    
+    print("\n--- 時刻10秒: キャプションイベント ---")
+    processor.update_current_time(10.0)
+    
+    print("\n--- 時刻15秒: 水しぶきイベント ---")
+    processor.update_current_time(15.0)
+    
+    print("\n--- 時刻36秒: キャプション + 水しぶきイベント ---")
+    processor.update_current_time(36.0)
+    
+    # キャプションはコールバックされない（MQTTコマンドなし）
+    print(f"\n実行されたイベント数: {len(executed_events)}")
+    print("期待値: 3イベント（振動1 + 水2）")
+    
+    assert len(executed_events) == 3, f"Expected 3 events, got {len(executed_events)}"
+    print("✅ キャプションはコールバックされず、エフェクトのみ実行される")
+    
+    print("\n✅ テスト合格\n")
+
+
+def test_caption_event_mapper():
+    """キャプションイベントのマッピングテスト（警告が出ないこと）"""
+    print("=" * 70)
+    print("キャプションイベントのマッピングテスト")
+    print("=" * 70)
+    
+    # キャプションイベント
+    caption_event = {
+        "t": 10,
+        "action": "caption",
+        "text": "テストキャプション"
+    }
+    
+    print("\n--- キャプションイベントを処理 ---")
+    mqtt_commands = EventToMQTTMapper.process_timeline_event(caption_event)
+    
+    print(f"MQTTコマンド数: {len(mqtt_commands)}")
+    print("期待値: 0個（キャプションはMQTTコマンドなし）")
+    
+    assert len(mqtt_commands) == 0, f"Expected 0 MQTT commands, got {len(mqtt_commands)}"
+    print("✅ キャプションは警告なくスキップされる")
+    
+    print("\n✅ テスト合格\n")
+
+
+if __name__ == "__main__":
+    try:
+        test_caption_event_logging()
+        test_caption_event_mapper()
+        
+        print("=" * 70)
+        print("🎉 全テスト合格！キャプション表示が改善されました")
+        print("=" * 70)
+        print("\n期待されるログ出力:")
+        print("💬 キャプション: t=0, text=\"オープニングシーン。静寂の中、物語が始まる。\"")
+        print("💬 キャプション: t=10, text=\"カメラが川面を捉える。穏やかな水の流れ。\"")
+        print("💬 キャプション: t=36, text=\"球体が川面に激突し、巨大な水しぶきを上げる。激しい衝撃音が聞こえてきそうだ。\"")
+    
+    except AssertionError as e:
+        print(f"\n❌ テスト失敗: {e}")
+        sys.exit(1)
+    except Exception as e:
+        print(f"\n❌ エラー: {e}")
+        import traceback
+        traceback.print_exc()
+        sys.exit(1)