[feat] Divide Trim Script from Extract Script and Improve Trim Algolithm (#31)

Author: TenTakano

README.md

@@ -1,14 +1,31 @@
 # Char Lab
 
-キャラクターの360度画像を用いて、擬似的に3Dモデル風の表示を実現するソフトウェアです。
+キャラクターの 360 度画像を用いて、擬似的に 3D モデル風の表示を実現するソフトウェアです。
 
 ## 使い方
 
-### 画像の準備
+アプリを release からダウンロードして実行してください。アプリの使用には、キャラクターの 360 度画像が必要です。
+アプリを起動すると歯車が表示されるため、右クリックから「フォルダの選択」を選び、キャラクターの画像が保存されているフォルダを選択してください。選択したフォルダ内の画像が読み込まれ、キャラクターが表示されます。
 
-**既に背景除去済みの画像がある場合は、この手順は不要です。**
+フォルダには、キャラクターの画像が以下のように保存されている必要があります。
 
-背景除去が必要な場合は、以下の手順に従ってスクリプトを実行してください。スクリプトの実行にはPython環境が必要です。推奨Pythonバージョンについては[.tool-versions](./.tool-versions)をご確認ください。
+- ファイル名の先頭に連番が割り振られていること
+  - （連番に基づいて画像が並び替えられます）
+- 画像の拡張子が `.png`, `.jpg`, `.jpeg`, `.webp`, `.gif` のいずれかであること
+- 画像のサイズが同一であること
+  - （サイズが異なる場合、アプリの表示が崩れる可能性があります）
+- 画像の背景が透明であること
+  - （動作に影響はありませんが、背景が除去されていない場合は背景も一緒に表示されます）
+- 最初の画像と最後の画像がつながるようになっていること
+  - アプリ側で表示範囲の調整は行っていません。先頭と終端の画像がつながるようにフォルダ内に含める画像を調整してください。
+
+## 使用画像の前処理
+
+### 画像背景の除去
+
+**既に背景除去済みの画像がある場合、背景除去が不要な場合はこの手順は不要です。**
+
+背景除去が必要な場合は、以下の手順に従ってスクリプトを実行してください。スクリプトの実行には Python 環境が必要です。推奨 Python バージョンについては[.tool-versions](./.tool-versions)をご確認ください。
 
 背景除去は機械学習モデルを利用して行います。そのため、出力結果が完璧でない場合や、再実行により結果が変わる可能性があります。より良い結果を得るためには、以下の条件を満たす画像の使用が望ましいです。
 
@@ -18,7 +35,7 @@
 
 #### 環境セットアップ
 
-Pythonの実行環境には、Poetryで作成される仮想環境を利用します。
+Python の実行環境には、Poetry で作成される仮想環境を利用します。
 
 ```bash
 $ cd ./pre_process
@@ -41,6 +58,33 @@ $ poetry run python ./extract.py /path/to/input /path/to/output
 ```
 
 入力パスと出力パスには、各環境に合わせた適切なパスを指定してください。  
-入力パスにはファイルまたはディレクトリを指定できます。ディレクトリを指定した場合、対象はディレクトリ内のすべての画像となり、ディレクトリ構造を反映して出力されます。ファイルを指定した場合は、単一の画像が処理され、出力は指定されたディレクトリの直下に保存されます。  
+入力パスにはファイルまたはディレクトリを指定できます。ディレクトリを指定した場合、対象はディレクトリ内のすべての画像となり、ディレクトリ構造を反映して出力されます。ファイルを指定した場合は、単一の画像が処理され、出力は指定されたディレクトリの直下に保存されます。
 
 出力先ディレクトリが存在しない場合は自動的に作成されます。既にディレクトリが存在し、かつファイルがある場合や、指定パスがファイルの場合は警告が表示され、続行するか確認が求められます。続行後、同名のファイルがある場合は上書きされます。
+
+### 画像のトリミング
+
+アプリでは背景を透明で描画するため、画像のトリミングを行わない場合、画像の周囲に余白が残るためウィジェットのサイズが見た目よりも大きくなります。
+トリミングを行うことで、画像の周囲の余白を削除し、ウィジェットのサイズを適切に調整できます。
+**アプリの使用前にトリミングを行うことを強く推奨します。**
+
+#### 環境セットアップ
+
+[画像背景の除去](./README.md#画像背景の除去)と同様に、Poetry で仮想環境をセットアップします。
+操作方法は[画像背景の除去](./README.md#画像背景の除去)の環境セットアップの手順を参照してください。
+
+#### スクリプトの実行
+
+画像のトリミングは `./pre_process/trim.py` を以下のコマンドで実行できます。
+
+```bash
+$ poetry run python ./trim.py {画像ファイルまたはディレクトリのパス} {出力先ディレクトリのパス}
+```
+
+たとえば、`/path/to/input` にある画像をトリミングし、結果を `/path/to/output` に出力する場合は、次のように実行します。
+
+```bash
+$ poetry run python ./trim.py /path/to/input /path/to/output
+```
+
+入力パスと出力パスの指定方法は、[画像背景の除去](./README.md#画像背景の除去)と同様です。

pre_process/extract.py

@@ -4,68 +4,56 @@
 from rembg import new_session, remove
 from PIL import Image
 
+
 def parse_args():
     p = argparse.ArgumentParser(
         description="Extract the foreground from an image and save it to a new file. Accepts a file or a directory (processes recursively)."
     )
     p.add_argument(
-        "input_file",
-        type=Path,
-        help="Path to the input image file or directory."
-    )
-    p.add_argument(
-        "output_dir",
-        type=Path,
-        help="Path to the output directory."
+        "input_file", type=Path, help="Path to the input image file or directory."
     )
+    p.add_argument("output_dir", type=Path, help="Path to the output directory.")
     p.add_argument(
         "--model",
         default="isnet-anime",
-        help="Model to use for foreground extraction (default: isnet-anime). See rembg documentation for available models. (https://github.com/danielgatis/rembg?tab=readme-ov-file#models)"
+        help="Model to use for foreground extraction (default: isnet-anime). See rembg documentation for available models. (https://github.com/danielgatis/rembg?tab=readme-ov-file#models)",
     )
     p.add_argument(
         "--angle",
         type=float,
         default=-90,
-        help="Angle for image rotation (default: -90)."
+        help="Angle for image rotation (default: -90).",
     )
     return p.parse_args()
 
+
 def extract_foreground(img_bytes, model):
     print(f"Extracting foreground using model: {model}")
     session = new_session(model)
     return remove(img_bytes, session=session)
 
-def trim_and_rotate(image, angle, alpha_threshold=10):
+
+def rotate(image, angle):
     img = Image.open(io.BytesIO(image)).convert("RGBA")
     rotated = img.rotate(angle, expand=True)
 
-    alpha = rotated.getchannel("A")
-    mask = alpha.point(lambda a: 255 if a > alpha_threshold else 0)
-    bbox = mask.getbbox()
-
-    if bbox is None:
-        print("Warning: Could not detect non-transparent area. Cropping will not be applied.")
-        cropped = rotated
-    else:
-        cropped = rotated.crop(bbox)
-        print(f"Image Cropped and Rotated. Original size: {img.size}, New size: {cropped.size}")
-
     with io.BytesIO() as buffer:
-        cropped.save(buffer, format="PNG")
+        rotated.save(buffer, format="PNG")
         return buffer.getvalue()
 
+
 def process_file(file, model, angle):
     try:
         img_bytes = file.read_bytes()
         foreground = extract_foreground(img_bytes, model=model)
-        result = trim_and_rotate(foreground, angle=angle)
+        result = rotate(foreground, angle=angle)
         print(f"Processed {file}: completed processing.")
         return result
     except Exception as e:
         print(f"Failed to process file {file}: {e}")
         return None
 
+
 def main():
     args = parse_args()
     input_path = args.input_file
@@ -77,13 +65,17 @@ def main():
 
     if output_dir.exists():
         if not output_dir.is_dir():
-            ans = input(f"{output_dir} exists and is not a directory. Do you want to continue? (y/n): ")
-            if ans.lower() != 'n':
+            ans = input(
+                f"{output_dir} exists and is not a directory. Do you want to continue? (y/n): "
+            )
+            if ans.lower() != "n":
                 exit("Aborted by user.")
         else:
             if any(output_dir.iterdir()):
-                ans = input(f"{output_dir} is not empty. Do you want to continue? (y/n): ")
-                if ans.lower() != 'n':
+                ans = input(
+                    f"{output_dir} is not empty. Do you want to continue? (y/n): "
+                )
+                if ans.lower() != "n":
                     exit("Aborted by user.")
 
     output_dir.mkdir(parents=True, exist_ok=True)
@@ -117,5 +109,6 @@ def main():
 
     print(f"\nProcessing completed. Success: {success_count}, Failed: {failed_count}")
 
+
 if __name__ == "__main__":
     main()

pre_process/poetry.lock

@@ -9,7 +9,8 @@ readme = "README.md"
 requires-python = ">=3.13,<3.14"
 dependencies = [
     "rembg (>=2.0.65,<3.0.0)",
-    "onnxruntime (>=1.21.1,<2.0.0)"
+    "onnxruntime (>=1.21.1,<2.0.0)",
+    "np (>=1.0.2,<2.0.0)"
 ]
 
 

pre_process/pyproject.toml

@@ -0,0 +1,90 @@
+#!/usr/bin/env python3
+import os
+import sys
+import argparse
+from pathlib import Path
+from PIL import Image
+import numpy as np
+
+
+def parse_args():
+    p = argparse.ArgumentParser(
+        description="Trim the foreground from images in a directory and save them to a new directory. Accepts a directory of images."
+    )
+    p.add_argument(
+        "input_path", type=Path, help="Path to the input image file or directory."
+    )
+    p.add_argument("output_dir", type=Path, help="Path to the output directory.")
+    return p.parse_args()
+
+
+def get_foreground_bbox(file, alpha_threshold=10):
+    with Image.open(file) as image:
+        image = image.convert("RGBA")
+        np_image = np.array(image)
+        alpha = np_image[..., 3]
+        mask = alpha > alpha_threshold
+
+    coords = np.argwhere(mask)
+    y0, x0 = coords.min(axis=0)
+    y1, x1 = coords.max(axis=0)
+    print(f"Foreground bounding box for {file}: ({x0}, {y0}, {x1}, {y1})")
+    return (x0, y0, x1 + 1, y1 + 1)
+
+
+def calc_union_bbox(bboxes):
+    x0 = min([bbox[0] for bbox in bboxes])
+    y0 = min([bbox[1] for bbox in bboxes])
+    x1 = max([bbox[2] for bbox in bboxes])
+    y1 = max([bbox[3] for bbox in bboxes])
+    return (x0, y0, x1, y1)
+
+
+def main():
+    args = parse_args()
+    input_path = args.input_path
+    output_dir = args.output_dir
+
+    if not input_path.exists():
+        print(f"Input {input_path} does not exist.")
+        return
+
+    if output_dir.exists():
+        if not output_dir.is_dir():
+            ans = input(
+                f"{output_dir} exists and is not a directory. Do you want to continue? (y/n): "
+            )
+            if ans.lower() != "n":
+                exit("Aborted by user.")
+        else:
+            if any(output_dir.iterdir()):
+                ans = input(
+                    f"{output_dir} is not empty. Do you want to continue? (y/n): "
+                )
+                if ans.lower() != "n":
+                    exit("Aborted by user.")
+
+    output_dir.mkdir(parents=True, exist_ok=True)
+
+    files_to_process = []
+    if input_path.is_dir():
+        files_to_process = [f for f in input_path.rglob("*") if f.is_file()]
+    else:
+        files_to_process = [input_path]
+
+    union_bbox = calc_union_bbox(
+        [get_foreground_bbox(file) for file in files_to_process]
+    )
+    print(f"Union bounding box: {union_bbox}")
+
+    for file in files_to_process:
+        with Image.open(file) as image:
+            trimmed_image = image.crop(union_bbox)
+            output_filename = f"{file.stem}_trimmed{file.suffix}"
+            output_path = output_dir / output_filename
+            trimmed_image.save(output_path)
+            print(f"Trimmed image saved to {output_path}")
+
+
+if __name__ == "__main__":
+    main()