添加日志

Author: shell-nlp

gpt_server/serving/main.py

@@ -4,6 +4,7 @@
 import ray
 from dotenv import load_dotenv
 from loguru import logger
+import json
 
 load_dotenv()
 os.environ["OPENBLAS_NUM_THREADS"] = (
@@ -41,6 +42,7 @@
 # print(config)
 def main():
     # ----------------------------启动 Controller 和 Openai API 服务----------------------------------------
+    logger.info(f"config:\n{json.dumps(config,ensure_ascii=False,indent=2)}")
     start_api_server(config=config)
     # ----------------------------启动 Model Worker 服务----------------------------------------------------
     start_model_worker(config=config)

tests/test_image_gen.py

@@ -6,11 +6,13 @@
 ## response_format = "url"    默认为 url
 prompt = "身着粉色汉服、精致刺绣的中国年轻女子。无可挑剔的妆容，额头上的红色花卉图案。精致的高髻，金凤头饰，红花，珠子。持有圆形折扇，上面有女士、树木、鸟。霓虹灯闪电灯（⚡️），明亮的黄色光芒，位于伸出的左手掌上方。室外夜景柔和，剪影的西安大雁塔，远处的七彩灯光模糊。"
 model = "z_image"
-img = client.images.generate(
-    model=model, prompt=prompt, response_format="url", size="1664x928"
-)
-print(img.data[0])
-# response_format = "b64_json"
+# 1. 使用 url 格式输出（使用的话，请解开注释）
+# img = client.images.generate(
+#     model=model, prompt=prompt, response_format="url", size="1664x928"
+# )
+# print(img.data[0])
+# 2. 使用 b64_json 格式输出
+response_format = "b64_json"
 img = client.images.generate(model=model, prompt=prompt, response_format="b64_json")
 image_bytes = base64.b64decode(img.data[0].b64_json)
 with open("output.png", "wb") as f: