与 celery 同时使用存在问题

[lolocoo]

[hzkitty]

多进程 PDF 转图片的问题，在下个版本修复，先使用覆盖源码修复，不使用多进程，在引入rapid_doc前覆盖

from rapid_doc.utils import check_sys_env
def is_windows_environment() -> bool:
    return True
check_sys_env.is_windows_environment = is_windows_environment

[lolocoo]

覆盖修复后，又出现这个问题。0.3.0 好像没有这个问题。

[lolocoo]

表格解析的准确度也不如上一个版本了。

[hzkitty]

覆盖修复后，又出现这个问题。0.3.0 好像没有这个问题。

celery、rapid-doc 0.4.0 我在windows和linux上测试正常，你是什么系统，贴下你的代码和启动方式

[hzkitty]

表格解析的准确度也不如上一个版本了。

有问题的表格可以发一下，我测测

[lolocoo]

覆盖修复后，又出现这个问题。0.3.0 好像没有这个问题。

celery、rapid-doc 0.4.0 我在windows和linux上测试正常，你是什么系统，贴下你的代码和启动方式

部署到 linux 服务器上正常，本地 mac 服务调用有问题。

@celery_client.task(queue="rapid_doc_parser")
def rapid_doc_parser(task_id: int, file_type: str, object_key: str):
    try:
        with tempfile.TemporaryDirectory() as temp_dir:
            input_dir = Path(temp_dir) / "input"
            output_dir = Path(temp_dir) / "output"
            input_dir.mkdir()
            output_dir.mkdir()

            doc_path_list = []

            for doc_path in Path(input_dir).glob("*"):
                doc_path_list.append(doc_path)

            parse_doc(doc_path_list, str(output_dir))

    except Exception as e:
        console.log(f"rapid_doc_parser error {e}") 

celery 启动
celery -A app.utils.celery_client worker -Q rapid_doc_parser --loglevel=info

[hzkitty]

覆盖修复后，又出现这个问题。0.3.0 好像没有这个问题。

celery、rapid-doc 0.4.0 我在windows和linux上测试正常，你是什么系统，贴下你的代码和启动方式

部署到 linux 服务器上正常，本地 mac 服务调用有问题。

@celery_client.task(queue="rapid_doc_parser")
def rapid_doc_parser(task_id: int, file_type: str, object_key: str):
try:
with tempfile.TemporaryDirectory() as temp_dir:
input_dir = Path(temp_dir) / "input"
output_dir = Path(temp_dir) / "output"
input_dir.mkdir()
output_dir.mkdir()

        doc_path_list = []

        for doc_path in Path(input_dir).glob("*"):
            doc_path_list.append(doc_path)

        parse_doc(doc_path_list, str(output_dir))

except Exception as e:
    console.log(f"rapid_doc_parser error {e}") 

celery 启动 celery -A app.utils.celery_client worker -Q rapid_doc_parser --loglevel=info

我看日志不是rapid-doc里报的错，像这样简单的任务正不正常

@app.task
def add(x, y):
    return x + y

实在不行，本地启动用 celery -A app.utils.celery_client worker -Q rapid_doc_parser -P solo --loglevel=info

[lolocoo]

简单任务可以， 看似是 openvino 的进程崩溃了。

[hzkitty]

1、打印下check_openvino是true还是false，不使用 celery 是否正常

from rapid_doc.utils.model_utils import check_openvino
print(check_openvino())

2、卸载 openvino 之后是否正常，也打印下check_openvino

[lolocoo]

1、打印下check_openvino是true还是false，不使用 celery 是否正常

from rapid_doc.utils.model_utils import check_openvino
print(check_openvino())

2、卸载 openvino 之后是否正常，也打印下check_openvino

不使用 celery 是正常的 check_openvino 是 true