同步主版本

Author: weidqi

.gitignore

@@ -36,6 +36,7 @@ build/
 cmake-build-debug/
 cmake-build-debug-visual-studio/
 .idea/
+.claude/
 html/
 latex/
 .vscode

orm_lib/src/duckdb_impl/DuckdbConnection.cc

@@ -1,7 +1,7 @@
 /**
  *
  *  @file DuckdbConnection.cc
- *  @author An Tao
+ *  @author Dq Wei
  *
  *  Copyright 2018, An Tao.  All rights reserved.
  *  https://github.com/an-tao/drogon
@@ -35,21 +35,30 @@ void DuckdbConnection::onError(
     const char *errorMessage)
 {
     // DuckDB 错误处理
+    // 创建 SqlError 异常并通过回调传递
     auto exceptPtr = std::make_exception_ptr(
         SqlError(errorMessage ? errorMessage : "Unknown DuckDB error",
                  std::string{sql}));
     exceptCallback(exceptPtr);
 }
 
+/**
+ * @brief Construct a new Duckdb Connection:: Duckdb Connection object
+ * 
+ * @param loop 
+ * @param connInfo 连接字符串
+ * @param sharedMutex 
+ * @param configOptions 配置参数
+ */
 DuckdbConnection::DuckdbConnection(
     trantor::EventLoop *loop,
     const std::string &connInfo,
     const std::shared_ptr<SharedMutex> &sharedMutex,
-    const std::unordered_map<std::string, std::string> &configOptions)  // 新增配置参数支持 [dq 2025-11-19]
+    const std::unordered_map<std::string, std::string> &configOptions)  // 新增配置参数支持 [dq 2025-11-21]
     : DbConnection(loop),
       sharedMutexPtr_(sharedMutex),
       connInfo_(connInfo),
-      configOptions_(configOptions)  // 存储配置选项 [dq 2025-11-19]
+      configOptions_(configOptions)  // 存储配置选项 [dq 2025-11-21]
 {
 }
 
@@ -76,6 +85,7 @@ void DuckdbConnection::init()
         }
     }
 
+    // 在事件循环线程中初始化 DuckDB 数据库连接
     loop_->runInLoop([this, filename = std::move(filename)]() {
         duckdb_database db;
         duckdb_config config;
@@ -166,6 +176,17 @@ void DuckdbConnection::init()
     });
 }
 
+/**
+ * @brief 执行 SQL 语句（异步）
+ * 
+ * @param sql SQL 语句 
+ * @param paraNum 参数数量
+ * @param parameters 参数值
+ * @param length 
+ * @param format 
+ * @param rcb 
+ * @param exceptCallback 
+ */
 void DuckdbConnection::execSql(
     std::string_view &&sql,
     size_t paraNum,
@@ -190,6 +211,17 @@ void DuckdbConnection::execSql(
         });
 }
 
+/**
+ * @brief 
+ * 
+ * @param sql 
+ * @param paraNum 
+ * @param parameters 
+ * @param length 
+ * @param format 
+ * @param rcb 
+ * @param exceptCallback 
+ */
 void DuckdbConnection::execSqlInQueue(
     const std::string_view &sql,
     size_t paraNum,
@@ -325,7 +357,7 @@ std::shared_ptr<DuckdbResultImpl> DuckdbConnection::stmtExecute(
         return nullptr;
     }
 
-    // 创建智能指针，自定义删除器调用 duckdb_destroy_result
+    // 创建智能指针，删除器调用 duckdb_destroy_result must call！
     auto resultShared = std::shared_ptr<duckdb_result>(
         rawResult,
         [](duckdb_result *ptr) {
@@ -347,6 +379,142 @@ std::shared_ptr<DuckdbResultImpl> DuckdbConnection::stmtExecute(
     return std::make_shared<DuckdbResultImpl>(resultShared, rowCount, insertId);
 }
 
+
+
+/**
+ * @brief 批量执行 SQL 语句（入口方法）
+ *
+ * @param sqlCommands SQL 命令队列
+ */
+void DuckdbConnection::batchSql(std::deque<std::shared_ptr<SqlCmd>> &&sqlCommands)
+{
+    auto thisPtr = shared_from_this();
+    loopThread_.getLoop()->queueInLoop(
+        [thisPtr, sqlCommands = std::move(sqlCommands)]() mutable {
+            thisPtr->batchSqlCommands_ = std::move(sqlCommands);
+            thisPtr->executeBatchSql();
+        });
+}
+
+/**
+ * @brief 执行批量 SQL 的主逻辑
+ */
+void DuckdbConnection::executeBatchSql()
+{
+    loop_->assertInLoopThread();
+
+    if (batchSqlCommands_.empty())
+    {
+        idleCb_();
+        return;
+    }
+
+    // 标记为工作中
+    isWorking_ = true;
+
+    // 逐个处理每个命令
+    while (!batchSqlCommands_.empty())
+    {
+        auto cmd = batchSqlCommands_.front();
+        executeSingleBatchCommand(cmd);
+        batchSqlCommands_.pop_front();
+    }
+
+    // 完成所有批处理
+    isWorking_ = false;
+    idleCb_();
+}
+
+/**
+ * @brief 执行单个批量 SQL 命令
+ *
+ * @param cmd SQL 命令对象
+ */
+void DuckdbConnection::executeSingleBatchCommand(
+    const std::shared_ptr<SqlCmd> &cmd)
+{
+    LOG_TRACE << "DuckDB batch sql:" << cmd->sql_;
+
+    // case1：无参数的 SQL，使用 duckdb_extract_statements
+    if (cmd->parametersNumber_ == 0)
+    {
+        duckdb_extracted_statements extracted;
+        idx_t count = duckdb_extract_statements(
+            *connectionPtr_,
+            cmd->sql_.data(),
+            &extracted);
+
+        if (count == 0)
+        {
+            // 提取失败
+            const char *error = duckdb_extract_statements_error(extracted);
+            onError(cmd->sql_, cmd->exceptionCallback_, error);
+            duckdb_destroy_extracted(&extracted);
+            return;
+        }
+
+        // 执行提取的语句
+        for (idx_t i = 0; i < count; ++i)
+        {
+            duckdb_prepared_statement stmt;
+            if (duckdb_prepare_extracted_statement(
+                    *connectionPtr_, extracted, i, &stmt) == DuckDBError)
+            {
+                const char *error = duckdb_prepare_error(stmt);
+                onError(cmd->sql_, cmd->exceptionCallback_, error);
+                duckdb_destroy_prepare(&stmt);
+                continue;
+            }
+
+            // 执行语句
+            auto rawResult = new duckdb_result();
+            auto state = duckdb_execute_prepared(stmt, rawResult);
+
+            if (state == DuckDBError)
+            {
+                const char *error = duckdb_result_error(rawResult);
+                onError(cmd->sql_, cmd->exceptionCallback_,
+                       error ? error : "Unknown execution error");
+                duckdb_destroy_result(rawResult);
+                delete rawResult;
+                duckdb_destroy_prepare(&stmt);
+                continue;
+            }
+
+            // 成功，创建结果并调用回调
+            auto resultShared = std::shared_ptr<duckdb_result>(
+                rawResult,
+                [](duckdb_result *ptr) {
+                    if (ptr)
+                    {
+                        duckdb_destroy_result(ptr);
+                        delete ptr;
+                    }
+                });
+
+            idx_t rowCount = duckdb_row_count(rawResult);
+            auto result = std::make_shared<DuckdbResultImpl>(
+                resultShared, rowCount, 0);
+            cmd->callback_(Result(result));
+
+            duckdb_destroy_prepare(&stmt);
+        }
+
+        duckdb_destroy_extracted(&extracted);
+    }
+    else
+    {
+        // case 2：有参数的 SQL，使用现有的预编译逻辑
+        execSqlInQueue(cmd->sql_,
+                      cmd->parametersNumber_,
+                      cmd->parameters_,
+                      cmd->lengths_,
+                      cmd->formats_,
+                      cmd->callback_,
+                      cmd->exceptionCallback_);
+    }
+}
+
 void DuckdbConnection::disconnect()
 {
     std::promise<int> pro;

orm_lib/src/duckdb_impl/DuckdbConnection.h

@@ -1,7 +1,7 @@
 /**
  *
  *  @file DuckdbConnection.h
- *  @author An Tao
+ *  @author Dq Wei
  *
  *  Copyright 2018, An Tao.  All rights reserved.
  *  https://github.com/an-tao/drogon
@@ -56,11 +56,7 @@ class DuckdbConnection : public DbConnection,
                  std::function<void(const std::exception_ptr &)>
                      &&exceptCallback) override;
 
-    void batchSql(std::deque<std::shared_ptr<SqlCmd>> &&) override
-    {
-        LOG_FATAL << "DuckDB does not support batch mode yet";
-        exit(1);
-    }
+    void batchSql(std::deque<std::shared_ptr<SqlCmd>> &&sqlCommands) override;
 
     void disconnect() override;
 
@@ -84,6 +80,10 @@ class DuckdbConnection : public DbConnection,
     std::shared_ptr<DuckdbResultImpl> stmtExecute(
         duckdb_prepared_statement stmt);
 
+    // 批量 SQL 执行辅助方法 [dq 2025-11-21]
+    void executeBatchSql();
+    void executeSingleBatchCommand(const std::shared_ptr<SqlCmd> &cmd);
+
     trantor::EventLoopThread loopThread_;
 
     // DuckDB 数据库和连接句柄
@@ -100,6 +100,9 @@ class DuckdbConnection : public DbConnection,
 
     std::string connInfo_;
     std::unordered_map<std::string, std::string> configOptions_;  // DuckDB配置选项 [dq 2025-11-19]
+
+    // 批量 SQL 命令队列 [dq 2025-11-21]
+    std::deque<std::shared_ptr<SqlCmd>> batchSqlCommands_;
 };
 
 }  // namespace orm

orm_lib/src/duckdb_impl/DuckdbResultImpl.cc

@@ -1,7 +1,7 @@
 /**
  *
- *  DuckdbResultImpl.cc
- *  An Tao
+ *  @file DuckdbResultImpl.cc
+ *  @author Dq Wei
  *
  *  Copyright 2018, An Tao.  All rights reserved.
  *  https://github.com/an-tao/drogon

orm_lib/src/duckdb_impl/DuckdbResultImpl.h

@@ -1,7 +1,7 @@
 /**
  *
- *  DuckdbResultImpl.h
- *  Dq wei
+ *  @file DuckdbResultImpl.h
+ *  @author Dq Wei
  *
  *  Copyright 2025, Dq Wei.  All rights reserved.
  *  https://github.com/an-tao/drogon

orm_lib/src/duckdb_impl/changelog.md

@@ -6,6 +6,25 @@
 - **功能**: 为 Drogon 框架添加 DuckDB 数据库支持
 
 ---
+## 最新更新 (2025-11-22)
+### 功能增强： 实现了 DuckDB 的 batchSql 功能
+**修改的文件**
+1. DuckdbConnection.h
+- 声明了 batchSql() 公开方法
+- 添加了两个私有辅助方法：executeBatchSql() 和 executeSingleBatchCommand()
+- 添加了批量命令队列成员变量 batchSqlCommands_
+2. DuckdbConnection.cc
+- 实现了 batchSql() 入口方法（异步入队）
+- 实现了 executeBatchSql() 主逻辑（批量循环处理）
+- 实现了 executeSingleBatchCommand() 核心方法（使用 duckdb_extract_statements）
+**核心特性**
+- 使用官方 API：采用 duckdb_extract_statements 进行批量语句解析和执行
+- 双路径执行：
+  无参数 SQL：使用 duckdb_extract_statements → 支持多语句字符串
+  有参数 SQL：使用现有的 execSqlInQueue → 支持参数绑定
+- 完善的资源管理：所有 DuckDB 资源都正确清理（extract、prepare、result）
+- 独立的错误处理：每个命令独立处理错误，不影响后续命令
+- 线程安全：在事件循环线程中执行，使用 queueInLoop 确保线程安全
 
 ## 最新更新 (2025-11-19)
 

orm_lib/src/duckdb_impl/readme.md

@@ -1,2 +1,2 @@
 #采用DcukDB C API接口的实现
-DuckDB是强类型的,Sqlite3是弱类型的
+为 Drogon 框架添加 DuckDB 数据库支持