Merge pull request #4741 from telefonicaid/overall-deps-upgrade

FIX upgrade dependencies

Author: AlvaroVega

.github/workflows/codeql.yml

@@ -85,26 +85,26 @@ jobs:
     - if: matrix.build-mode == 'manual'
       shell: bash
       run: |
-        # Ref: https://github.com/telefonicaid/fiware-orion/blob/master/doc/manuals/admin/build_source.md#debian-12-officially-supported
+        # Ref: https://github.com/telefonicaid/fiware-orion/blob/master/doc/manuals/admin/build_source.md#debian-13-officially-supported
         # Ref: https://github.com/telefonicaid/fiware-orion/blob/master/docker/Dockerfile
         export ORION_SRC=$(pwd)
         # Install dependencies
         sudo apt-get update
         sudo apt-get install make cmake g++ libssl-dev libcurl4-openssl-dev libboost-dev libboost-regex-dev libboost-filesystem-dev libboost-thread-dev uuid-dev libgnutls28-dev libsasl2-dev libgcrypt-dev librdkafka-dev zlib1g-dev
         # Install libmicrohttpd from source
         cd /opt
-        curl -kOL https://ftp.gnu.org/gnu/libmicrohttpd/libmicrohttpd-1.0.1.tar.gz
-        tar xvf libmicrohttpd-1.0.1.tar.gz
-        cd libmicrohttpd-1.0.1
+        curl -kOL https://ftp.gnu.org/gnu/libmicrohttpd/libmicrohttpd-1.0.2.tar.gz
+        tar xvf libmicrohttpd-1.0.2.tar.gz
+        cd libmicrohttpd-1.0.2
         ./configure --disable-messages --disable-postprocessor --disable-dauth
         make
         sudo make install
         sudo ldconfig
         # Install mosquitto from source
         cd /opt
-        curl -kOL https://mosquitto.org/files/source/mosquitto-2.0.20.tar.gz
-        tar xvf mosquitto-2.0.20.tar.gz
-        cd mosquitto-2.0.20
+        curl -kOL https://mosquitto.org/files/source/mosquitto-2.0.22.tar.gz
+        tar xvf mosquitto-2.0.22.tar.gz
+        cd mosquitto-2.0.22
         sed -i 's/WITH_CJSON:=yes/WITH_CJSON:=no/g' config.mk
         sed -i 's/WITH_STATIC_LIBRARIES:=no/WITH_STATIC_LIBRARIES:=yes/g' config.mk
         sed -i 's/WITH_SHARED_LIBRARIES:=yes/WITH_SHARED_LIBRARIES:=no/g' config.mk
@@ -113,12 +113,12 @@ jobs:
         sudo ldconfig
         # Install mongodb driver from source
         cd /opt
-        curl -kOL https://github.com/mongodb/mongo-c-driver/releases/download/1.29.0/mongo-c-driver-1.29.0.tar.gz
-        tar xfvz mongo-c-driver-1.29.0.tar.gz
-        cd mongo-c-driver-1.29.0
+        curl -kOL https://github.com/mongodb/mongo-c-driver/releases/download/2.2.1/mongo-c-driver-2.2.1.tar.gz
+        tar xfvz mongo-c-driver-2.2.1.tar.gz
+        cd mongo-c-driver-2.2.1
         mkdir cmake-build
         cd cmake-build
-        cmake -DENABLE_AUTOMATIC_INIT_AND_CLEANUP=OFF -DMONGOC_TEST_USE_CRYPT_SHARED=FALSE ..
+        cmake ..
         make
         sudo make install
         # Install rapidjson from source

CHANGES_NEXT_RELEASE

@@ -1,2 +1,6 @@
 - Fix: kafkaCustom.headers support including the ability to override the default Fiware-Service and Fiware-ServicePath headers (#4726)
-- Add: `jexlExpression` field to subscription conditions (`subject.condition`) (#4555)
+- Add: `jexlExpression` field to subscription conditions (`subject.condition`) (#4555)
+- Hardening: upgrade microhttpd dependency from 1.0.1 to 1.0.2
+- Hardening: upgrade libmongoc dependency from 1.29.0 to 2.2.1
+- Hardening: upgrade libmosquitto dependency from 2.0.20 to 2.0.22
+- Upgrade Debian version from 12.10 to 13.3 in Dockerfile

CMakeLists.txt

@@ -227,9 +227,9 @@ SET (BOOST_MT
 )
 
 # See http://mongoc.org/libmongoc/current/tutorial.html#cmake
-# This find_package() command provides the mongo::mongoc_static used in
-# SET for common static libs. We use 1.29.0 as reference version.
-find_package (mongoc-1.0 1.29.0 EXACT)
+# This find_package() command provides the mongo::mongoc used in
+# SET for common static libs. We use 2.2.1 as reference version.
+find_package (mongoc 2.2.1 EXACT)
 
 # Is cjexl lib available?
 find_library (HAVE_CJEXL cjexl PATHS /usr/lib /usr/lib64 /usr/local/lib64 /usr/local/lib)
@@ -239,15 +239,15 @@ if (HAVE_CJEXL)
         microhttpd.a
         mosquitto.a
         ${HAVE_CJEXL}
-        mongo::mongoc_static
+        mongoc::mongoc
     )
 else (HAVE_CJEXL)
     message("Not using cjexl")
     add_definitions(-DEXPR_BASIC)
     SET (COMMON_STATIC_LIBS
         microhttpd.a
         mosquitto.a
-        mongo::mongoc_static
+        mongoc::mongoc
     )
 endif (HAVE_CJEXL)
 
@@ -285,8 +285,8 @@ include_directories("/usr/include")
 
 # Needed for the new C driver
 include_directories("/usr/include/librdkafka")
-include_directories("/usr/local/include/libmongoc-1.0")
-include_directories("/usr/local/include/libbson-1.0")
+include_directories("/usr/local/include/bson-2.2.1")
+include_directories("/usr/local/include/mongoc-2.2.1")
 
 
 #

ci/README.md

@@ -77,15 +77,15 @@ docker run --network host -ti -v $(pwd):/opt/fiware-orion telefonicaiot/fiware-o
 Once have a bash shell, you can do the same execution:
 
 ```
-root@debian11:/opt# CB_NO_CACHE=ON FT_FROM_IX=1001 build -miqts functional
+root@debian:/opt# CB_NO_CACHE=ON FT_FROM_IX=1001 build -miqts functional
 ```
 
 Alternatively, you can run the `testHarness.sh` script directly (for instance, to execute a single test):
 
 ```
-root@debian11:/opt# . /opt/ft_env/bin/activate
-(ft_env) root@debian11:/opt# cd /opt/fiware-orion/test/functionalTest/
-(ft_env) root@debian11:/opt/fiware-orion/test/functionalTest# ./testHarness.sh cases/3541_subscription_max_fails_limit/mqtt_subscription_without_maxfailslimit_and_failscounter.test
+root@debian:/opt# . /opt/ft_env/bin/activate
+(ft_env) root@debian:/opt# cd /opt/fiware-orion/test/functionalTest/
+(ft_env) root@debian:/opt/fiware-orion/test/functionalTest# ./testHarness.sh cases/3541_subscription_max_fails_limit/mqtt_subscription_without_maxfailslimit_and_failscounter.test
 ```
 
 **NOTE:** the above procedure makes that Orion is compiled using root user. It is advisable to do a recursive owner

ci/deb/Dockerfile

@@ -1,4 +1,4 @@
-FROM debian:12.10-slim
+FROM debian:13.3-slim
 
 ADD build.sh /opt/bin/
 ADD build-dep.sh /opt/bin/

ci/deb/build-dep.sh

@@ -49,7 +49,7 @@ apt-get -y install \
   libsasl2-dev \
   libgcrypt-dev \
   librdkafka-dev \
-  openjdk-17-jre-headless \
+  openjdk-21-jre-headless \
   zlib1g-dev\
   libzstd-dev  \
   liblz4-dev
@@ -68,27 +68,29 @@ echo "INSTALL: python special dependencies" \
 && pip install Werkzeug==2.0.2 \
 && pip install paho-mqtt==1.6.1 \
 && pip install amqtt==0.11.0b1 \
+&& pip install setuptools==80.9.0 \
 && pip install confluent-kafka==2.11.0 \
 && deactivate
 
-# Recommended setting for DENABLE_AUTOMATIC_INIT_AND_CLEANUP, to be removed in 2.0.0
-# see http://mongoc.org/libmongoc/current/init-cleanup.html#deprecated-feature-automatic-initialization-and-cleanup
 echo "INSTALL: mongodb c driver" \
-&& curl -L https://github.com/mongodb/mongo-c-driver/releases/download/1.29.0/mongo-c-driver-1.29.0.tar.gz | tar xzC /opt/ \
-&& cd /opt/mongo-c-driver-1.29.0 \
+&& curl -L https://github.com/mongodb/mongo-c-driver/releases/download/2.2.1/mongo-c-driver-2.2.1.tar.gz | tar xzC /opt/ \
+&& cd /opt/mongo-c-driver-2.2.1 \
 && mkdir cmake-build \
 && cd cmake-build \
-&& cmake -DENABLE_AUTOMATIC_INIT_AND_CLEANUP=OFF .. \
+&& cmake .. \
 && make \
 && make install
 
+# NOTE: the sed line comments a problematic line in /usr/local/include/rapidjson/document.h with GCC14++
+# (it should be solved by rapidjson, see https://github.com/Tencent/rapidjson/issues/2277)
 echo "INSTALL: rapidjson" \
 && curl -L https://github.com/miloyip/rapidjson/archive/v1.1.0.tar.gz | tar xzC /opt/ \
-&& mv /opt/rapidjson-1.1.0/include/rapidjson/ /usr/local/include
+&& mv /opt/rapidjson-1.1.0/include/rapidjson/ /usr/local/include \
+&& sed -i 's/^.*GenericStringRef& operator=(const GenericStringRef& rhs).*$/\/\/&/' /usr/local/include/rapidjson/document.h
 
 echo "INSTALL: libmicrohttpd" \
-&& curl -L https://ftp.gnu.org/gnu/libmicrohttpd/libmicrohttpd-1.0.1.tar.gz | tar xzC /opt/ \
-&& cd /opt/libmicrohttpd-1.0.1  \
+&& curl -L https://ftp.gnu.org/gnu/libmicrohttpd/libmicrohttpd-1.0.2.tar.gz | tar xzC /opt/ \
+&& cd /opt/libmicrohttpd-1.0.2  \
 && ./configure --disable-messages --disable-postprocessor --disable-dauth  \
 && make \
 && make install
@@ -102,8 +104,8 @@ echo "INSTALL: gmock" \
 && make install
 
 echo "INSTALL: mosquitto" \
-&& curl -kL https://mosquitto.org/files/source/mosquitto-2.0.20.tar.gz | tar xzC /opt/ \
-&& cd /opt/mosquitto-2.0.20 \
+&& curl -kL https://mosquitto.org/files/source/mosquitto-2.0.22.tar.gz | tar xzC /opt/ \
+&& cd /opt/mosquitto-2.0.22 \
 && sed -i 's/WITH_CJSON:=yes/WITH_CJSON:=no/g' config.mk \
 && sed -i 's/WITH_STATIC_LIBRARIES:=no/WITH_STATIC_LIBRARIES:=yes/g' config.mk \
 && sed -i 's/WITH_SHARED_LIBRARIES:=yes/WITH_SHARED_LIBRARIES:=no/g' config.mk \
@@ -119,8 +121,8 @@ echo "INSTALL: Kafka" \
 ldconfig
 
 apt-get -y clean \
-&& rm -Rf /opt/mongo-c-driver-1.29.0 \
+&& rm -Rf /opt/mongo-c-driver-2.2.1 \
 && rm -Rf /opt/rapidjson-1.1.0 \
-&& rm -Rf /opt/libmicrohttpd-1.0.1 \
-&& rm -Rf /opt/mosquitto-2.0.20 \
+&& rm -Rf /opt/libmicrohttpd-1.0.2 \
+&& rm -Rf /opt/mosquitto-2.0.22 \
 && rm -Rf /opt/gmock-1.5.0

doc/manuals.jp/admin/build_source.md

@@ -1,22 +1,24 @@
 # ソースからのビルド
 
-Orion Context Broker のリファレンス配布は Debian 12 です。これは、broker を他のディストリビューションに組み込むことができないことを意味しません (実際には可能です)。このセクションには、Debian を使用していない人に役立つ可能性があるため、他のディストリビューションに組み込む方法に関する指示が含まれる場合があります。ただし、"公式にサポートされている" 唯一の手順は Debian 12 用の手順です。
+Orion Context Broker のリファレンス配布は Debian 13 です。これは、broker を他のディストリビューションに組み込むことができないことを意味しません (実際には可能です)。このセクションには、Debian を使用していない人に役立つ可能性があるため、他のディストリビューションに組み込む方法に関する指示が含まれる場合があります。ただし、"公式にサポートされている" 唯一の手順は Debian 13 用の手順です。
 
 公式以外のディストリビューションで Docker コンテナ・イメージをビルドする方法は、Docker ドキュメントの [3.1 非公式ディストリビューションでのビルド](../../../docker/README.jp.md#31-building-in-not-official-distributions)・セクションで確認できます。
 
 *注:* このドキュメントで説明されているビルド プロセスには cjexl ライブラリは含まれていません。これは、基本的なビルド プロセスの観点からはオプションであると見なされているためです。
 
-## Debian 12 (正式サポート)
+## Debian 13 (正式サポート)
 
 Orion Context Broker は、以下のライブラリをビルドの依存関係として使用します :
 
-* boost: 1.74
-* libmicrohttpd: 1.0.1 (ソースから)
-* libcurl: 7.88.1
-* openssl: 3.0.15
-* libuuid: 2.38.1
-* libmosquitto: 2.0.20 (ソースから)
-* Mongo C driver: 1.29.0 (ソースから)
+* boost: 1.83
+* libmicrohttpd: 1.0.2 (ソースから)
+* libcurl: 8.14.1
+* openssl: 3.5.4
+* libuuid: 2.41
+* zlib1g 1:1.3.dfsg+really1.3.1-1+b1
+* librdkafka: 2.8.0
+* libmosquitto: 2.0.22 (ソースから)
+* Mongo C driver: 2.2.1 (ソースから)
 * rapidjson: 1.1.0 (ソースから)
 * gtest (`make unit_test` ビルディング・ターゲットのみ) : 1.5 (ソースから)
 * gmock (`make unit_test` ビルディング・ターゲットのみ) : 1.5 (ソースから)
@@ -33,12 +35,12 @@ Orion Context Broker は、以下のライブラリをビルドの依存関係
 
 * ソースから Mongo Driver をインストールします
 
-        wget https://github.com/mongodb/mongo-c-driver/releases/download/1.29.0/mongo-c-driver-1.29.0.tar.gz
-        tar xfvz mongo-c-driver-1.29.0.tar.gz
-        cd mongo-c-driver-1.29.0
+        wget https://github.com/mongodb/mongo-c-driver/releases/download/2.2.1/mongo-c-driver-2.2.1.tar.gz
+        tar xfvz mongo-c-driver-2.2.1.tar.gz
+        cd mongo-c-driver-2.2.1
         mkdir cmake-build
         cd cmake-build
-        cmake -DENABLE_AUTOMATIC_INIT_AND_CLEANUP=OFF ..
+        cmake ..
         make
         sudo make install
 
@@ -47,22 +49,25 @@ Orion Context Broker は、以下のライブラリをビルドの依存関係
         wget https://github.com/miloyip/rapidjson/archive/v1.1.0.tar.gz
         tar xfvz v1.1.0.tar.gz
         sudo mv rapidjson-1.1.0/include/rapidjson/ /usr/local/include
+        # Next line is to comment a problematic line in document.h when GCC14+ is used
+        # (it should be solved by rapidjson, see https://github.com/Tencent/rapidjson/issues/2277)
+        sudo sed -i 's/^.*GenericStringRef& operator=(const GenericStringRef& rhs).*$/\/\/&/' /usr/local/include/rapidjson/document.h
 
 * ソースから libmicrohttpd をインストールします (`./configure` 下のコマンドはライブラリの最小限のフットプリントを得るための推奨ビルド設定を示していますが、上級ユーザの方は好きなように設定できます)
 
-        wget https://ftp.gnu.org/gnu/libmicrohttpd/libmicrohttpd-1.0.1.tar.gz
-        tar xvf libmicrohttpd-1.0.1.tar.gz
-        cd libmicrohttpd-1.0.1
+        wget https://ftp.gnu.org/gnu/libmicrohttpd/libmicrohttpd-1.0.2.tar.gz
+        tar xvf libmicrohttpd-1.0.2.tar.gz
+        cd libmicrohttpd-1.0.2
         ./configure --disable-messages --disable-postprocessor --disable-dauth
         make
         sudo make install  # installation puts .h files in /usr/local/include and library in /usr/local/lib
         sudo ldconfig      # just in case... it doesn't hurt :)
 
-* ソースから mosquitto をインストールします (WITH_CJSON, WITH_STATIC_LIBRARIES, WITH_SHARED_LIBRARIES の設定を変更することで、mosquitto-2.0.20/ の下の config.mk ファイルを変更してビルドを微調整できます)
+* ソースから mosquitto をインストールします (WITH_CJSON, WITH_STATIC_LIBRARIES, WITH_SHARED_LIBRARIES の設定を変更することで、mosquitto-2.0.22/ の下の config.mk ファイルを変更してビルドを微調整できます)
 
-        wget https://mosquitto.org/files/source/mosquitto-2.0.20.tar.gz
-        tar xvf mosquitto-2.0.20.tar.gz
-        cd mosquitto-2.0.20
+        wget https://mosquitto.org/files/source/mosquitto-2.0.22.tar.gz
+        tar xvf mosquitto-2.0.22.tar.gz
+        cd mosquitto-2.0.22
         sed -i 's/WITH_CJSON:=yes/WITH_CJSON:=no/g' config.mk
         sed -i 's/WITH_STATIC_LIBRARIES:=no/WITH_STATIC_LIBRARIES:=yes/g' config.mk
         sed -i 's/WITH_SHARED_LIBRARIES:=yes/WITH_SHARED_LIBRARIES:=no/g' config.mk
@@ -98,7 +103,7 @@ Orion Context Broker には、次の手順に従って実行できる一連の
 
 * ソースから GoogleTest/Mock をインストールします。以前の URL は http://googlemock.googlecode.com/files/gmock-1.5.0.tar.bz2 でしたが、Google は2016年8月下旬にそのパッケージを削除し、機能しなくなりました。
 
-        wget https://nexus.lab.fiware.org/repository/raw/public/storage/gmock-1.5.0.tar.bz2
+        wget https://src.fedoraproject.org/repo/pkgs/gmock/gmock-1.5.0.tar.bz2/d738cfee341ad10ce0d7a0cc4209dd5e/gmock-1.5.0.tar.bz2
         tar xfvj gmock-1.5.0.tar.bz2
         cd gmock-1.5.0
         ./configure
@@ -128,11 +133,11 @@ aarch64 アーキテクチャの場合、apt-get を使用して libxslt をイ
         . scripts/testEnv.sh
         python3 -m venv /opt/ft_env   # or 'virtualenv /opt/ft_env --python=/usr/bin/python3' in some systems
         . /opt/ft_env/bin/activate
-        pip install Flask==2.0.2 Werkzeug==2.0.2 paho-mqtt==1.6.1 amqtt==0.11.0b1 confluent-kafka==2.11.0
+        pip install Flask==2.0.2 Werkzeug==2.0.2 paho-mqtt==1.6.1 amqtt==0.11.0b1 setuptools==80.9.0 confluent-kafka==2.11.0
 
 * Kafkaクライアントをインストール (CLI).
 
-      sudo apt-get install openjdk-17-jre-headless
+      sudo apt-get install openjdk-21-jre-headless
       wget https://downloads.apache.org/kafka/3.9.1/kafka_2.12-3.9.1.tgz
       tar xvf kafka_2.12-3.9.1.tgz
       # Add kafka_2.12-3.9.1/bin to your PATH (e.g. editing ~/.bashrc)

doc/manuals.jp/admin/install.md

@@ -26,8 +26,8 @@ Docker hub で公式の Orion docker コンテナを使用してインストー
 
 必要なソースから ビルドした Orion をインストールする場合：
 
-* オペレーティングシステム: Debian。リファレンス・オペレーティングシステムは Debian 12.10 ですが、それ以降の
-  Debian 12 バージョンでも動作するはずです
+* オペレーティングシステム: Debian。リファレンス・オペレーティングシステムは Debian 13.3 ですが、それ以降の
+  Debian 13 バージョンでも動作するはずです
 * データベース: MongoDB は、Orion Context Broker がインストールされるのと同じホストで実行するか、ネットワーク経由で
   アクセスできる別のホストで実行する必要があります。推奨される MongoDB バージョンは 8.0 です (Orion は古いバージョンで
   動作する可能性がありますが、まったくお勧めしません!)