add new features for v4.0.0

Author: CERT-SYNETIS

Docker/Dockerfile-volatility

@@ -0,0 +1,6 @@
+FROM python:3.13
+LABEL maintainer="SYNETIS <[email protected]>"
+VOLUME ["/data"]
+RUN pip install git+https://github.com/volatilityfoundation/volatility3.git
+ENTRYPOINT ["vol"]
+#RUN pip install volatility3

Docker/docker-compose.yml

@@ -4,8 +4,9 @@ services:
     build:
       context: ..
       dockerfile: Docker/Dockerfile
-    image: pytriage:3.0.0
-    container_name: pytriage
+      no_cache: true
+    image: pytriage:4.0.0
+    container_name: pytriage-preprod
     volumes:
       - /data/hayabusa:/hayabusa
       - /data:/data
@@ -24,7 +25,7 @@ services:
     ports:
       - 443:8080
   worker:
-    image: pytriage:3.0.0
+    image: pytriage:4.0.0
     command: celery --app triage.celery worker --loglevel=info
     environment:
       - CELERY_BROKER_URL=redis://redis:6379/0
@@ -47,5 +48,19 @@ services:
       - /winlogbeat:/winlogbeat
       - /var/run/docker.sock:/var/run/docker.sock
   redis:
-    image: redis:7.2.5
+    image: redis:8.2.2
+  plaso:
+    image: log2timeline/plaso:20240317 # must be the same in triage.yaml
+    command: ["exit 0"]
 
+  filebeat:
+    image: elastic/filebeat:8.9.1 #must be the same in triage.yaml
+    command: ["exit 0"]
+
+  volatility:
+    build:
+      context: ..
+      dockerfile: Docker/Dockerfile-volatility
+      no_cache: true
+    image: volatility3:2.26.2 #must be the same in triage.yaml
+    command: ["exit 0"]

README.md

@@ -2,8 +2,19 @@
 <img src="docs/images/pytriage_blanc.png"/>
 </p>
 
+<div align="center">
+
+![Status](https://img.shields.io/badge/status-active-success?style=for-the-badge)
+![Powered By: CERT SYNETIS](https://img.shields.io/badge/Powered_By-CERT_SYNETIS-f80808.svg?style=for-the-badge)
+
+</div>
+
+<div align="center">
+
 [Introduction](#introduction) | [Fonctionnement](#fonctionnement) | [Ajout de plugin](#ajout-de-plugin) | [Déploiement](#déploiement)
 
+</div>
+
 ## Introduction
 
 Le serveur de triage a pour but d'automatiser le traitement des collectes effectuées sur les systèmes à investiguer. Il effectue le *processing* de certaines tâches (*timelining* et détection SIGMA notamment) ainsi que le *forwarding* vers les outils d'analyses (pile ELK et Timesketch si configuré dans config/triage.yaml).
@@ -47,21 +58,19 @@ Chaque collecte concerne :
 </p>
 
 ### Plugins
+![parsers.png](/docs/images/parsers.png)
 
 #### KAPE
 
-> Ce plugin s'exécute sur une collecte réalisée par kape. Le fichier d'entrée est la seconde archive ZIP contenant le fichier VHDX généré par l'outil de collecte du CERT.
-
+> Ce plugin s'exécute sur une collecte réalisée par kape. Le fichier d'entrée est l'archive ZIP contenant le fichier VHDX généré par l'outil de collecte.
 
 Ce plugin dézippe l'archive, monte le vhdx fournis dans un dossier créé et propre à chaque collecte.
 
-![plugin_kape.png](/docs/images/plugin_kape.png)
-
 Plusieurs artefacts sont traités si sélectionnés dans l'interface :
 
-- Les EVTX sont copiés dans un dossier puis envoyés à la VM Winlogbeat pour indexation
-OU
+- Les EVTX sont copiés dans un dossier puis envoyés à la VM Winlogbeat pour parsing et indexation
 - Les EVTX sont parsés (par la lib python) puis envoyés à ELK
+- Exécution Hayabusa sur les EVTX
 - Les logs IIS seront extraits du vhdx, copiés dans un dossier, parsés puis envoyés à ELK
 - Les timelines Plaso seront créées puis envoyées à Timesketch
 - Parsing MFT
@@ -73,6 +82,10 @@ OU
 - Parsing $Recycle.Bin
 - Récupération des fichiers d'historique Powershell des utilisateurs
 - RDP Bitmap Cache parser
+- Parsing LNK
+- Parsing JumpList
+- Parsing Tasks
+- Parsing Webcache
 
 #### GENERAPTOR Windows
 
@@ -81,9 +94,9 @@ OU
 
 Plusieurs artefacts sont traités si sélectionnés dans l'interface :
 
-- Les EVTX sont copiés dans un dossier puis envoyés à la VM Winlogbeat pour indexation
-OU
+- Les EVTX sont copiés dans un dossier puis envoyés à la VM Winlogbeat pour parsing et indexation
 - Les EVTX sont parsés (par la lib python) puis envoyés à ELK
+- Exécution Hayabusa sur les EVTX
 - Les logs IIS seront extraits du ZIP, copiés dans un dossier, parsés puis envoyés à ELK
 - Une timeline Plaso est créée puis envoyée à Timesketch
 - Parsing MFT
@@ -95,6 +108,10 @@ OU
 - Parsing $Recycle.Bin
 - Récupération des fichiers d'historique Powershell des utilisateurs
 - RDP Bitmap Cache parser
+- Parsing LNK
+- Parsing JumpList
+- Parsing Tasks
+- Parsing Webcache
 
 #### DFIR-ORC
 
@@ -103,14 +120,23 @@ OU
 
 Plusieurs artefacts sont traités si sélectionnés dans l'interface :
 
-- Les EVTX sont copiés dans un dossier puis envoyés à la VM Winlogbeat pour indexation
-OU
+- Les EVTX sont copiés dans un dossier puis envoyés à la VM Winlogbeat pour parsing et indexation
 - Les EVTX sont parsés (par la lib python) puis envoyés à ELK
+- Exécution Hayabusa sur les EVTX
 - Une timeline Plaso est créée puis envoyée à Timesketch
 - Parsing MFT
 - Parsing USNJrnl
 - Parsing Registres (amcache, system, security, ntuser...)
 - Parsing prefetch
+- Parsing MPLog
+- Parsing Windows10 Timeline (ActivitiesCache)
+- Parsing $Recycle.Bin
+- Récupération des fichiers d'historique Powershell des utilisateurs
+- RDP Bitmap Cache parser
+- Parsing LNK
+- Parsing JumpList
+- Parsing Tasks
+- Parsing Webcache
 
 #### GENERAPTOR Linux
 
@@ -120,6 +146,7 @@ OU
 Plusieurs artefacts sont traités si sélectionnés dans l'interface :
 
 - Une timeline Plaso est créée puis envoyées à Timesketch
+- PSORT est exécuté sur le plaso précédement généré
 - Filebeat indexera dans ELK les logs capturés lors de la collecte
 
 #### Hayabusa
@@ -137,6 +164,7 @@ Deux artefacts sont traités dans ce plugin :
 
 - Filebeat indexera dans ELK les logs capturés lors de la collecte
 - Une timelines Plaso est créée puis envoyée à Timesketch
+- PSORT est exécuté sur le plaso précédement généré
 
 #### ADTimeline
 
@@ -183,7 +211,7 @@ L'archive envoyée est dézippée et les fichiers JSON présents sont parsés pu
 
 ![6cyimage.png](/docs/images/standalone1.png)
 
-Cette partie permet de facilité l'exécution d'un plugin sur des artefacts spécifiques.
+Cette partie permet de faciliter l'exécution d'un plugin sur des artefacts spécifiques.
 
 ![gvpimage.png](/docs/images/standalone2.png)
 
@@ -206,7 +234,11 @@ Une page d'administration est accesssible pour le moment à tout le monde car au
 
 
 Elle permet:
-- D'avoir une vue sur l'ensemble des collectes, de pouvoir les supprimer et récupérer le fichier de log associé.
+- D'avoir une vue sur l'ensemble des collectes
+- De supprimer des collectes
+- De relancer des collectes
+- D'arrêter des triages en cours
+- De récupérer les fichier de log des collectes
 - De supprimer des sketch TIMESKETCH
 - De supprimer des index ELASTIC
 - De mettre à jour HAYABUSA
@@ -300,10 +332,8 @@ KEYCLOAK_USERS_GROUP=CERT
 
 Créer les dossiers **data**, **winlogbeat**, **log** et **hayabusa** si non présents (chemin à renseigner dans les fichiers docker-compose-build/prod.yml et dans config/triage.yaml *volumes => data* qui est le volume hôte à monter donc ici ./data)
 ```bash
-mkdir ./data
-mkdir ./winlogbeat
-mkdir ./log
-mkdir ./hayabusa
+mkdir /winlogbeat
+mkdir -p /data/hayabusa
 ```
 - Monter le partage winlogbeat dans le dossier précédement créé
 - Placer le binaire hayabusa et ses dépendances dans le dossier précédement créé
@@ -322,7 +352,7 @@ sudo apt install cifs-utils
 Start docker images
 
 ```bash
-docker compose -f Docker/docker-compose.yml up -d --build
+docker compose -f Docker/docker-compose.yml up -d
 ```
 
 Le service web est disponible sur https://localhost

config/triage.yaml

@@ -17,6 +17,7 @@ pipelines:
   selfassessment: 5050
   mail: 5061
   google: 5051
+  psort: 5051
 
 administration:
   Timesketch:
@@ -30,6 +31,15 @@ administration:
     port: 9200
     username: xxx
     password: xxx
+    index_patterns:
+      - "ir-lin-*"
+      - "ir-orc-*"
+      - "ir-m365-*"
+      - "ir-ad-*"
+      - "secop-ad-*"
+      - "ir-log-*"
+      - "dlq-*"
+      - "ir-evtx-*"
   Logstash:
     active: false
     url: "https://xxx"
@@ -51,7 +61,7 @@ docker_images:
     tag: "8.9.1"
   volatility3:
     image: volatility3
-    tag: "2.5.0"
+    tag: "2.26.2"
 
 artifacts:
   apache:
@@ -81,3 +91,4 @@ plaso_parsers:
   - "!mft"
   - "!usnjrnl"
   - "!filestat"
+

docs/images/parsers.png

@@ -11,7 +11,7 @@ beautifulsoup4==4.13.4
 billiard==4.2.1
 black==25.1.0
 blinker==1.9.0
-Brotli==1.1.0
+Brotli==1.2.0
 bs4==0.0.2
 build==1.2.2.post1
 cachetools==5.5.2
@@ -33,6 +33,7 @@ entrypoints==0.4
 enum-compat==0.0.3
 Flask==3.1.1
 Flask-Login==0.6.3
+Flask-WTF==1.2.2
 flower==2.0.1
 frozenlist==1.7.0
 google-auth==2.40.3
@@ -53,10 +54,12 @@ jsonschema==4.25.0
 jsonschema-specifications==2025.4.1
 jwcrypto==1.5.6
 kombu==5.5.4
+libesedb-python==20240420
 libfwps-python==20240417
 libfwsi-python==20240423
 libpff-python==20231205
 libscca-python==20250915
+LnkParse3==1.5.2
 lxml==6.0.0
 mailbox==0.4
 markdown-it-py==3.0.0
@@ -71,6 +74,7 @@ networkx==3.5
 nose==1.3.7
 numpy==2.3.2
 oauthlib==3.3.1
+olefile==0.47
 packaging==25.0
 pandas==2.3.1
 pathspec==0.12.1
@@ -89,6 +93,7 @@ pycryptodome==3.23.0
 pycryptodomex==3.23.0
 Pygments==2.19.2
 PyJWT==2.10.1
+pylnk3==0.4.3
 pyppmd==1.2.0
 pyproject_hooks==1.2.0
 pyrsistent==0.20.0

docs/images/user_view.png

@@ -25,7 +25,7 @@ def __init__(self, config=None):
         self.config = config
 
         internal_config = triageutils.INTERNAL_CONFIG
-
+        self.uuid = config["uuid"]
         self.timesketch_url = internal_config["administration"]["Timesketch"]["url"]
         self.is_timesketch_active = internal_config["administration"]["Timesketch"][
             "active"
@@ -53,8 +53,9 @@ def __init__(self, config=None):
         self.adaudit_port = internal_config["pipelines"]["adaudit"]
         self.filebeat_port = internal_config["pipelines"]["filebeat"]
         self.selfassessment_port = internal_config["pipelines"]["selfassessment"]
-
         self.orc_port = internal_config["pipelines"]["orc"]
+        self.psort_port = internal_config["pipelines"]["psort"]
+
         self.hayabusa_bin_path = internal_config["general"]["hayabusa_bin_path"]
 
         self.winlogbeat = internal_config["administration"]["Winlogbeat"]["folder"]
@@ -86,7 +87,7 @@ def _ParseMapFile(self):
 
     def run(self, logger: Logger):
         """Main entry point of the plugin"""
-        raise NotImplementedError("[BasePlugin] run() needs to be overriden")
+        raise NotImplementedError("[BasePlugin] run() needs to be overridden")
 
     def warning(self, msg):
         """Logs a message at WARNING level"""

requirements.txt

@@ -16,6 +16,8 @@ def __init__(self, conf: dict):
         self.adaudit_dir = os.path.join(self.upload_dir, self.audit_date, "adaudit")
         triageutils.create_directory_path(path=self.adaudit_dir, logger=self.logger)
         self.adaudit_archive = os.path.join(self.upload_dir, conf["archive"]["name"])
+        self.config["general"]["extracted_zip"] = f"{self.adaudit_dir}"
+        self.update_config_file(data=self.config)
 
     @triageutils.LOG
     def adaudit_extract_zip(
@@ -210,3 +212,5 @@ def run(self, logger=None):
             self.error(f"[adaudit] run {str(ex)}")
             self.update_workflow_status(plugin="adaudit", status=Status.ERROR)
             raise ex
+        finally:
+            self.info("[adaudit] End processing")

src/__init__.py

@@ -18,6 +18,8 @@ def __init__(self, conf: dict):
             self.adtimeline_dir, f"ADTimeline_{self.clientname}.json"
         )
         triageutils.create_directory_path(path=self.adtimeline_dir, logger=self.logger)
+        self.config["general"]["extracted_zip"] = f"{self.adtimeline_dir}"
+        self.update_config_file(data=self.config)
 
     @triageutils.LOG
     def send_to_elk(self, json_data: list = [], logger=None):
@@ -70,3 +72,5 @@ def run(self, logger=None):
             self.error(f"[ADTimeline] run {str(ex)}")
             self.update_workflow_status(plugin="adtimeline", status=Status.ERROR)
             raise ex
+        finally:
+            self.info("[ADTimeline] End processing")