add new parsers, new web interface, offline mode

Author: CERT-SYNETIS

Docker/Dockerfile

@@ -17,6 +17,7 @@ RUN apt update -y && \
     apt install -y libguestfs-tools && \
     apt install -y zip && \
     apt install -y openssl && \
+    #apt install -y pff-tools && \
     apt clean -y && \
     rm -rf /var/cache/apt/* /var/lib/apt/lists/*
 
@@ -26,5 +27,6 @@ ENV HOME=/root
 COPY . .
 RUN pip3 install --upgrade pip --break-system-packages
 RUN pip install -r requirements.txt --break-system-packages
+RUN pip install src/bin/libpff_python-20240826-cp311-cp311-linux_x86_64.whl --break-system-packages
 EXPOSE 8080
 CMD ["python3", "triage.py"]

Docker/docker-compose.yml

@@ -5,7 +5,7 @@ services:
       context: ..
       dockerfile: Docker/Dockerfile
     image: pytriage:x.x.x
-    container_name: pytriage-preprod
+    container_name: pytriage
     volumes:
       - /data/hayabusa:/hayabusa
       - /data:/data
@@ -39,5 +39,5 @@ services:
       - /winlogbeat:/winlogbeat
       - /var/run/docker.sock:/var/run/docker.sock
   redis:
-    image: redis:7.2.5
+    image: dockerhub.cert.lan/redis:7.2.5
 

README.md

@@ -9,36 +9,13 @@ Le serveur de triage a pour but d'automatiser le traitement des collectes effect
 Actuellement, le serveur de triage effectue le traitements des collectes suivantes :
 
 - KAPE / DFIR-ORC / GENERAPTOR Windows
-	- Génération d'une timeline Plaso
-	- Copie des EVTX sur le partage `VM-WINLOG\winlogbeat` pour indexation par winlogbeat
-	- Parsing des EVTX et envoi vers ELK
-  - Envoi des timelines Plaso au serveur Timesketch
-  - Traitement des logs IIS
-  - Parsing MFT
-  - Parsing USNJrnl
-  - Parsing Registres (amcache, system, software, ntuser...)
-  - Parsing prefetch
-  - Parsing MPLog
-  - Parsing Windows10 Timeline (ActivitiesCache)
-  - Parsing $Recycle.Bin
-
 - HAYABUSA
-	- Exécution de Hayabusa sur les EVTX présents dans les collectes Kape, DFIR-ORC et Generaptor (ne s'exécute pas seul mais avec l'un des trois précédents)
 - UAC / GENERAPTOR Linux
-	- Indexation Filebeat des logs Linux
-  - Génération d'une timeline Plaso
 - ADTIMELINE
-	- Traitement de CSV (envoi vers ELK)
 - VOLATILITY Windows
-	- PSLIST vers ELK
-  - PSTREE vers ELK
-  - NETSCAN vers ELK
-  - NETSTAT vers ELK
 - DFIR-O365RC
-	- Parsing fichiers générés et envoi vers ELK
 - ADAUDIT
-	- Traitement de CSV (envoi vers ELK)
-
+- MAIL (pst/mbox)
 
 ## Fonctionnement
 
@@ -180,6 +157,11 @@ Les résultats générés sont parsés et envoyés à ELK.
 
 L'archive envoyée est dézippée et les fichiers json présents sont parsés puis envoyés à ELK.
 
+#### Mail
+> Ce plugin s'exécute sur les fichiers PST et MBOX. Le fichier d'entrée est une archive ZIP contenant ces fichiers.
+
+L'archive envoyée est dézippée et les fichiers PST/MBOX présents sont parsés puis envoyés à ELK. Une option est proposée pour récupérer ou non les pièces-jointes des mails.
+
 
 ### Standalone
 
@@ -265,6 +247,7 @@ class Plugin(BasePlugin):
 * [Orc-decrypt](https://github.com/DFIR-ORC/orc-decrypt)
 * [Mplog-parser](https://github.com/Intrinsec/mplog_parser)
 * [USN-Journal-Parser](https://github.com/PoorBillionaire/USN-Journal-Parser)
+* [Mail parsers](https://github.com/Intrinsec/mplog_parser)
 
 ### Images Docker
 
@@ -277,6 +260,13 @@ class Plugin(BasePlugin):
 Le serveur de triage est déployé comme un service docker.
 
 
+### Configuration
+
+La configuration est présente dans le fichier **config/triage.yaml**.
+
+Il est possible d'activer ou non les connexions aux services tiers Timesketch, ELK et Winlogbeat.
+
+
 ### Prérequis
 
 Créer les dossiers **data**, **winlogbeat**, **log** et **hayabusa** si non présents (chemin à renseigner dans les fichiers docker-compose-build/prod.yml et dans config/triage.yaml *volumes => data* qui est le volume hôte à monter donc ici ./data)
@@ -286,7 +276,8 @@ mkdir ./winlogbeat
 mkdir ./log
 mkdir ./hayabusa
 ```
-Monter le partage winlogbeat dans le dossier ci-dessus et placer le binaire hayabusa et ses dépendances dans le dossier **hayabusa**.
+- Monter le partage winlogbeat dans le dossier précédement créé
+- Placer le binaire hayabusa et ses dépendances dans le dossier précédement créé
 
 Générer les certificats SSL
 
@@ -309,4 +300,4 @@ Le service web est disponible sur https://localhost
 
 # Contributors
 
-* [A-lvu](https://github.com/a-lvu)
+* [xx](https://github.com/xx)

config/triage.yaml

@@ -1,12 +1,6 @@
 general:
   upload: /data
-  winlogbeat: /winlogbeat
   logfolder: /log
-  timesketch_url: ""
-  elastic_url: ""
-  elastic_port: 9200
-  logstash_url: ""
-  kibana_url: ""
   hayabusa_bin_path: "/hayabusa/hayabusa"
 
 pipelines:
@@ -21,14 +15,28 @@ pipelines:
   orc: 5067
   filebeat: 5058
   selfassessment: 5050
+  mail: 5061
 
 administration:
   Timesketch:
+    active: false
+    url: "https://xxx"
     username: xxx
     password: xxx
   Elastic:
+    active: false
+    url: "https://xxx"
+    port: 9200
     username: xxx
     password: xxx
+  Logstash:
+    active: false
+    url: "https://xxx"
+  Kibana:
+    url: "https://xxx"
+  Winlogbeat:
+    active: false
+    folder: /winlogbeat
 
 volumes:
   data: /data

docs/images/plugin_kape.png

@@ -87,4 +87,6 @@ flower==2.0.1
 redis==4.3.4
 docker==7.1.0
 ujson==5.10.0
-pytsk3==20231007
+pytsk3==20231007
+mailbox==0.4
+libpff-python==20231205

requirements.txt

@@ -25,7 +25,7 @@ def generate_entry_points():
 
 setup(
     name="pytriage",
-    version="1.0.0",
+    version="2.0.0",
     description="A modern Python-3-based triage service",
     long_description="""SYNETIS Triage service
     """,

setup.py

@@ -16,25 +16,40 @@ def __init__(self, config=None):
 
         internal_config = triageutils.INTERNAL_CONFIG
 
-        self.timesketch_url = internal_config["general"]["timesketch_url"]
-        self.elastic_url = internal_config["general"]["elastic_url"]
-        self.logstash_url = internal_config["general"]["logstash_url"]
-        self.kibana_url = internal_config["general"]["kibana_url"]
+        self.timesketch_url = internal_config["administration"]["Timesketch"]["url"]
+        self.is_timesketch_active = internal_config["administration"]["Timesketch"][
+            "active"
+        ]
+
+        self.elastic_url = internal_config["administration"]["Elastic"]["url"]
+        self.is_elastic_active = internal_config["administration"]["Elastic"]["active"]
+
+        self.logstash_url = internal_config["administration"]["Logstash"]["url"]
+        self.is_logstash_active = internal_config["administration"]["Logstash"][
+            "active"
+        ]
+
+        self.kibana_url = internal_config["administration"]["Kibana"]["url"]
 
         self.hayabusa_port = internal_config["pipelines"]["hayabusa"]
         self.adtimeline_port = internal_config["pipelines"]["adtimeline"]
         self.iis_port = internal_config["pipelines"]["iis"]
         self.evtxparser_port = internal_config["pipelines"]["evtxparser"]
         self.volatility_port = internal_config["pipelines"]["volatility"]
         self.o365_port = internal_config["pipelines"]["o365"]
+        self.mail_port = internal_config["pipelines"]["mail"]
         self.raw_json_port = internal_config["pipelines"]["fortinet"]
         self.adaudit_port = internal_config["pipelines"]["adaudit"]
         self.filebeat_port = internal_config["pipelines"]["filebeat"]
         self.selfassessment_port = internal_config["pipelines"]["selfassessment"]
 
         self.orc_port = internal_config["pipelines"]["orc"]
         self.hayabusa_bin_path = internal_config["general"]["hayabusa_bin_path"]
-        self.winlogbeat = internal_config["general"]["winlogbeat"]
+
+        self.winlogbeat = internal_config["administration"]["Winlogbeat"]["folder"]
+        self.is_winlogbeat_active = internal_config["administration"]["Winlogbeat"][
+            "active"
+        ]
 
         self.data_volume = internal_config["volumes"]["data"]