Story #10672 : Migrate metadata graph reconstruction

Author: lotfivitam

deployment/ansible-vitam-migration/migration_metadata_graph_reconstruction.yml

@@ -0,0 +1,19 @@
+---
+# Confirm launching this playbook
+- hosts: localhost
+  any_errors_fatal: yes
+  gather_facts: no
+  vars_prompt:
+    name: "confirmation"
+    prompt: "You are about to run metadata graph reconstruction migration playbook for secondary sites.\nThis might take some time.\nAre you sure you want to run this playbook ?\nAnswer with 'YES'"
+    default: "NO"
+    private: no
+  tasks:
+    - name: Check Confirmation
+      fail: msg="Playbook run confirmation failed"
+      when: confirmation|upper != "YES"
+
+- hosts: hosts_metadata
+  any_errors_fatal: yes
+  roles:
+    - migrate_metadata_graph_reconstruction

deployment/ansible-vitam-migration/roles/migrate_metadata_graph_reconstruction/tasks/main.yml

@@ -0,0 +1,28 @@
+---
+- block:
+
+    - name: Ensure that current site is a secondary site.
+      fail:
+        msg: "Cannot run this migration playbook on a primary site"
+      when: primary_site | lower != 'false'
+
+    - name: Update metadata graph per tenant
+      uri:
+        url: "http://{{ ip_admin }}:{{ vitam.metadata.port_admin }}/metadata/v1/computegraph"
+        method: POST
+        force_basic_auth: yes
+        user: "{{ admin_basic_auth_user }}"
+        password: "{{ admin_basic_auth_password }}"
+        # WARNING: For historical reasons, we need to explicitly set the $depth to 0,
+        #          otherwise graph fields might be queried internally
+        body: '{"$roots": [],"$query": [{"$exists": "#id" ,"$depth" : 0}],"$filter": {},"$projection": {}}'
+        body_format: "json"
+        headers:
+          Content-Type: application/json
+          Accept: application/json
+          X-Tenant-Id: "{{ item }}"
+        status_code: 200
+        timeout: "{{ migration_timeout }}"
+      loop: "{{ vitam_tenant_ids }}"
+
+  run_once: true

deployment/ansible-vitam-migration/roles/migrate_metadata_graph_reconstruction/vars/main.yml

@@ -0,0 +1,4 @@
+---
+
+# Migration timeout in seconds (defaults to 10 hours per tenant)
+migration_timeout: 36000

doc/fr/migration/updates/bugfixes_updates/r16_update.rst

@@ -58,6 +58,18 @@ La procédure est à réaliser sur tous les **sites secondaires** de Vitam AVANT
 Procédures à exécuter APRÈS la montée de version
 ================================================
 
+Arrêt des timers et des accès externes à Vitam
+----------------------------------------------
+
+Les timers et les externals de Vitam doivent être arrêtés sur **tous les sites** :
+
+.. code-block:: bash
+
+    ansible-playbook -i environments/<inventaire> ansible-vitam-exploitation/stop_external.yml --ask-vault-pass
+    ansible-playbook -i environments/<inventaire> ansible-vitam-exploitation/stop_vitam_timers.yml --ask-vault-pass
+
+..
+
 Migrations offres Swift V2 & V3 en cas de présence d'objets très volumineux (4Go+)
 ----------------------------------------------------------------------------------
 
@@ -96,3 +108,29 @@ Si des problèmes de cohérence de type "Orphan large object segments" persisten
 Dans ce cas, il est recommandé de vérifier préalablement que les objets concernés n'existent pas sur les autres offres (mêmes container & objectName).
 Si les objets n'existent pas dans les autres offres, il s'agit alors de reliquats d'objets non complètement éliminés. Le lancement du mode 2 (correction des anomalies + purge des objets) est à réaliser.
 Dans le cas contraire (cas où l'objet existe dans les autres offres), il faudra envisager la "Procédure de resynchronisation ciblée d’une offre" décrite dans la Documentation d’EXploitation (DEX) de Vitam pour synchroniser l'offre Swift pour les éléments concernés.
+
+Recalcul du graph des métadonnées des sites secondaires
+-------------------------------------------------------
+
+.. caution:: Cette procédure doit être exécutée uniquement en cas de migration depuis une version R16.6- (4.0.6 ou inférieure) vers une version R16.7+ (4.0.7 ou supérieure). Elle permet le recalcul du graphe des métadonnées sur les sites secondaires
+
+La procédure est à réaliser sur tous les **sites secondaires** de Vitam APRÈS l'installation de la nouvelle version :
+
+- S'assurer que Vitam soit bien préalablement arrêté (via le playbook ``ansible-vitam-exploitation/stop_vitam_timers.yml``)
+- Exécuter le playbook :
+
+  .. code-block:: bash
+
+     ansible-playbook ansible-vitam-migration/migration_metadata_graph_reconstruction.yml -i environments/hosts.{env} --ask-vault-pass
+
+  ..
+
+Redémarrage des timers et des accès externes à Vitam
+----------------------------------------------------
+
+La montée de version est maintenant terminée, vous pouvez réactiver les services externals ainsi que les timers sur **tous les sites** :
+
+.. code-block:: bash
+
+    ansible-playbook -i environments/<inventaire> ansible-vitam-exploitation/start_external.yml --ask-vault-pass
+    ansible-playbook -i environments/<inventaire> ansible-vitam-exploitation/start_vitam_timers.yml --ask-vault-pass

doc/fr/migration/updates/releases_updates/r16_update.rst

@@ -94,6 +94,45 @@ La procédure est à réaliser sur tous les **sites secondaires** de Vitam AVANT
 
   ..
 
+Procédures à exécuter APRÈS la montée de version
+================================================
+
+Arrêt des timers et des accès externes à Vitam
+----------------------------------------------
+
+Les timers et les externals de Vitam doivent être arrêtés sur **tous les sites** :
+
+.. code-block:: bash
+
+    ansible-playbook -i environments/<inventaire> ansible-vitam-exploitation/stop_external.yml --ask-vault-pass
+    ansible-playbook -i environments/<inventaire> ansible-vitam-exploitation/stop_vitam_timers.yml --ask-vault-pass
+
+Recalcul du graph des métadonnées des sites secondaires
+-------------------------------------------------------
+
+.. caution:: Cette procédure doit être exécutée uniquement en cas de migration majeure vers une version R16.7+ (4.0.7 ou supérieure). Elle permet le recalcul du graphe des métadonnées sur les sites secondaires
+
+La procédure est à réaliser sur tous les **sites secondaires** de Vitam APRÈS l'installation de la nouvelle version :
+
+- S'assurer que Vitam soit bien préalablement arrêté (via le playbook ``ansible-vitam-exploitation/stop_vitam_timers.yml``)
+- Exécuter le playbook :
+
+  .. code-block:: bash
+
+     ansible-playbook ansible-vitam-migration/migration_metadata_graph_reconstruction.yml -i environments/hosts.{env} --ask-vault-pass
+
+  ..
+
+Redémarrage des timers et des accès externes à Vitam
+----------------------------------------------------
+
+La montée de version est maintenant terminée, vous pouvez réactiver les services externals ainsi que les timers sur **tous les sites** :
+
+.. code-block:: bash
+
+    ansible-playbook -i environments/<inventaire> ansible-vitam-exploitation/start_external.yml --ask-vault-pass
+    ansible-playbook -i environments/<inventaire> ansible-vitam-exploitation/start_vitam_timers.yml --ask-vault-pass
+
 Vérification de la bonne migration des données
 ==============================================