GH-4 # fix init_db taking too much time

remove profiling code

Author: Hugo-C

README.md

@@ -50,6 +50,16 @@ On propose d'utiliser [Kvrocks](https://github.com/apache/kvrocks) qui est une s
 
 Pour le backend on utilise Python et FastAPI pour une question de simplicité de ces outils.
 
+---
+
+Lors de la création du script d'initialisation, arrive le moment de faire le premier test avec le jeu de donnée complet (Voir [commit](https://github.com/Hugo-C/HIBP/commit/7f5db7e5eecfada55918ec67b2e98cba9b911c9e)). Le script est relativement lent et je l'arrete après quelques minutes. En essayant sur 100k entrée le script prend 34s, ce qui donnerai 80mins avec les 14M d'entrées.
+J'utilise un outils de profiling (en l'occurence Sentry car je l'avais sous la main). Il montre que plus de 90% du temps est passé dans `PasswordStorage.add_password`:
+
+![profile Sentry](doc/sentry_profiling.png) 
+
+Plusieurs solutions sont envisagées. La première est de pousser les données en batch, ce qui nécessite avec `sadd` de pousser plusieurs password qui ont le même prefix. Cette solution parait compliqué à mettre en place, car elle oblige a stocker beaucoups d'informations en mémoire. D'autres solutions comme utiliser de l'asynchrone, ou encore du multiprocessing implique une forte complexité supplémentaire. Par exemple découper le fichier en entrée en une centaine de mini fichiers pour être traité par des "workers" différents. Heureusement Redis fournit un système de batch de commande via [les pipelines](https://redis.io/docs/latest/develop/use/pipelining/) qui permet d'avoir des commandes différentes dans un seul appel. Après quelques essaie, des batchs de 200 commandes semble être le bon compromis qui permet de faire 100k password en 3s, ce qui est plus acceptable.
+
+
 ### Partie génération de mot de passe
 
 TODO

src/common/classes.py

@@ -18,12 +18,24 @@ def prefix(password: Password) -> Prefix:
 
 
 class PasswordStorage:
+    PIPELINE_MAX_SIZE = 200
+
     def __init__(self, client: Redis):
         self.client = client
+        self._pipe = client.pipeline(transaction=False)
+        self._pipe_size = 0
 
     def add_password(self, *, prefix: Prefix, password: Password):
-        self.client.sadd(prefix, password)
+        self._pipe.sadd(prefix, password)
+        self._pipe_size += 1
+        if self._pipe_size == self.PIPELINE_MAX_SIZE:
+            self._pipe.execute()
+            self._pipe_size = 0
 
     def get_passwords(self, prefix: Prefix) -> set[Password]:
         passwords_as_bytes = self.client.smembers(prefix)
         return {password.decode() for password in passwords_as_bytes}
+
+    def flush(self):
+        self._pipe.execute()
+        self._pipe_size = 0

src/init_scripts/init_db_with_password_file.py

@@ -30,24 +30,20 @@ def init_db(file_path: str, db_client: Redis) -> int:
     hasher = PasswordHasher()
     storage = PasswordStorage(client=db_client)
     processed = 0
-    with open(file_path) as file:
+    with open(file_path, encoding='latin-1') as file:
         for line in file:
             password = line.strip()
             prefix = hasher.prefix(password)
             storage.add_password(prefix=prefix, password=password)
             processed += 1
             if processed % 100 == 0:
                 print(f'\r{processed=}', end="")
+    storage.flush()
+    print("\ndone")
     return processed
 
 
 if __name__ == "__main__":
-    import sentry_sdk
-    sentry_sdk.init(
-        dsn="XXX",
-        traces_sample_rate=1.0,
-    )
-
     args = docopt(__doc__)
     if args.get("--download"):
         print("not implemented yet")
@@ -56,9 +52,7 @@ def init_db(file_path: str, db_client: Redis) -> int:
         print(f"Initializing db with {password_path}")
         start = time.time()
         redis_client = Redis(host=KVROCKS_HOST, port=KVROCKS_PORT)
-        sentry_sdk.profiler.start_profiler()
         init_db(password_path, db_client=redis_client)
-        sentry_sdk.profiler.stop_profiler()
         duration = time.time() - start
-        print(f"{duration=}")
+        print(f"Took {duration:.2f}s")
     # else docopt will show help