feat/populate with testing data 88 by Marc-AntoineA · Pull Request #134 · TelesCoop/iarbre

Marc-AntoineA · 2025-03-16T10:17:59Z

Specs :

L’url de la carte est automatiquement reliée aux coordonnées. Resolve ETQ dev, je peux ouvrir la carte à des coordonnées données / ETQ user, je peux partager un lien vers un zoom de la carte #133
Création de données de tests. Resolve ETQ dev, je peux lancer les tests e2e avec un affichage fictif de la carte #88
Léger refacto : déplacement de l’objet Feedback de iarbre_data à api.
perf: génération des tuiles réduite ;
Créer les ZCL ;
Documenter les données de tests générées ;

…ction error)

back/iarbre_data/management/commands/populate.py

…with-testing-data-88

QuentinMadura · 2025-03-26T10:19:59Z

Est-ce que le fait de générer les données fictives au niveau de la CI est dans le scope de cette MR ? Nécessaire notamment #152 qui a besoin de données pour pouvoir interagir avec les éléments de la carte

…with-testing-data-88

back/api/models.py

back/iarbre_data/management/commands/c02_init_grid.py

ludovicdmt

Y faut y faire un peu de ménage mais sinon ça me semble correct, ~~juste une interrogation sur pyproj~~ ?

back/api/utils/mvt_generator.py

back/iarbre_data/management/commands/c02_init_grid.py

ludovicdmt · 2025-03-27T10:32:54Z

back/iarbre_data/models.py

 @receiver(pre_save, sender=Tile)
 def before_save_tile(sender, instance, **kwargs):
    """Transform the geometry to the map geometry."""
+    print("hello")


ludovicdmt · 2025-03-27T10:33:00Z

back/iarbre_data/models.py

    def save_mvt(self, mvt_data, filename):
        """Save the MVT data into the FileField."""
        content = ContentFile(mvt_data)
-        print("fiename is ", filename)


Du coup en l’occurence c’est bien que j’ai supprimé ici :D

ludovicdmt · 2025-03-27T10:33:11Z

docs/changelog.md

@@ -1,5 +1,19 @@
 # Journal de changements

+## 🔖 0.3.0 (20225-XX-XX) - XXX


maxbellec · 2025-03-27T10:35:43Z

back/iarbre_data/management/commands/populate.py

+        self.stdout.write(self.style.SUCCESS("> MVT Tiles for plantability computed"))
+
+    def handle(self, *args, **options):
+        self._create_city_and_iris()


Suggested change

self._create_city_and_iris()

if not os.environ.get("E2E_TESTS"):

raise NotImplementedError("This command is only for e2e tests")

self._create_city_and_iris()

Tu peux avoir envie de l'utiliser en local pour éviter de te générer toute la DB aussi non ?

Suite aux échanges sur Slack, on ne fait pas cette modification suggérée.

maxbellec · 2025-03-27T10:36:49Z

je préfère avoir une base de donnée à part pour les tests. Dans DO, j'ai fait

DATABASES = {
    "default": {
        "ENGINE": "django.db.backends.sqlite3",
        "NAME": os.path.join(BASE_DIR, "db.sqlite3"),
    },
    "test": {
        "ENGINE": "django.db.backends.sqlite3",
        "NAME": "tests_db.sqlite3",
    },
}
if config.getstr("database.engine") == "postgresql":
    DATABASES["default"] = {
        "ENGINE": "django.db.backends.postgresql",
        "NAME": config.getstr("database.name"),  # noqa: F405
        "USER": config.getstr("database.user"),  # noqa: F405
        "PASSWORD": config.getstr("database.password"),  # noqa: F405
    }
if os.environ.get("E2E_TESTS"):
    DATABASES["default"] = DATABASES["test"]

et donc quand je fais les tests je lance E2E_TESTS=1 python manage.py runserver
comme ça en local je peux avoir en parallèle une copie des données de prod ou les données E2E

back/iarbre_data/management/commands/populate.py

…with-testing-data-88

ludovicdmt

J'avais oublié de regardé là. Bon pour moi et merci pour ce taf !

back/iarbre_data/management/commands/populate.py

ludovicdmt · 2025-03-27T10:38:11Z

back/iarbre_data/management/commands/populate.py

+                (x - radius, y - radius),
+            ]
+        )
+        # Ce n’est pas au bon endroit ^^


back/iarbre_data/management/commands/populate.py

ludovicdmt · 2025-03-27T10:39:39Z

back/iarbre_data/management/commands/populate.py

+        self.stdout.write(self.style.SUCCESS("> Tiles created"))
+
+    def _generate_plantability_tiles(self):
+        random.seed(38250)


back/iarbre_data/management/commands/populate.py

ludovicdmt · 2025-03-27T10:43:37Z

back/iarbre_data/management/commands/populate.py

+        for i in range(4):
+            for j in range(4):


Détail mais j'aime bien itertools.product pour la lisibilité

En quoi est-ce que tu trouves ça plus lisible ? Est-ce parce qu’on enlève une tabulation ? 

De mon côté, j’ai plus l’habitude des boucles imbriquées que je trouve plus lisibles. Mais dans ce contexte, je m’en moque un peu donc je tente de faire à ta manière.

ludovicdmt · 2025-03-27T10:44:23Z

back/iarbre_data/management/commands/populate.py

+        self.stdout.write(self.style.SUCCESS("> MVT Tiles for plantability computed"))
+
+    def handle(self, *args, **options):
+        self._create_city_and_iris()


Tu peux avoir envie de l'utiliser en local pour éviter de te générer toute la DB aussi non ?

Marc-AntoineA · 2025-03-27T10:49:46Z

@ludovicdmt , @maxbellec , pour moi cette base de données n’est pas du tout seulement pour les tests e2e mais surtout pour pouvoir développer en local sans récupérer toute la base de données à chaque fois. Ces derniers jours, ça m’est arrivé plusieurs fois de devoir faire des recever_db_and_media et vraiment très désagréable (plusieurs dizaines de minutes de téléchargement).

C’est d’ailleurs pour que les données puissent co-exister que je n’ai pas généré les données sur Lyon mais ailleurs.

Je suis donc plutôt défavorable à séparer dans une db dédiée.

Marc-AntoineA

Des commentaires

Marc-AntoineA added 3 commits March 16, 2025 11:11

feat(front): map coords are dynamicaly saved into route (#133)

19ab260

refacto(back): move feedback from iarbre_data to api (ping #99)

f16de8f

test: generates fake plantability data, somewhere in the ocean (proje…

f0f9f59

…ction error)

Marc-AntoineA commented Mar 18, 2025

View reviewed changes

back/iarbre_data/management/commands/populate.py Outdated Show resolved Hide resolved

Marc-AntoineA added 6 commits March 21, 2025 16:41

Merge branch 'dev' of github.com:TelesCoop/iarbre into feat/populate-…

d502cff

…with-testing-data-88

fix(front): typescript typo

870171e

fix: lint

f80096e

Merge branch 'dev' of github.com:TelesCoop/iarbre into feat/populate-…

512d20e

…with-testing-data-88

Merge branch 'dev' of github.com:TelesCoop/iarbre into feat/populate-…

a39534f

…with-testing-data-88

feat: add iris in populate and improve perf in initgrid

274e953

QuentinMadura mentioned this pull request Mar 26, 2025

Adds e2e on map interactions #152

Merged

Marc-AntoineA added 9 commits March 26, 2025 21:42

feat: generate fake lcz

4aca35f

chore: improve .gitignore

5b827eb

Merge branch 'dev' of github.com:TelesCoop/iarbre into feat/populate-…

0b719c0

…with-testing-data-88

chore: merge

dd14a96

feat: do not regenerate tiles

8f5d73c

ci: e2e tests should work in ci

f758fef

feat: small city

a818083

clean: remove debug code

62d9a1e

ci: typo

5b8f042

Marc-AntoineA changed the title ~~draft: feat/populate with testing data 88~~ feat/populate with testing data 88 Mar 27, 2025

Marc-AntoineA added 3 commits March 27, 2025 10:59

fix: typo in populate

8b92610

doc: for testing data and changelog

2888112

doc: missing doc in changelog

d4f7b47

maxbellec reviewed Mar 27, 2025

View reviewed changes

back/api/models.py Outdated Show resolved Hide resolved

maxbellec reviewed Mar 27, 2025

View reviewed changes

back/iarbre_data/management/commands/c02_init_grid.py Outdated Show resolved Hide resolved

ludovicdmt approved these changes Mar 27, 2025

View reviewed changes

maxbellec reviewed Mar 27, 2025

View reviewed changes

back/iarbre_data/management/commands/populate.py Outdated Show resolved Hide resolved

Merge branch 'dev' of github.com:TelesCoop/iarbre into feat/populate-…

7cc3e77

…with-testing-data-88

ludovicdmt approved these changes Mar 27, 2025

View reviewed changes

clean: remove debug code

4011e71

Marc-AntoineA commented Mar 27, 2025

View reviewed changes

clean

7922499

Marc-AntoineA merged commit 5fdc221 into dev Mar 27, 2025
3 checks passed

		@@ -1,5 +1,19 @@
		# Journal de changements

		## 🔖 0.3.0 (20225-XX-XX) - XXX

Conversation

Marc-AntoineA commented Mar 16, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

Uh oh!

QuentinMadura commented Mar 26, 2025

Uh oh!

Uh oh!

Uh oh!

ludovicdmt left a comment • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

maxbellec commented Mar 27, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

Uh oh!

ludovicdmt left a comment

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Marc-AntoineA commented Mar 27, 2025

Uh oh!

Marc-AntoineA left a comment

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

4 participants

Marc-AntoineA commented Mar 16, 2025 •

edited

Loading

ludovicdmt left a comment •

edited

Loading

maxbellec commented Mar 27, 2025 •

edited

Loading