Ajout des fichiers Parquet 🎁 (#90)

* ajout source RP 2021 en parquet

* correction liste données

* montée de version et ajout de arrow dans les deps

* insertion méthode pour parquet

* insertion nouveaux tests et correctifs

Author: pierre-lamarche

DESCRIPTION

@@ -1,6 +1,6 @@
 Package: doremifasol
 Title: Data on Insee Website
-Version: 0.5.3.9001
+Version: 0.5.4.9001
 Authors@R: c(
   person("Pierre", "Lamarche", email = "[email protected]", role = c("aut", "cre")),
   person("Pierre-Yves", "Berrard", role = "aut", email = "[email protected]"),
@@ -13,7 +13,7 @@ Authors@R: c(
 Description: A package primarily intended for Insee staff members willing to use R in order to exploit and analyse data produced by the institute. This package makes it possible to either download on-the-fly the date from the website, or load pre-processed data. It also provides a (so far non comprehensive) list of datasets available on the website.
 Language: fr
 Depends: R (>= 3.5.0)
-Imports: readr, readxl, httr, apinsee, jsonlite, curl, DT
+Imports: readr, readxl, httr, apinsee, jsonlite, curl, DT, arrow
 Suggests: 
     tidyverse,
     data.table,

R/chargerDonnees.R

@@ -51,6 +51,7 @@ chargerDonnees <- function(telechargementFichier, vars = NULL, ...) {
     switch(
       telechargementFichier$type,
       "csv"  = telechargementFichier$argsImport$file,
+      "parquet" = telechargementFichier$argsImport$file,
       "json" = telechargementFichier$argsImport$fichier,
       telechargementFichier$argsImport$path # (autres extensions)
     )
@@ -100,6 +101,10 @@ chargerDonnees <- function(telechargementFichier, vars = NULL, ...) {
     if (!is.null(vars))
       warning("Il n'est pas possible de filtrer les variables charg\u00e9es en m\u00e9moire sur le format JSON pour le moment.")
     res <- do.call(chargerDonneesJson, telechargementFichier$argsImport)
+  } else if (telechargementFichier$type == "parquet") {
+    if (!is.null(vars))
+      telechargementFichier$argsImport$col_select <- vars
+    res <- do.call(arrow::read_parquet, telechargementFichier$argsImport)
   } else stop("Type de fichier inconnu")
 
   # ajout attribut source (pour data.frames hors API)

R/sysdata.rda

@@ -82,6 +82,8 @@ telechargerFichier <- function(donnees, date=NULL, telDir=getOption("doremifasol
         argsImport[["na"]] <- unlist(strsplit(caract$valeurs_manquantes, "/"))
     } else if (caract$type == "xlsx") {
       argsImport <- list(path = fichierAImporter, sheet = caract$onglet, skip = caract$premiere_ligne - 1)
+    } else if (caract$type == "parquet") {
+      argsImport <- list(file = fichierAImporter)
     }
 
     if (!is.null(caract$type_col)) {

R/telechargerFichier.R

@@ -31053,6 +31053,114 @@
         "md5": "57d1bb19fa855c3c8aff37012230cd3d",
         "size": 213044256
     },
+    {
+        "nom": "RP_LOGEMENT",
+        "libelle": "Données du Recensement de Population, table logements ordinaires",
+        "date_ref": "2021-01-01",
+        "collection": "RP",
+        "lien": "https://www.insee.fr/fr/statistiques/fichier/8268903/RP2021_logemt.parquet",
+        "type": "parquet",
+        "zip": false,
+        "api_rest": false,
+        "md5": "e23f0bf95dbb50f227631c53a2fc5ccd",
+        "size": 525493199
+    },	
+    {
+        "nom": "RP_INDCVI",
+        "libelle": "Données du Recensement de Population, table individus au canton-ou-ville",
+        "date_ref": "2021-01-01",
+        "collection": "RP",
+        "lien": "https://www.insee.fr/fr/statistiques/fichier/8268848/RP2021_indcvi.parquet",
+        "type": "parquet",
+        "zip": false,
+        "api_rest": false,
+        "md5": "d3aaba7549201be1282ef32074eb43e3",
+        "size": 487646864
+    },
+    {
+        "nom": "RP_INDREG",
+        "libelle": "Données du Recensement de Population, table individus à la région",
+        "date_ref": "2021-01-01",
+        "collection": "RP",
+        "lien": "https://www.insee.fr/fr/statistiques/fichier/8205946/RP2021_indreg.parquet",
+        "type": "parquet",
+        "zip": false,
+        "api_rest": false,
+        "md5": "d05b59062ba5d1903c4f88c4b1db85c6",
+        "size": 621117385
+    },
+    {
+        "nom": "RP_MOBSCO",
+        "libelle": "Données du Recensement de Population, table des mobilités scolaires",
+        "date_ref": "2021-01-01",
+        "collection": "RP",
+        "lien": "https://www.insee.fr/fr/statistiques/fichier/8205892/RP2021_mobsco.parquet",
+        "type": "parquet",
+        "zip": false,
+        "api_rest": false,
+        "md5": "7c6f8f786c0484ce2ee58726b5efbab5",
+        "size": 25200366
+    },
+    {
+        "nom": "RP_MOBPRO",
+        "libelle": "Données du Recensement de Population, table des mobilités professionnelles",
+        "date_ref": "2021-01-01",
+        "collection": "RP",
+        "lien": "https://www.insee.fr/fr/statistiques/fichier/8205896/RP2021_mobpro.parquet",
+        "type": "parquet",
+        "zip": false,
+        "api_rest": false,
+        "md5": "8505b978590a1f0ec97d5b28540b8530",
+        "size": 65468958
+    },
+    {
+        "nom": "RP_MOBZELT",
+        "libelle": "Données du Recensement de Population, table des mobilités dans les zones d’emploi",
+        "date_ref": "2021-01-01",
+        "collection": "RP",
+        "lien": "https://www.insee.fr/fr/statistiques/fichier/8205270/RP2021_mobzelt.parquet",
+        "type": "parquet",
+        "zip": false,
+        "api_rest": false,
+        "md5": "1513ddf99dcb58fba8c78cf013c70690",
+        "size": 96115197
+    },
+    {
+        "nom": "RP_MIGCOM",
+        "libelle": "Données du Recensement de Population, table des mobilités résidentielles avec localisation à la commune antérieure",
+        "date_ref": "2021-01-01",
+        "collection": "RP",
+        "lien": "https://www.insee.fr/fr/statistiques/fichier/8205829/RP2021_migcom.parquet",
+        "type": "parquet",
+        "zip": false,
+        "api_rest": false,
+        "md5": "2d46438e4c3834e8a2c1f1cdf89c78f2",
+        "size": 175333309
+    },
+    {
+        "nom": "RP_MIGGCO",
+        "libelle": "Données du Recensement de Population, table des mobilités résidentielles avec localisation au pays antérieur",
+        "date_ref": "2021-01-01",
+        "collection": "RP",
+        "lien": "https://www.insee.fr/fr/statistiques/fichier/8205886/RP2021_miggco.parquet",
+        "type": "parquet",
+        "zip": false,
+        "api_rest": false,
+        "md5": "bebd2ea96aebe802e1cf1f6aee64d9a3",
+        "size": 129149792
+    },
+    {
+        "nom": "RP_MIGDEP",
+        "libelle": "Données du Recensement de Population, table des mobilités avec localisation au département antérieur",
+        "date_ref": "2021-01-01",
+        "collection": "RP",
+        "lien": "https://www.insee.fr/fr/statistiques/fichier/8205841/RP2021_migdep.parquet",
+        "type": "parquet",
+        "zip": false,
+        "api_rest": false,
+        "md5": "23f452985278b2b6eda55c806606d1ba",
+        "size": 191434659
+    },
     {
         "nom": "SIRENE_SIREN",
         "libelle": "Données du répertoire Sirène depuis 1973, unités légales",

data-raw/liste_donnees.json

@@ -22,7 +22,7 @@ test_that("pas de valeurs incongrues", {
   )
 
   # lien (motif, pas existence)
-  url_pattern <- "^https://www.insee.fr/fr/statistiques/fichier/\\d{5,}/.+\\.(zip|xls|xlsx)$"
+  url_pattern <- "^https://www.insee.fr/fr/statistiques/fichier/\\d{5,}/.+\\.(zip|xls|xlsx|parquet)$"
   api_url_pattern <- "^https://api.insee.fr/entreprises/sirene(/V3.11)?/sire[nt](/(liensSuccession|nonDiffusibles))?$"
   expect_true(
     all(grepl(paste0(url_pattern, "|", api_url_pattern), df_ld$lien))
@@ -33,7 +33,7 @@ test_that("pas de valeurs incongrues", {
     all(df_ld$type[df_ld$api_rest] == "json")
   )
   expect_true(
-    all(df_ld$type[!df_ld$api_rest] %in% c("csv", "xls", "xlsx"))
+    all(df_ld$type[!df_ld$api_rest] %in% c("csv", "xls", "xlsx", "parquet"))
   )
 
   # zip

data/liste_donnees.rda

@@ -69,6 +69,20 @@ test_that("Importation type XLSX - output data.frame", {
     "list"
   )
 })
+## test import de données parquet
+test_that("Importation type parquet - output data.frame", {
+  expect_s3_class(
+    telechargerDonnees("RP_MOBSCO", date = 2021),
+    c("insee_data_frame", "data.frame"),
+    exact = TRUE
+  )
+})
+## test import de qq variables parquet
+test_that("Importation type parquet - sélection de variables", {
+  expect_true(
+    length(names(telechargerDonnees("RP_MOBSCO", date = 2021, vars = c("COMMUNE", "ARM")))) == 2
+  )
+})
 ## test sélection des variables
 test_that("Sélection de variables dans la BPE", {
   expect_true(length(names(telechargerDonnees(donnees = "BPE_ENS", vars = c("GEO", "GEO_OBJECT", "FACILITY_TYPE", "OBS_VALUE")))) == 4)

tests/testthat/test_liste_donnees.R

@@ -56,6 +56,10 @@ test_that("Télécharger type XLS - output correct", {
 test_that("Télécharger type XLSX - output correct", {
   expect_true(telechargerFichier("AIRE_URBAINE")$result == 0)
 })
+## test dl de données parquet
+test_that("Télécharger type parquet - output correct", {
+  expect_true(telechargerFichier("RP_MOBSCO", 2021)$result == 0)
+})
 ## test spécification de l'encodage
 test_that("Télécharger des données avec un encodage spécifique", {
   expect_true(!is.null(telechargerFichier("COG_COMMUNE", date = "2018")$argsImport$locale))