prise en compte liens morts

Author: pierre-lamarche

DESCRIPTION

@@ -1,6 +1,6 @@
 Package: doremifasol
 Title: Data on Insee Website
-Version: 0.5.4.9001
+Version: 0.5.5.9001
 Authors@R: c(
   person("Pierre", "Lamarche", email = "[email protected]", role = c("aut", "cre")),
   person("Pierre-Yves", "Berrard", role = "aut", email = "[email protected]"),

R/chargerDonnees.R

@@ -17,9 +17,11 @@ chargerDonnees <- function(telechargementFichier, vars = NULL, ...) {
 
   ## check download has worked
   if (is.null(telechargementFichier$result)) {
-    if (telechargementFichier$type == "json" & file.exists(telechargementFichier$argsImport$fichier)) {
+    if (!is.null(telechargementFichier$message)) {
+      stop("Le t\u00e9l\u00e9chargement a rencontr\u00e9 un probl\u00e8me : erreur ", telechargementFichier$message)
+    } else if (telechargementFichier$type == "json" & file.exists(telechargementFichier$argsImport$fichier)) {
       message <- jsonlite::read_json(telechargementFichier$argsImport$fichier)
-      stop("Erreur ", message$header$statut, " : ", message$header$message)
+      stop("Le t\u00e9l\u00e9chargement a rencontr\u00e9 un probl\u00e8me : erreur ",  message$header$statut, " - ", message$header$message)
     } else {
       warning("Le t\u00e9l\u00e9chargement a rencontr\u00e9 un probl\u00e8me.")
     }

R/sirets_successeurs.R

@@ -78,7 +78,7 @@ sucesseurs_quiet <- function(sirets, ...) {
   tab <- tryCatch(
     chargerDonnees(dl),
     error = function(e) {
-      if (grepl("Erreur 404", e$message))
+      if (grepl("erreur 404", e$message))
         return(data.frame())
       else {
         return(NULL)

R/sysdata.rda

@@ -44,7 +44,17 @@ telechargerFichier <- function(donnees, date=NULL, telDir=getOption("doremifasol
 
     if (!file.exists(nomFichier) || force) {
       res <- try(httr::GET(caract$lien, httr::write_disk(nomFichier, overwrite = TRUE), httr::progress()))
-      if (res$status_code == 200) dl <- 0
+      if (res$status_code == 200) {
+        dl <- 0
+      } else {
+        file.remove(nomFichier)
+        return(
+          list(
+            resultat = dl,
+            message = res$status_code
+          )
+        )
+      }
       if (tools::md5sum(nomFichier) != caract$md5) {
         warning("Fichier sur insee.fr modifi\u00e9 ou corruption lors du t\u00e9l\u00e9chargement.")
       }

R/telechargerFichier.R

@@ -31211,6 +31211,38 @@
         "big_zip": false,
         "api_rest": true
     },
+    {
+        "nom": "TEST_BPE_NEXIST",
+        "libelle": "Base Permanente des Équipements – Ensemble",
+        "date_ref": "2021-01-01",
+        "collection": "BPE",
+        "lien": "https://www.insee.fr/fr/statistiques/fichier/3568629/bpe21_ensemble_csv.zip",
+        "type": "csv",
+        "zip": true,
+        "big_zip": false,
+        "fichier_donnees": "bpe21_ensemble.csv",
+        "fichier_meta": "varmod_bpe21_ensemble.csv",
+        "separateur": ";",
+        "api_rest": false,
+        "md5": "707b7668c2a18745f5fa1bd0a41a633d",
+        "size": 6166313,
+        "type_col": {
+            "AAV2020": "character",
+            "AN": "integer",
+            "BV2012": "character",
+            "DEP": "character",
+            "DEPCOM" : "character",
+            "DOM": "character",
+            "EPCI": "character",
+            "DCIRIS": "character",
+            "QUALI_IRIS": "character",
+            "REG": "character",
+            "SDOM": "character",
+            "TYPEQU": "character",
+            "UU2020": "character",
+            "NB_EQUIP": "integer"
+        }
+    },
     {
         "nom": "RP_POP_LEGALE_COM",
         "libelle": "Populations légales des communes en vigueur au 1er janvier 2022, en habitant",

data-raw/liste_donnees.json

@@ -1,4 +1,5 @@
 Version: 1.0
+ProjectId: 5d8613bf-04cd-4de6-94a7-273907a35e9b
 
 RestoreWorkspace: Default
 SaveWorkspace: Default

data/liste_donnees.rda

@@ -103,6 +103,13 @@ test_that("Importation dernier millésime - output data.frame", {
     exact = TRUE
   )
 })
+## test dl sur un lien mort
+test_that("Importation d'un lien mort - retourne une erreur 404", {
+  skip_if_no_app()
+  check_configuration()
+  expect_s3_class(telechargerDonnees("TEST_BPE_NEXIST"),
+                  "try-error")
+})
 ## test dl sur l'API Sirene avec une requête invalide
 test_that("Télécharger des données sur l'API pour les entreprises créées un jour donné", {
   skip_if_no_app()
@@ -122,6 +129,6 @@ test_that("Erreur de syntaxe dans la requête sur l'API Sirene", {
   skip_if_no_app()
   check_configuration()
   expect_s3_class(telechargerDonnees("SIRENE_SIREN_NONDIFF", 
-                                  argsApi = list(q = 'dateDernierTraitementUniteLegale:"2018-11-01" TO "2018-11-15"')),
+                                     argsApi = list(q = 'dateDernierTraitementUniteLegale:"2018-11-01" TO "2018-11-15"')),
                "try-error")
 })