new sauvegarde intro

Author: antoine-palazz

2_Clustering.ipynb

@@ -73,6 +73,14 @@
     "Pour lire la documentation associée aux données : https://static.data.gouv.fr/resources/donnees-de-consommations-et-habitudes-alimentaires-de-letude-inca-3/20210128-192017/notice-utilisateurs-donnees-inca3-data.gouvjanv21.pdf"
    ]
   },
+  {
+   "cell_type": "markdown",
+   "id": "15dc0ae1-3e63-4792-8f12-91dd0ef12206",
+   "metadata": {},
+   "source": [
+    "### Imports"
+   ]
+  },
   {
    "cell_type": "markdown",
    "id": "b8ccb064-1f6b-4152-852c-729209734fc7",
@@ -91,6 +99,27 @@
     "!pip install --quiet -r requirements.txt"
    ]
   },
+  {
+   "cell_type": "markdown",
+   "id": "a7cd2bb9-d628-436b-a154-c184296c4252",
+   "metadata": {},
+   "source": [
+    "Exécutez également les cellules ci-dessous pour importer l'ensemble des jeux de données nécessaires à l'étude :"
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "e0324aa7-da42-4381-9cd8-f7d71c66482e",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "# TO DO\n",
+    "# Est-ce qu'on balance les codes d'imports directement ou bien on présente s3\n",
+    "# et on laisse les participants retrouver les codes d'imports à partir de là ?\n",
+    "# Possibilité aussi de laisser faire et ajouter correction à dérouler si besoin"
+   ]
+  },
   {
    "cell_type": "markdown",
    "id": "8b023787-27db-4ad6-8cf6-f2d7cd3e443d",
@@ -125,13 +154,80 @@
     "\n",
     "_L'apprentissage non supervisé_ est une autre branche du ML qui ne consiste cette fois plus à prédire une variable donnée à partir de données labellisées.\n",
     "Au coeur de l'apprentissage non supervisé on trouve notamment le __clustering__.\n",
-    "Cette fois-ci, le but est de créer à partir d'une population donnée un ensemble de clusters (ou paquets) d'individus regroupés par similarité. Ce sera peut-être plus clair avec quelques exemples et applications :\n",
+    "Cette fois-ci, le but est de créer à partir d'une population donnée un ensemble de clusters (ou paquets) d'individus regroupés par similarité, en utilisant de façon automatiques les caractéristiques les plus discriminantes de notre population. Ce sera peut-être plus clair avec quelques exemples et applications :\n",
     "- Une enseigne de retail possède une centaine de magasins en France et souhaite regrouper ces derniers en une poignée de groupes qu'elle pourra approvisionner de la même façon. Chaque groupe devra regrouper des magasins ayant des performances similaires et une clientèle proche. C'est un problème de clustering.\n",
     "- A partir d'une base de données regroupant les thèmes de prédilection de centaines de journalistes (ou bien leurs références), on souhaite regrouper ces mêmes journalistes en quelques catégories au sein desquelles chaque individu aura une orientation politique proche de celles des autres.\n",
     "- En fonction des caractéristiques physiques d'espèces animales ou végétales, on souhaite regrouper ces espèces en un plus petit nombre de groupes.\n",
     "\n"
    ]
   },
+  {
+   "cell_type": "markdown",
+   "id": "96e57398-8acd-4680-8fa5-ea5d712b1921",
+   "metadata": {},
+   "source": [
+    "Il existe plusieurs méthodes pour faire du clustering, les deux plus connues étant :\n",
+    "- Les [K-Moyennes](https://fr.wikipedia.org/wiki/K-moyennes) (ou K-Means), méthode la plus connue, basée sur l'utilisation de centroïdes itérés\n",
+    "- Le [Clustering Ascendant Hiérarchique](https://fr.wikipedia.org/wiki/Regroupement_hi%C3%A9rarchique) (CAH), basé sur des regroupements en groupes de plus en plus grands, donnant par exemple lieu à des visualisations sous forme de dendrogrammes (ressemblant aux arbres phylogénétiques de vos cours de SVT au lycée)\n",
+    "\n",
+    "Nous allons mettre en pratique ces deux méthodes dans ce sujet."
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "5d73323a-0153-41b6-9017-06b3a560e6c7",
+   "metadata": {},
+   "source": [
+    "Une fois nos clusterings effectués, l'un des enjeux est ensuite aussi de pouvoir interpréter ces derniers :\n",
+    "- Quelles sont les caractéristiques les plus discriminantes dans la constitution des groupes ?\n",
+    "- Les clusters générés font-ils bien sens ? Que peut-on dire de ces groupes ?\n",
+    "- Quelles méthodes de visualisation sont les plus adaptées ?\n",
+    "\n",
+    "Pour répondre à ces questions, un des outils principaux que nous pouvons utiliser est l'[Analyse en Composantes Principales](https://fr.wikipedia.org/wiki/Analyse_en_composantes_principales) (ACP), qui à partir de l'ensemble initial des colonnes en crée un ensemble de taille réduite qui maximise la discrimination des données les unes par rapport aux autres via ces nouvelles colonnes.\n",
+    "En réduisant la dimension à moins de 3, on peut ainsi représenter graphiquement les données de façon plus claire."
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "a2917d36-8696-4440-9b55-9f61725ea2f6",
+   "metadata": {},
+   "source": [
+    "### 1. Preprocessing des données"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "c049f261-da0b-4ee8-b13a-1d56de6a4096",
+   "metadata": {},
+   "source": [
+    "Pour cette étude nous allons commencer par la table des habitudes individuelles.\n",
+    "Cette table contient les données des questionnaires auto-administrés relatifs aux volets « Habitudes alimentaires » et « Origine des aliments ».\n",
+    "\n",
+    "Elle regroupe les informations suivantes : lieux et occasions de consommation, consommations hors-foyer et entre les repas, préférences alimentaires, présence de sel/beurre/sauce sur la table au moment des repas, lecture des étiquettes, sources d’informations en alimentation, consommation de denrées animales crues et des croûtes de fromage, préparation des fruits et légumes crus, spécificités de l’alimentation des enfants de 0 à 35 mois (ex : allaitement (exclusif ou partiel), type de laits consommés, diversification alimentaire, matériaux des biberons et des tétines, préparation, stockage et conservation des biberons de lait, mode de chauffage des laits et contenants utilisés), autoconsommation et utilisation de produits phytosanitaires au potager, consommation d’aliments issus de l’agriculture biologique et cuisson des aliments au barbecue."
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "id": "435dce15-ae58-44fb-9243-5a71a7c44c12",
+   "metadata": {},
+   "source": [
+    "Regardons déjà à quoi ressemblent nos données en pratique. En utilisant Pandas, pouvez-vous dire :\n",
+    "- Combien y a-t-il d'individus et de variables ?\n",
+    "- Combien de variables présentent des valeurs vides ? En quelle proportion ?\n",
+    "- Y a-t-il des variables qui ont la même valeur pour tous les individus ?\n",
+    "- Y a-t-il des variables qui n'ont pas de sens pour la caractérisation d'un groupe ? Cela comprend par exemple les identifiants ou données non signifiantes."
+   ]
+  },
+  {
+   "cell_type": "code",
+   "execution_count": null,
+   "id": "93578fa3-f1db-4c5e-9cfa-a66ff7d33d6c",
+   "metadata": {},
+   "outputs": [],
+   "source": [
+    "# A vous de jouer !"
+   ]
+  },
   {
    "cell_type": "markdown",
    "id": "5f583b56-6b2f-4d6e-8d0a-3572000b6aa5",
@@ -206,7 +302,9 @@
   {
    "cell_type": "markdown",
    "id": "baaea642-c801-4eac-bb59-9b49baefada8",
-   "metadata": {},
+   "metadata": {
+    "jp-MarkdownHeadingCollapsed": true
+   },
    "source": [
     "### Données"
    ]
@@ -5434,9 +5532,7 @@
   {
    "cell_type": "markdown",
    "id": "157ce6ff-54b5-424b-9d80-5c4767372fb8",
-   "metadata": {
-    "jp-MarkdownHeadingCollapsed": true
-   },
+   "metadata": {},
    "source": [
     "#### Preprocessing"
    ]
@@ -5552,7 +5648,9 @@
   {
    "cell_type": "markdown",
    "id": "90358b89-ec7f-42f1-93ed-efd1ee724922",
-   "metadata": {},
+   "metadata": {
+    "jp-MarkdownHeadingCollapsed": true
+   },
    "source": [
     "#### ACP"
    ]
@@ -6079,7 +6177,9 @@
   {
    "cell_type": "markdown",
    "id": "fc5abd9a-c631-49a0-9378-f5ca664f23e4",
-   "metadata": {},
+   "metadata": {
+    "jp-MarkdownHeadingCollapsed": true
+   },
    "source": [
     "#### ACP"
    ]
@@ -6602,7 +6702,9 @@
   {
    "cell_type": "markdown",
    "id": "096d83f1-d511-4b6d-b857-038b8b62a7a3",
-   "metadata": {},
+   "metadata": {
+    "jp-MarkdownHeadingCollapsed": true
+   },
    "source": [
     "#### ACP"
    ]