Merge branch 'dev' into continuous_deployment

matthias_schaub · matthias_schaub · commit e6d5e544dcfb · 2020-10-13T20:33:59.000+02:00
diff --git a/docs/source/dev_setup.md b/docs/source/dev_setup.md
@@ -141,7 +141,7 @@ There exists a Firebase instance only for Travis.
 For the configuration of Travis following environment variables are used:
 
 - FIREBASE_API_KEY
-- FIREBASE_DB: test-mapswipe
+- FIREBASE_DB
 - FIREBASE_TOKEN
 - POSTGRES_DB
 - POSTGRES_HOST
@@ -153,7 +153,12 @@ For the configuration of Travis following environment variables are used:
 
 Those variables can be definied directly in the repository settings of Travis. For more inofmration refer to: https://docs.travis-ci.com/user/environment-variables/#defining-variables-in-repository-settings
 
-Additionaly a Service Account Key in JSON format is encrypted and added to the GitHub repository using the travis CLI. Read more on that process in the Travis docs: https://docs.travis-ci.com/user/encrypting-files/
+Additionaly a Service Account Key in JSON format is encrypted and added to the GitHub repository using the travis CLI. Once Travis runs it will decrypt the Service Account Key. Read more on that process in the Travis docs: https://docs.travis-ci.com/user/encrypting-files/
+
+Once a Travis build succeeds Travis executes an Ansible Playbook to deploy MapSwipe Workers to an already installed and configured server.
+For this to work an SSH-Key (with access rights to the server) is also encrypted and added to the GitHub repository. Travis will decrypt the key and Ansible will use it to execute commands defined in the Playbook on the server.
+
+All files encrypted for Travis (Service Account Key, SSH-Key) are stored in the `travis` directory.
 
 
 ## Database Backup
diff --git a/docs/source/tags b/docs/source/tags
@@ -0,0 +1,6 @@
+!_TAG_FILE_FORMAT	2	/extended format; --format=1 will not append ;" to lines/
+!_TAG_FILE_SORTED	1	/0=unsorted, 1=sorted, 2=foldcase/
+!_TAG_PROGRAM_AUTHOR	Darren Hiebert	/dhiebert@users.sourceforge.net/
+!_TAG_PROGRAM_NAME	Exuberant Ctags	//
+!_TAG_PROGRAM_URL	http://ctags.sourceforge.net	/official site/
+!_TAG_PROGRAM_VERSION	5.8	//
diff --git a/firebase/functions/index.js b/firebase/functions/index.js
@@ -34,62 +34,19 @@ exports.counter = functions.database.ref('/v2/results/{projectId}/{groupId}/{use
     const groupRequiredCountRef = admin.database().ref('/v2/groups/'+context.params.projectId+'/'+context.params.groupId+'/requiredCount')
     const numberOfTasksRef      = admin.database().ref('/v2/groups/'+context.params.projectId+'/'+context.params.groupId+'/numberOfTasks')
 
-    const contributorsCountRef  = admin.database().ref('/v2/projects/'+context.params.projectId+'/contributorCount')
-
-    const taskContributionCountRef      = admin.database().ref('/v2/users/'+context.params.userId+'/taskContributionCount')
-    const groupContributionCountRef     = admin.database().ref('/v2/users/'+context.params.userId+'/groupContributionCount')
-    const projectContributionCountRef   = admin.database().ref('/v2/users/'+context.params.userId+'/projectContributionCount')
-    const contributionsRef              = admin.database().ref('/v2/users/'+context.params.userId+'/contributions/'+context.params.projectId)
-    const groupContributionsRef         = admin.database().ref('/v2/users/'+context.params.userId+'/contributions/'+context.params.projectId +'/'+context.params.groupId)
-    const totalTimeSpentMappingRef      = admin.database().ref('/v2/users/'+context.params.userId+'/timeSpentMapping')
+    const taskContributionCountRef          = admin.database().ref('/v2/users/'+context.params.userId+'/taskContributionCount')
+    const groupContributionCountRef         = admin.database().ref('/v2/users/'+context.params.userId+'/groupContributionCount')
+    const projectContributionsRef           = admin.database().ref('/v2/users/'+context.params.userId+'/contributions/'+context.params.projectId)
+    const groupContributionsRef             = admin.database().ref('/v2/users/'+context.params.userId+'/contributions/'+context.params.projectId +'/'+context.params.groupId)
+    const projectTaskContributionCountRef   = admin.database().ref('/v2/users/'+context.params.userId+'/contributions/'+context.params.projectId+'/taskContributionCount')
+    const projectGroupContributionCountRef  = admin.database().ref('/v2/users/'+context.params.userId+'/contributions/'+context.params.projectId+'/groupContributionCount')
+    const totalTimeSpentMappingRef          = admin.database().ref('/v2/users/'+context.params.userId+'/timeSpentMapping')
 
     const startTimeRef          = admin.database().ref('/v2/results/'+context.params.projectId+'/'+context.params.groupId+'/'+context.params.userId+'/startTime')
     const endTimeRef            = admin.database().ref('/v2/results/'+context.params.projectId+'/'+context.params.groupId+'/'+context.params.userId+'/endTime')
     const timeSpentMappingRef   = admin.database().ref('/v2/results/'+context.params.projectId+'/'+context.params.groupId+'/'+context.params.userId+'/timeSpentMappingRef')
 
-    // references for project based counters for tasks and groups
-    const projectTaskContributionCountRef      = admin.database().ref('/v2/users/'+context.params.userId+'/contributions/'+context.params.projectId+'/taskContributionCount')
-    const projectGroupContributionCountRef     = admin.database().ref('/v2/users/'+context.params.userId+'/contributions/'+context.params.projectId+'/groupContributionCount')
-
-    // Counter for groups
-    const groupFinishedCount = groupFinishedCountRef.transaction((currentCount) => {
-        return currentCount + 1
-    })
-    promises.push(groupFinishedCount)
-
-    const groupRequiredCount = groupRequiredCountRef.transaction((currentCount) => {
-        return currentCount - 1
-    })
-    promises.push(groupRequiredCount)
-
-    // Counter for projects
-    const contributorsCount = contributionsRef.once('value')
-        .then((dataSnapshot) => {
-            if (dataSnapshot.exists()) {
-                return null
-            }
-            else {
-                return contributorsCountRef.transaction((currentCount) => {
-                    return currentCount + 1
-                })
-            }
-        })
-    promises.push(contributorsCount)
-
     // Counter for users
-    const projectContributionCount = contributionsRef.once('value')
-        .then((dataSnapshot) => {
-            if (dataSnapshot.exists()) {
-                return null
-            }
-            else {
-                return projectContributionCountRef.transaction((currentCount) => {
-                    return currentCount + 1
-                })
-            }
-        })
-    promises.push(projectContributionCount)
-
     const groupContributionCount = groupContributionCountRef.transaction((currentCount) => {
         return currentCount + 1
     });
@@ -107,22 +64,12 @@ exports.counter = functions.database.ref('/v2/results/{projectId}/{groupId}/{use
         })
     promises.push(taskContributionCount)
 
-    const contributions = groupContributionsRef.once('value')
-        .then((dataSnapshot) => {
-            if (dataSnapshot.exists()) {
-                return null
-            }
-            else {
-            const data = {
-                'startTime': result['startTime'],
-                'endTime': result['endTime']
-             }
-             return groupContributionsRef.set(data)
-            }
-        })
-    promises.push(contributions)
+    // Counters for tasks and groups per user and per project
+    const projectGroupContributionCount = projectGroupContributionCountRef.transaction((currentCount) => {
+        return currentCount + 1
+    });
+    promises.push(projectGroupContributionCount)
 
-    // counters for tasks and groups per user and per project
     const projectTaskContributionCount = numberOfTasksRef.once('value')
         .then((dataSnapshot) => {
             const numberOfTasks = dataSnapshot.val()
@@ -135,11 +82,31 @@ exports.counter = functions.database.ref('/v2/results/{projectId}/{groupId}/{use
         })
     promises.push(projectTaskContributionCount)
 
+    const contributions = groupContributionsRef.once('value')
+        .then((dataSnapshot) => {
+            if (dataSnapshot.exists()) {
+                return null
+            }
+            else {
+                const data = {
+                    'startTime': result['startTime'],
+                    'endTime': result['endTime']
+                }
+                return groupContributionsRef.set(data)
+            }
+        })
+    promises.push(contributions)
+
     // Counter for groups
-    const projectGroupContributionCount = projectGroupContributionCountRef.transaction((currentCount) => {
+    const groupFinishedCount = groupFinishedCountRef.transaction((currentCount) => {
         return currentCount + 1
-    });
-    promises.push(projectGroupContributionCount)
+    })
+    promises.push(groupFinishedCount)
+
+    const groupRequiredCount = groupRequiredCountRef.transaction((currentCount) => {
+        return currentCount - 1
+    })
+    promises.push(groupRequiredCount)
 
     // // TODO: Does not work
     // const timeSpentMapping = timeSpentMappingRef.set((timeSpentMapping) => {
@@ -163,6 +130,28 @@ exports.counter = functions.database.ref('/v2/results/{projectId}/{groupId}/{use
 })
 
 
+exports.counter_2 = functions.database.ref('/v2/users/{userId}/contributions/{projectId}/').onCreate((snapshot, context) => {
+    const promises_2 = []
+
+    // Firebase Realtime Database references
+    const contributorCountRef           = admin.database().ref('/v2/projects/'+context.params.projectId+'/contributorCount')
+    const projectContributionCountRef   = admin.database().ref('/v2/users/'+context.params.userId+'/projectContributionCount')
+
+    const projectContributionCount = projectContributionCountRef.transaction((currentCount) => {
+        return currentCount + 1
+    })
+    promises_2.push(projectContributionCount)
+
+    const contributorCount = contributorCountRef.transaction((currentCount) => {
+        return currentCount + 1
+    })
+    promises_2.push(contributorCount)
+
+    return Promise.all(promises_2)
+})
+
+
+
 // Increment project.resultCount by group.numberOfTasks.
 // Or (Depending of increase or decrease of group.RequiredCount)
 // Increment project.resultCount by group.numberOfTasks
@@ -291,4 +280,4 @@ exports.decProjectProgress = functions.database.ref('/v2/projects/{projectId}/re
             })
          })
     return projectProgress
-})
+})
diff --git a/mapswipe_workers/mapswipe_workers/project_types/base/project.py b/mapswipe_workers/mapswipe_workers/project_types/base/project.py
@@ -50,26 +50,27 @@ def __init__(self, project_draft):
            True if successful. False otherwise.
         """
 
+        self.contributorCount = 0
         self.created = dt.datetime.now()
         self.createdBy = project_draft["createdBy"]
-        self.groups = list()
         self.groupMaxSize = project_draft.get("groupMaxSize", 0)
-        self.resultCount = 0
+        self.groups = list()
         self.image = project_draft["image"]
         self.isFeatured = False
         self.lookFor = project_draft["lookFor"]
         self.name = project_draft["name"]
-        self.requiredResults = 0
         self.progress = 0
         self.projectDetails = project_draft["projectDetails"]
         self.projectId = project_draft["projectDraftId"]
-        self.projectType = int(project_draft["projectType"])
-        self.verificationNumber = project_draft["verificationNumber"]
-        self.projectTopic = project_draft.get("projectTopic", None)
-        self.projectRegion = project_draft.get("projectRegion", None)
         self.projectNumber = project_draft.get("projectNumber", None)
+        self.projectRegion = project_draft.get("projectRegion", None)
+        self.projectTopic = project_draft.get("projectTopic", None)
+        self.projectType = int(project_draft["projectType"])
         self.requestingOrganisation = project_draft.get("requestingOrganisation", None)
+        self.requiredResults = 0
+        self.resultCount = 0
         self.teamId = project_draft.get("teamId", None)
+        self.verificationNumber = project_draft["verificationNumber"]
         if not self.teamId:
             self.status = "inactive"  # this is a public project
         else:
diff --git a/mapswipe_workers/requirements.txt b/mapswipe_workers/requirements.txt
@@ -10,5 +10,6 @@ psycopg2-binary==2.8.4
 python-dateutil==2.8.1
 schedule==0.6.0
 sentry-sdk==0.14.0
+six==1.15.0
 slackclient==2.5.0
 xdg==4.0.1
diff --git a/mapswipe_workers/sample_data/build_area/default_build_area_tutorial_screens.json b/mapswipe_workers/sample_data/build_area/default_build_area_tutorial_screens.json
@@ -13,7 +13,7 @@
     "success": {
       "description": "Swipe to the next screen to look for more.",
       "icon": "check",
-      "title": "You found your first area with buildings!"
+      "title": "You found your first areas with buildings!"
     }
   },
   "2": {
diff --git a/mapswipe_workers/sample_data/build_area/solid_waste_tutorial_screens_fr.json b/mapswipe_workers/sample_data/build_area/solid_waste_tutorial_screens_fr.json
@@ -0,0 +1,138 @@
+{
+  "1": {
+    "hint" : {
+      "description" : "Les voyez-vous? Faites glisser pour en savoir plus.",
+      "icon" : "swipe-left",
+      "title" : "Nous avons marqué en vert l'image qui contient des déchets."
+    },
+    "instructions" : {
+      "description" : "Tapez une seule fois sur l'image contenant des déchets.",
+      "icon" : "tap-1",
+      "title" : "Il y'a des déchets sur ces images."
+    },
+    "success" : {
+      "description" : "Faites glisser vers l'écran suivant pour continuer.",
+      "icon" : "check",
+      "title" : "Vous avez trouvé votre première zone de déchets!"
+    }
+  },
+  "2": {
+    "hint" : {
+      "description" : "Tapez deux fois quand vous n'êtes pas sûr.e. Faites glisser pour continuer.",
+      "icon" : "swipe-left",
+      "title" : "Jaune signifie qu'il pourrait y avoir des déchets"
+    },
+    "instructions" : {
+      "description" : "Tapez deux fois sur l'image pour la marquer en jaune et indiquer qu'il pourrait y avoir des déchets.",
+      "icon" : "tap-2",
+      "title" : "Nous ne sommes pas sûrs si c'est un tas de déchets"
+    },
+    "success" : {
+      "description" : "Faites glisser vers l'écran suivant pour continuer.",
+      "icon" : "check",
+      "title" : "Parfait. Faites ceci quand vous avez un doute."
+    }
+  },
+  "3": {
+    "hint" : {
+      "description" : "Voyez-vous pourquoi l'image est mauvaise? Faites glisser pour la suite.",
+      "icon" : "swipe-left",
+      "title" : "Nous avons marqué l'image incomplète en rouge"
+    },
+    "instructions" : {
+      "description" : "Tapez trois fois sur l'image incomplète pour la marquer en rouge.",
+      "icon" : "tap-3",
+      "title" : "Il y'a une image inutilisable"
+    },
+    "success" : {
+      "description" : "Faites glisser pour continuer.",
+      "icon" : "check",
+      "title" : "Bon travail!"
+    }
+  },
+  "4": {
+    "hint" : {
+      "description" : "Il n'y a pas de déchets sur cet écran, vous pouvez simplement faire glisser pour continuer.",
+      "icon" : "swipe-left",
+      "title" : "Pas besoin de taper cette fois-ci"
+    },
+    "instructions" : {
+      "description" : "Pas besoin de taper. Faites simplement glisser vers l'écran suivant.",
+      "icon" : "swipe-left",
+      "title" : "Pas de déchets? Pas besoin de taper!"
+    },
+    "success" : {
+      "description" : "Faites glisser pour continuer",
+      "icon" : "check",
+      "title" : "Parfait!"
+    }
+  },
+  "5": {
+    "hint" : {
+      "description" : "Voyez-vous les déchets que nous avons marqués en vert? Faites glisser pour la suite.",
+      "icon" : "swipe-left",
+      "title" : "Nous avons marqué les bonnes réponses"
+    },
+    "instructions" : {
+      "description" : "Pour chaque carré, tapez une fois s'il y'a des déchets, deux fois si vous avez un doute, trois fois si l'image n'est pas claire.",
+      "icon" : "tap",
+      "title" : "À votre tour d'utiliser ce que vous venez d'apprendre"
+    },
+    "success" : {
+      "description" : "Faites glisser pour voir un autre exemmple.",
+      "icon" : "check",
+      "title" : "Bon travail! Vous avez trouvé tous les déchets!"
+    }
+  },
+  "6": {
+    "hint" : {
+      "description" : "Assurez-vous de marquer chaque case contenant des déchets en vert. Faites glisser pour la suite.",
+      "icon" : "swipe-left",
+      "title" : "Nous avons marqué les bonnes réponses"
+    },
+    "instructions" : {
+      "description" : "Marquez chaque image contenant des déchets en vert.",
+      "icon" : "tap",
+      "title" : "Il y'a beaucoup de déchets ici!"
+    },
+    "success" : {
+      "description" : "Faites glisser pour voir un autre exemmple.",
+      "icon" : "check",
+      "title" : "Bien joué! Vous avez tout trouvé!"
+    }
+  },
+  "7": {
+    "hint" : {
+      "description" : "Voyez-vous les déchets que nous avons marqués en vert? En aviez-vous manqué? Faites glisser pour continuer.",
+      "icon" : "swipe-left",
+      "title" : "Nous avons marqué les bonnes réponses"
+    },
+    "instructions" : {
+      "description" : "Même si les déchets ne sont que dans le coin de l'image, marquez la en vert.",
+      "icon" : "tap",
+      "title" : "Marquez bien toutes les images"
+    },
+    "success" : {
+      "description" : "Faites glisser pour voir un autre exemmple.",
+      "icon" : "check",
+      "title" : "Bien joué! Vous avez tout trouvé!"
+    }
+  },
+  "8": {
+    "hint" : {
+      "description" : "Faire glisser de haut en bas de cette façon peut vous faire économiser beaucoup de temps. Faites glisser pour la suite.",
+      "icon" : "swipe-left",
+      "title" : "Toutes les images sont rouges comme elles sont inutilisables"
+    },
+    "instructions" : {
+      "description" : "Quand toutes les images sont mauvaises, faites glisser de haut en bas pour les marquer toutes en rouge.",
+      "icon" : "swipe-down",
+      "title" : "Toutes les images sont mauvaises ou manquantes... C'est trop long à taper!"
+    },
+    "success" : {
+      "description" : "Vous pouvez gagner beaucoup de temps ainsi. Faites glisser vers la gauche pour la suite.",
+      "icon" : "check",
+      "title" : "Parfait!"
+    }
+  }
+}

Original file line number	Diff line number	Diff line change
`@@ -13,7 +13,7 @@`
`13`	`13`	`"success": {`
`14`	`14`	`"description": "Swipe to the next screen to look for more.",`
`15`	`15`	`"icon": "check",`
`16`		`- "title": "You found your first area with buildings!"`
	`16`	`+ "title": "You found your first areas with buildings!"`
`17`	`17`	`}`
`18`	`18`	`},`
`19`	`19`	`"2": {`