Add IbgeTracker.py #56

Author: samuelgrigolato

IbgeTracker.py

@@ -0,0 +1,109 @@
+#!/usr/bin/env python
+# -*- coding: utf-8 -*-
+import requests
+from lxml.html import fromstring
+from database import MongoDb as Database
+
+
+class IbgeTracker():
+
+    def __init__(self):
+        self.url_ufs = 'http://www.ibge.gov.br/home/geociencias' + \
+                       '/areaterritorial/principal.shtm'
+        self.url_cidades = 'http://www.ibge.gov.br/home/geociencias' + \
+                           '/areaterritorial/area.php?nome=%'
+
+    def _request(self, url):
+        response = requests.post(url)
+        response.raise_for_status()
+        return response.text
+
+    def _get_info_ufs(self, siglas):
+        texto = self._request(self.url_ufs)
+        html = fromstring(texto)
+        seletorcss_linhas = "div#miolo_interno > table > tr"
+        linhas = html.cssselect(seletorcss_linhas)
+        linhas.pop()  # a primeira é o cabeçalho
+        infos = []
+        for linha in linhas:
+            seletorcss_celulas = "td"
+            celulas = linha.cssselect(seletorcss_celulas)
+            codigo_ibge = celulas[0].text_content()
+            if codigo_ibge in siglas:
+                sigla = siglas[codigo_ibge]
+                infos.append({
+                    'sigla': sigla,
+                    'codigo_ibge': codigo_ibge,
+                    'nome': celulas[1].text_content(),
+                    'area_km2': celulas[2].text_content()
+                })
+
+        #  neste ponto, após a carga
+        #  das cidades, a lista
+        #  'infos' deve estar populada
+
+        return infos
+
+    def _get_info_cidades(self):
+        texto = self._request(self.url_cidades)
+        html = fromstring(texto)
+        seletorcss_linhas = "div#miolo_interno > table > tr"
+        linhas = html.cssselect(seletorcss_linhas)
+        linhas.pop()  # a primeira é o cabeçalho
+        infos = []
+        for linha in linhas:
+            seletorcss_celulas = "td"
+            celulas = linha.cssselect(seletorcss_celulas)
+            infos.append({
+                'codigo_ibge_uf': celulas[0].text_content(),
+                'sigla_uf': celulas[1].text_content(),
+                'codigo_ibge_cidade': celulas[2].text_content(),
+                'nome_cidade': celulas[3].text_content(),
+                'area_km2': celulas[4].text_content()
+            })
+        return infos
+
+    def _track_ufs(self, db, siglas):
+        infos = self._get_info_ufs(siglas)
+        for info in infos:
+            db.insert_or_update_uf(info)
+
+    def _track_cidades(self, db):
+        infos = self._get_info_cidades()
+        siglas = {}
+        for info in infos:
+            codigo_ibge_uf = info['codigo_ibge_uf']
+            sigla_uf = info['sigla_uf']
+            nome_cidade = info['nome_cidade']
+            if codigo_ibge_uf not in siglas:
+                siglas[codigo_ibge_uf] = sigla_uf
+
+            # a chave única de uma cidade não
+            # pode ser só o nome, pois
+            # existem cidades com mesmo nome
+            # em estados diferentes
+            info['sigla_uf_nome_cidade'] = '%s_%s' % (sigla_uf, nome_cidade)
+
+            db.insert_or_update_cidade(info)
+
+        return siglas
+
+    def track(self, db):
+        """
+        Atualiza as bases internas do mongo
+        com os dados mais recentes do IBGE
+        referente a ufs e cidades
+        """
+        siglas = self._track_cidades(db)  # siglas é um dict cod_ibge -> sigla:
+                                          # { '35': 'SP', '35': 'RJ', ... }
+        self._track_ufs(db, siglas)
+
+
+def _standalone():
+    db = Database()
+    ibge = IbgeTracker()
+    ibge.track(db)
+
+
+if __name__ == "__main__":
+    _standalone()

PostmonServer.py

@@ -54,7 +54,7 @@ def format_result(result):
 
 
 def _get_estado_info(db, sigla):
-    sigla = sigla.lower()
+    sigla = sigla.upper()
     return db.get_one_uf(sigla, fields={'_id': False, 'sigla': False})
 
 

database.py

@@ -28,6 +28,9 @@ def get_one(self, cep, **kwargs):
     def get_one_uf(self, sigla, **kwargs):
         return self._db.ufs.find_one({'sigla': sigla}, **kwargs)
 
+    def get_one_uf_by_nome(self, nome, **kwargs):
+        return self._db.ufs.find_one({'nome': nome}, **kwargs)
+
     def insert_or_update(self, obj, **kwargs):
 
         update = {'$set': obj}
@@ -36,5 +39,14 @@ def insert_or_update(self, obj, **kwargs):
 
         self._db.ceps.update({'cep': obj['cep']}, update, upsert=True)
 
+    def insert_or_update_uf(self, obj, **kwargs):
+        update = {'$set': obj}
+        self._db.ufs.update({'sigla': obj['sigla']}, update, upsert=True)
+
+    def insert_or_update_cidade(self, obj, **kwargs):
+        update = {'$set': obj}
+        chave = 'sigla_uf_nome_cidade'
+        self._db.cidades.update({chave: obj[chave]}, update, upsert=True)
+
     def remove(self, cep):
         self._db.ceps.remove({'cep': cep})