Merge pull request #128 from wiki-ai/extend_spanish

Extends spanish badwords and adds informal words

Author: ToAruShiroiNeko

revscoring/languages/spanish.py

@@ -10,37 +10,78 @@
 STEMMER = SnowballStemmer("spanish")
 STOPWORDS = set(stopwords.words("spanish"))
 BAD_REGEXES = [
-    'ano',
+    'ano', 'amaona', 'autofellation', 'aweonao',
     'bastardo', 'bollo', 'boludo', 'bugarr[óo]n',
-    'ca(gar(ro)?|ca)', 'cabr[óo]n', 'cacas', 'capullo', 'carajo',
-        'chingar', 'chino', 'choch[oa]', 'cholo', 'chucha', 'chupar',
-        'chupapollas', 'chupamedias', 'cipote', 'clamidia', 'coger',
-        'cojones', 'concha', 'conejo', 'consolador', 'coño', 'cuca',
-        'culear', 'culo', 'cundango',
+    'ca(gar(ro)?|ca)', 'cabr[óo]n(es)?', 'caca', 'caga(d[ao]|r)?', 'capullo',
+        'cagaro?', 'carajo',
+        'chinga(r|da)?', 'chingu?en', 'chino', 'choch[oa]', 'cholo', 'chucha',
+        'chupa(r|me|mel[ao]|ban?)?', 'chup[ea][nr]', 'chupen(la|me)', 'chupo',
+        'chupapollas', 'chupamedias', 'cipote', 'clamidia', 'co[gj]er', 'cojio',
+        'cojones', 'comeme', 'comian', 'conch(a|etumare)', 'conejo',
+        'consolador', 'co[ñn]o', 'cuca',
+        'cule(ar|ros)', 'culito', 'cul(o|iaos?)', 'cundango',
     'drogata',
-    'facha', 'follar', 'fornicar', 'fulana', 'furcia',
-    'gabacho', 'gay', 'gilipollas', 'gitano', 'gonorrea', 'gordo',
-        'gringo', 'guiri',
-    'herpes', 'homosexual', 'huevos', '(huev|we)[óo]n',
-    'imb[ée]cil',
-    'japo', 'joder', 'joto', 'jud[íi]o',
+    'facha', 'folla(r|ba)', 'follo', 'fornicar', 'fulana', 'furcia',
+    'gabacho', 'g[ae]ys?', 'gilipollas', 'gitano', 'gonorrea', 'gordo',
+        'gringo', 'gue(vo|y)', 'guiri',
+    'herpes', 'homosexual', 'huevos', '(huev|we)[óo]n', 'hijueputas?',
+        'holocuento',
+    'idiotas?', 'imb[ée]cil',
+    'japo', 'joder', 'jotos?', 'jud[íi]o',
     'lesbiana',
-    'mach(orra|etorra)', 'maldito', 'mamada', 'manola',
-        'maric(a|[óo]n)', 'marimach[ao]', 'maripos[óo]n',
-        'mea(r|da)', 'mam[óo]n', 'mierda', 'minga', 'moro',
-    'nazi', 'negrata',
+    'mach(orra|etorra)', 'maldito', 'malparido', 'mama(da|guevo)', 'mamon',
+        'manola', 'maric(a|[óo]n)', 'marimach[ao]', 'maripos[óo]n',
+        'mea(r|da+)s?', 'mam[óo]+n', 'mierda', 'minga', 'mocos', 'mojon',
+        'monda', 'moro',
+    'nacio', 'nazi', 'negrata',
     'ojete',
-    'paja', 'paki', 'pedo', 'pelao', 'pelotas', 'pendejo', 'pene', 'picha',
-        'pinche', 'pito', 'polla', 'polvo', 'poto', 'prostituta', 'put[ao]',
+    'pajas?', 'pajero', 'pario', 'paki', 'pedo', 'pelao', 'pelotas',
+        'pendej(o|a|ada)s?',
+        'pene', 'peos?', 'pich(a|ula)', 'pijas?', 'piko',
+        'pinches?', 'pinga', 'pipi', 'pirobos', 'pito', 'pollas?', 'poronga',
+        'polvo', 'poto', 'prostituta', 'put[ao]+(s|n)?',
         'puñal',
     'rabo', 'ramera',
-    'sida', 'skin(head)?', 'subnormal', 'sudaca', 's[íi]filis',
-    'tonto', 'torta', 'tortillera', 'tranca', 'tranny',
-        'travesti', 'travolo', 'trolo',
-    'verga', 'vibrador', 'vulva',
+    'sida', 'skin(head)?', 'sorete', 'subnormal', 'sudaca', 's[íi]filis',
+    'tetas?', 'tonto', 'torta', 'tortillera', 'tranca', 'tranny',
+        'travesti', 'travolo', 'trol(o|a)',
+    'vergas?', 'vibrador', 'violo', 'vulva',
+    'wea', 'weon(es)?', 'wey',
     'zapatona', 'zorra'
 ]
+INFORMAL_REGEXES = [
+    'agan', 'agregenme', 'aguante', 'aki', 'amo', 'amoo', 'amooo', 'amoooo',
+        'apesta', 'asco', 'att', 'atte',
+    'bieber', 'bla', 'bobada', 'bobos',
+    'cafemontevideo', 'chido', 'comia', 'comio', 'contributions', 'copien',
+        'cursiva',
+    'descubrio', 'direction',
+    'estupida', 'estupides', 'estupido', 'estupidos',
+    'fea', 'feas', 'feo', 'feos',
+    'grasias', 'guapo',
+    'haha', 'hahaha', 'hola+', 'holis?', 'hotmail',
+    'ijos', 'inserta',
+    '(ja)+', '(je)+', '(ji)+',
+    'kie(n|ro)', 'komo',
+    'lean', 'lees', 'loko', 'lol',
+    'malparida', 'mcfinnigan', 'mensos', 'metio', 'metroflog', 'minecraft',
+        'muxo', 'negrita',
+    'ojala', 'osea',
+    'pene', 'penes', 'pollid', 'popo', 'porfavor', 'porke', 'porq', 'porqe',
+        'porqueria', 'profe', 'pupu',
+    'qiero',
+    'redtube',
+    'saludos', 'satanists', 'sierto', 'soi', 'sophonpanich', 'subnormal',
+    'tambn', 'tanga', 'tonta', 'tonto', 'tontos',
+    'umaxnet',
+    'vallanse', 'vayanse',
+    'wena', 'weno',
+    'xd+', 'xfarm',
+    'yolo',
+    'zorpia'
+]
 BAD_REGEX = re.compile("|".join(BAD_REGEXES))
+INFORMAL_REGEX = re.compile("|".join(INFORMAL_REGEXES))
 DICTIONARY = enchant.Dict("es")
 
 def stem_word_process():
@@ -55,6 +96,13 @@ def is_badword(word):
     return is_badword
 is_badword = LanguageUtility("is_badword", is_badword_process)
 
+def is_informal_word_process():
+    def is_informal_word(word):
+        return bool(INFORMAL_REGEX.match(word.lower()))
+    return is_informal_word
+is_informal_word = LanguageUtility("is_informal_word",
+    is_informal_word_process, depends_on=[])
+
 def is_misspelled_process():
     def is_misspelled(word):
         return not DICTIONARY.check(word)

revscoring/languages/tests/test_spanish.py

@@ -1,7 +1,8 @@
 from nose.tools import eq_
 
 from .. import language
-from ..spanish import is_badword, is_misspelled, is_stopword, stem_word
+from ..spanish import (is_badword, is_informal_word, is_misspelled,
+                       is_stopword, stem_word)
 
 
 def test_language():
@@ -16,6 +17,12 @@ def test_language():
     assert not is_badword()("hat")
     eq_(hash(is_badword), hash(language.is_badword))
 
+    assert is_informal_word()("jaja")
+    assert is_informal_word()("jejejejeje")
+    assert is_informal_word()("Chido")
+    assert not is_informal_word()("Mamón")
+    eq_(hash(is_informal_word), hash(language.is_informal_word))
+
     assert is_misspelled()("wjwkjb")
     assert not is_misspelled()("que")
     assert not is_misspelled()("Que")