tag change: ua_XXYY -> upYY

Author: arysin

src/main/groovy/ua/net/nlp/bruk/ContextToken.groovy

@@ -10,7 +10,7 @@ import org.languagetool.rules.uk.LemmaHelper
 @Canonical
 class ContextToken {
 //    static final Pattern POSTAG_KEY_PATTERN = Pattern.compile("^(noun:(anim|[iu]nanim)|verb(:rev)?:(perf|imperf)|adj|adv(p:(imperf:perf))?|part|prep|numr|conj:(coord|subord)|intj|onomat|punct|symb|noninfl|unclass|number|unknown|time|date|hashtag|BEG|END)")
-    static final Pattern POSTAG_CORE_REMOVE_PATTERN = Pattern.compile(/:(arch|coll|slang|bad|vulg|ua_[0-9]{4}|ns)/)
+    static final Pattern POSTAG_CORE_REMOVE_PATTERN = Pattern.compile(/:(arch|coll|slang|bad|vulg|up[0-9]{2}|ns)/)
     static final ContextToken BEG = new ContextToken('__BEG', '', 'BEG')
     static final ContextToken END = new ContextToken('__END', '', 'END')
     static final String[] IGNORE_TOKENS = [] //['б', 'би', 'ж', 'же', 'бодай'] 
@@ -135,11 +135,13 @@ class ContextToken {
         return w
     }
 
-    // його|що    
-    private static final USE_RIGHT_CTX_PATTERN = ~/є|її|це|саме|[ву]с[еі]|за|всередині|відповідно|перед|протягом|наприкінці|брати|(українськ|англійськ)(а|у|ою|ій)|рівні|доросл.*|майбутн(є|ього|ім|ому)|більше|добре/
-    
+    // його|що
+    private static final USE_RIGHT_CTX_PATTERN = ~(/є|її|це|саме|[ву]с[еі]|за/
+         + /|всередині|відповідно|перед|протягом|близько|навколо|довкола|наприкінці|неподалік|[ву]глиб|поза/
+         + /|брати|(українськ|англійськ)(а|у|ою|ій)|рівні|доросл.*|майбутн(є|ього|ім|ому)/
+         + /|більше|добре|геть|тільки/)
+
     static boolean useRightContext(String token) {
-//        token.toLowerCase() ==~ /це|його|її|їх|як|є|саме|все/
         token.toLowerCase() ==~ USE_RIGHT_CTX_PATTERN
     }
 

src/main/groovy/ua/net/nlp/tools/tag/DisambigStats.groovy

@@ -369,7 +369,7 @@ public class DisambigStats {
         rate
     } 
 
-    private static final Pattern POSTAG_NORM_PATTERN = ~ /:(xp[1-9]|ua_[0-9]{4}|comp.|&predic|&insert|vulg|coll|ns)/
+    private static final Pattern POSTAG_NORM_PATTERN = ~ /:(xp[1-9]|up[0-9]{2}|comp.|&predic|&insert|vulg|coll|ns)/
 
     @CompileStatic
     private static String normalizePostagForRate(String postag) {

src/main/groovy/ua/net/nlp/tools/tag/UdModule.groovy

@@ -159,7 +159,7 @@ class UdModule {
         // try to guess gender for plural
         if( PLURAL_PATTERN.matcher(tkn.tags).find() ) {
 
-            if( tkn.lemma.startsWith("пів") && tkn.tags.contains("nv:ua_1992") )
+            if( tkn.lemma.startsWith("пів") && tkn.tags.contains("nv:up92") )
                 return
 
             def newTag = tkn.tags.replace(':subst', '')