update to LT 6.1

Author: arysin

gradle.properties

@@ -1,6 +1,6 @@
-ltVersion=6.0
-ltUkVersion=6.0
+ltVersion=6.1
+ltUkVersion=6.1
 #ltUkVersion=6.1-SNAPSHOT
 groovyVersion=4.0.10
 # nlp_uk version
-version=3.1.2-SNAPSHOT
+version=3.2.1

src/main/groovy/ua/net/nlp/bruk/ContextToken.groovy

@@ -135,9 +135,8 @@ class ContextToken {
         return w
     }
 
-    private static final USE_RIGHT_CTX_PATTERN = ~/є|її|це|саме|всередині|перед|протягом|брати|англійською|українською|рівні|доросл.*/
+    private static final USE_RIGHT_CTX_PATTERN = ~/є|її|це|саме|[ву]с[еі]|всередині|перед|протягом|брати|англійською|українською|рівні|доросл.*/
 
-    @CompileStatic
     static boolean useRightContext(String token) {
 //        token.toLowerCase() ==~ /це|його|її|їх|як|є|саме|все/
         token.toLowerCase() ==~ USE_RIGHT_CTX_PATTERN

src/main/groovy/ua/net/nlp/other/CleanText.groovy

@@ -24,10 +24,8 @@ package ua.net.nlp.other
 // mark/rate or remove Russian paragraphs
 
 @GrabConfig(systemClassLoader=true)
-@Grab(group='org.languagetool', module='language-uk', version='6.0')
-//@Grab(group='ua.net.nlp', module='morfologik-ukrainian-lt', version='6.1.0-SNAPSHOT')
-//@Grab(group='org.languagetool', module='language-uk', version='6.1-SNAPSHOT')
-@Grab(group='org.languagetool', module='language-ru', version='6.0')
+@Grab(group='org.languagetool', module='language-uk', version='6.1')
+@Grab(group='org.languagetool', module='language-ru', version='6.1')
 @Grab(group='ch.qos.logback', module='logback-classic', version='1.4.+')
 @Grab(group='info.picocli', module='picocli', version='4.6.+')
 

src/main/groovy/ua/net/nlp/tools/TagText.groovy

@@ -3,10 +3,8 @@
 package ua.net.nlp.tools
 
 @GrabConfig(systemClassLoader=true)
-@Grab(group='org.languagetool', module='language-uk', version='6.0')
-//@Grab(group='org.languagetool', module='language-uk', version='6.1-SNAPSHOT')
-//@Grab(group='ua.net.nlp', module='morfologik-ukrainian-lt', version='6.0.2-SNAPSHOT')
-@Grab(group='org.languagetool', module='language-ru', version='6.0')
+@Grab(group='org.languagetool', module='language-uk', version='6.1')
+@Grab(group='org.languagetool', module='language-ru', version='6.1')
 @Grab(group='ch.qos.logback', module='logback-classic', version='1.4.+')
 @Grab(group='info.picocli', module='picocli', version='4.6.+')
 

src/main/groovy/ua/net/nlp/tools/tag/DisambigStats.groovy

@@ -24,7 +24,7 @@ public class DisambigStats {
     private static final Pattern UPPERCASED_PATTERN = Pattern.compile(/[А-ЯІЇЄҐ][а-яіїєґ'-]+/)
     private static final boolean USE_SUFFIX_2 = false
     private static final String statsFile = "/ua/net/nlp/tools/stats/lemma_freqs_hom.txt"
-    static final String statsVersion = "3.1.2"
+    static final String statsVersion = "3.2.1"
 
     boolean disambigBySuffix = true //DisambigModule.wordEnding in options.disambiguate
     boolean disambigByContext = true

src/test/groovy/ua/net/nlp/tools/TagTextSemTest.groovy

@@ -37,7 +37,6 @@ class TagTextSemTest {
     <token value="усе" lemma="усе" tags="adv" semtags="1:dur:max" />
     <token value="усе" lemma="усе" tags="noun:inanim:n:v_naz:&amp;pron:gen" semtags="1:quantif" />
     <token value="усе" lemma="усе" tags="noun:inanim:n:v_zna:&amp;pron:gen" semtags="1:quantif" />
-    <token value="усе" lemma="усе" tags="part" />
     <token value="усе" lemma="увесь" tags="adj:n:v_naz:&amp;pron:gen" semtags="1:quantif" />
     <token value="усе" lemma="увесь" tags="adj:n:v_zna:&amp;pron:gen" semtags="1:quantif" />
   </tokenReading>

src/test/groovy/ua/net/nlp/tools/TagTextUnknownTest.groovy

@@ -47,11 +47,11 @@ public class TagTextUnknownTest {
 """
         assertEquals expected, tagged.tagged
 
-        tagged = tagText.tagText("аквамарафон")
+        tagged = tagText.tagText("стратомарафон")
 
         expected =
 """<sentence>
-  <token value="аквамарафон" lemma="аквамарафон" tags="noun:inanim:m:v_zna" q="-0.5" />
+  <token value="стратомарафон" lemma="стратомарафон" tags="noun:inanim:m:v_zna" q="-0.5" />
 </sentence>
 <paragraph/>
 """
@@ -176,12 +176,12 @@ public class TagTextUnknownTest {
 //"""
 //        assertEquals expected, tagged.tagged
 
-        tagged = tagText.tagText("Наталія Галібаренко")
+        tagged = tagText.tagText("Наталія Алібаренко")
 
                 expected =
         """<sentence>
   <token value="Наталія" lemma="Наталія" tags="noun:anim:f:v_naz:prop:fname" />
-  <token value="Галібаренко" lemma="Галібаренко" tags="noun:anim:f:v_naz:nv:prop:lname" q="-0.5" />
+  <token value="Алібаренко" lemma="Алібаренко" tags="noun:anim:f:v_naz:nv:prop:lname" q="-0.5" />
 </sentence>
 <paragraph/>
 """

src/test/resources/tag/unknown.txt

@@ -52,7 +52,7 @@
 ст
 ред
 ій
-СОКЕРЧАК
+СОКУРЧАК
 Тел
 Со
 года
@@ -94,7 +94,6 @@
 лі
 лет
 пе
-Ейрін
 дес
 стр
 см-1
@@ -146,7 +145,6 @@
 они
 пов
 зап
-Гальярдо
 #племени
 куда
 #Русского