adjust word counts

Author: arysin

build.gradle

@@ -267,6 +267,8 @@ def get_diff_cmd(outputDir, file) {
 
 task diff(type: Exec) {
     def dictFile="dict_corp_lt.txt"
+    inputs.file "$outputDir/words.txt"
+    outputs.file "$outputDir/words.txt.diff"
 
 //    def cmd = get_diff_cmd(outputDir, dictFile)
 //    cmd += "; " + get_diff_cmd(outputDir, 'words.txt')

out/stats/dict_stats.txt

@@ -1,5 +1,5 @@
-Всього лем: 440897
-  словникових лем (без advp/bad/slang/alt, без омонімів imperf/perf) 353224
+Всього лем: 440898
+  словникових лем (без advp/bad/alt/vulg/obsc/abbr, двовидові дієслова, як одна лема) 333055
 
 Частоти за тегами:
 adj 108553
@@ -16,11 +16,11 @@ conj 157
 intj 476
 noninfl 1050
      prop 5
-noun 190325
+noun 190326
      anim 68079
      fname 5723
      geo 20721
-     inanim 122153
+     inanim 122154
      lname 33438
      nv 17474
      pname 1041

src/main/groovy/org/dict_uk/expand/Expand.groovy

@@ -1575,9 +1575,12 @@ class Expand {
 			if( line.contains("/v") && line.contains(":imperf:perf") ) {
 				double_form_cnt += 1
 			}
-			if( line =~ / \/[a-z].*:bad|:slang|:alt/ ) {
+			else if( line =~ /( \/[a-z]|v_naz|:inf|).*:bad|:alt|:obsc|:vulg|:abbr/ ) {
 				double_form_cnt += 1
 			}
+            else if( line =~ / (\/v.*\.advp|advp)/ ) {
+                double_form_cnt += 1
+            }
 
 			prepared_lines << lineGroup
 		}

src/main/groovy/org/dict_uk/expand/Util.groovy

@@ -260,7 +260,7 @@ class Util {
 		int cnt = 0
 		int cnt_std = 0
 
-		for(String line in lines ) {
+		for(String line in lines) {
 			if( line[0] == " ")
 				continue
 
@@ -306,7 +306,7 @@ class Util {
 
 		new File("stats", "dict_stats.txt").withWriter("utf-8") { stat_f ->
 			stat_f.printf("Всього лем: %d\n", cnt)
-			stat_f.printf("  словникових лем (без advp/bad/slang/alt, без омонімів imperf/perf) %s\n", (cnt_std - double_form_cnt))
+			stat_f.printf("  словникових лем (без advp/bad/alt/vulg/obsc/abbr, двовидові дієслова, як одна лема) %s\n", (cnt_std - double_form_cnt))
 			stat_f.print("\nЧастоти за тегами:\n")
 
 			def ordered_pos_freq = pos_stat.keySet().toList().sort()