Merge branch 'dev'

Author: chomobi

NEWS

@@ -1,3 +1,6 @@
+0.6.4 2018-04-23
+- Добавлена функция для восстановления перевода из Lite-локализации EU4.
+
 0.6.3 2018-04-16
 - Кодировки в коде переименованы. В версии 0.6.2 был баг, который проявлялся, если вы собирали модуль кодировки на этой версии, а потом пытались использовать скрипт, из-за недопереименованных кодировок в коде.
 - Заменён код разбора YAML-подобной строки файлов перевода EU4.

README.md

@@ -111,6 +111,8 @@ CP1252CYR:
 
 * Декодировать (CP1252CYR) — заменить промежуточное представление символов кириллицы из CP1252CYREU4 на символы кириллицы UTF-8, которым не поставлены в соответствие латинский буквы. Внимание! Функция декодировки из CP1252CYREU4 не восстанавливает текст, который был закодирован в эту кодировку. Если же текст был декодирован из CP1252CYREU4 и потом закодирован обратно, то исходный и повторно закодированный файлы бутут совпадать.
 
+* Восстановить (CP1252CYR) — заменить промежуточное представление символов кириллицы из CP1252CYREU4 на символы кириллицы UTF-8 с разбором строк локализации и выделением руских слов. Используйте для дальнейшей обработки на свой стрих и риск.
+
 <!-- Сначала выберите кодировку. Если вы собираетесь декодировать файлы, то выбранная кодировка сообщает скрипту кодироку исходных данных, если же вы собираетесь кодировать файлы, скрипт таким образом узнает желаемую кодировку выходных данных. Обратите внимание, что декодировать можно только CP1251, т. к. только в этой кодировке из представленных латиница не пересекается с кириллицей, и, декодировав её, можно получить идентичные оригиналу файлы. Транслит предназначен для тех, кто хочет играть с переводом и одновременно использовать красивые латинские шрифты из модов или оригинальные шрифты из игры. -->
 
 ### Вкладка «EU4Lite»

Recodenc.pm

@@ -55,6 +55,7 @@ use vars qw(
 	$ENC_TRANSLIT
 	$DEC_CP1252A
 	$DEC_CP1252B
+	$DEC_CP1252B_R
 	$DEC_CP1252C
 	);
 use parent qw(Exporter);
@@ -80,7 +81,8 @@ use Encode::Recodenc;
 *ENC_TRANSLIT = \4;
 *DEC_CP1252A = \5;
 *DEC_CP1252B = \6;
-*DEC_CP1252C = \7;
+*DEC_CP1252B_R = \7;
+*DEC_CP1252C = \8;
 
 # Примечания к константам:
 # - FL_* — одно пространство имён
@@ -364,6 +366,9 @@ sub l10n_eu4 { # r
 				elsif ($cpfl == $DEC_CP1252B) {
 					$txt = decode('cp1252b', encode('cp1252', $txt));
 				}
+				elsif ($cpfl == $DEC_CP1252B_R) {
+					$txt = decode_cp1252b_r($txt);
+				}
 				# сохранение строки
 				if (defined($cmm)) {
 					push(@strs, " $tag:$num \"$txt\" #$cmm\n");
@@ -1411,6 +1416,68 @@ sub cyr_to_translit {
 	          (ABVGDEËJZIYKLMNOPRSTUFHQCXÇ’ÎYÊÜÄabvgdeëjziyklmnoprstufhqcxç’îyêüä);
 }
 
+# функция для декодировки CP1252B с восстановлением русской локализации
+sub enc_cp1252b_rus {
+	my $str = shift;
+	$str =~ y(ABCEHKMOPTXaceopx€‚ƒ„…†‡ˆ‰‹‘’“”•–—˜™› ¢¥¦¨©ª«¬®¯°±²³´µ¶·¸¹º»¼¾Ë×ë÷)
+	         (АВСЕНКМОРТХасеорхБГДЖЗИЙЛПУФЦЧШЩЪЫЬЭЮбвгджзийклмнптуфцчшщъыьэюЁЯёя);
+	return $str;
+}
+sub decode_cp1252b_r {
+	my $str = shift;
+	unless ($str) {return ""}
+	my @str;
+	my $wordbuf;
+	my $fl = ''; # £$[
+	my $flp = ''; #paragraph §
+	my $fle = ''; #escape character \
+	@str = $str =~ /\X/g;
+	$str = '';
+	foreach my $ltr (@str) {
+		if ($ltr =~ /[ !"#\$%&'()*+,-.\/0123456789:;<=>?@\[\\\]^_`{|}~¡£¤§½¿]/ || $fl || $flp || $fle) { # _
+			# запись буфера со словом в строку результата
+				if ($wordbuf) {
+					if ($wordbuf =~ /[DFGIJLNQRSUVWYZbdfghijklmnqrstuvwyzŠŒŽšœžŸÀÁÂÃÄÅÆÇÈÉÊÌÍÎÏÐÑÒÓÔÕÖØÙÚÛÜÝÞßàáâãäåæçèéêìíîïðñòóôõöøùúûüýþÿ]/g || $fl) {
+						$wordbuf = decode('cp1252b', encode('cp1252', $wordbuf))
+					}
+					else {
+						$wordbuf = enc_cp1252b_rus($wordbuf);
+					}
+					$str .= $wordbuf;
+					$wordbuf = '';
+				}
+			# управление флагами
+			if    ($ltr eq '$') {if ($fl eq '$') {$fl = ''} else {$fl = '$'}}
+			if    ($ltr eq '[') {$fl = '['}
+			elsif ($ltr eq ']' && $fl eq '[') {$fl = ''}
+			if    ($ltr eq '£') {if ($fl eq '£') {$fl = ''} else {$fl = '£'}}
+			elsif ($ltr =~ /[ !"#\$%&'()*+,-.\/0123456789:;<=>?@\[\\\]^`{|}~¡£¤§½¿]/ && $fl eq '£') {$fl = ''} # без «_»
+			if    ($ltr eq '§') {$flp = 1}
+			elsif ($ltr eq '!' && $flp) {$flp = ''}
+			elsif (!($ltr =~ /[%*=0-9WBGRbgY+-]/) && $flp) {$flp = ''; goto WC}
+			if    ($fle) {$fle = ''}
+			elsif ($ltr eq '\\') {$fle = 1}
+			# запись текущего символа в строку результата
+			$str .= $ltr;
+		}
+		else {
+			WC:;
+			$wordbuf .= $ltr;
+		}
+	}
+	if ($wordbuf) {
+		if ($wordbuf =~ /[DFGIJLNQRSUVWYZbdfghijklmnqrstuvwyzŠŒŽšœžŸÀÁÂÃÄÅÆÇÈÉÊÌÍÎÏÐÑÒÓÔÕÖØÙÚÛÜÝÞßàáâãäåæçèéêìíîïðñòóôõöøùúûüýþÿ]/g || $fl) {
+			$wordbuf = decode('cp1252b', encode('cp1252', $wordbuf))
+		}
+		else {
+			$wordbuf = enc_cp1252b_rus($wordbuf);
+		}
+		$str .= $wordbuf;
+		$wordbuf = '';
+	}
+	return $str;
+}
+
 # функция для замены номеров символов в кодировке юникод на номера для других кодировок
 sub id_to {
 =head2 id_to

recodenc-gui.pl

@@ -81,7 +81,7 @@ BEGIN
 binmode(STDERR, ":encoding(console_out)");
 
 *PROGNAME = \'Recodenc';
-*VERSION = \'0.6.3';
+*VERSION = \'0.6.4';
 *LABEL_PADDING = \'3x3';
 
 # загрузка конфигурации
@@ -216,6 +216,7 @@ BEGIN
 					child => [
 						IUP::Button->new(EXPAND => 'HORIZONTAL', TITLE => 'Декодировать (CP1251)', ACTION => sub{&w_recodenc_l10n_eu4($Recodenc::DEC_CP1252A); return IUP_DEFAULT}),
 						IUP::Button->new(EXPAND => 'HORIZONTAL', TITLE => 'Декодировать (CP1252CYR)', ACTION => sub{&w_recodenc_l10n_eu4($Recodenc::DEC_CP1252B); return IUP_DEFAULT}),
+						IUP::Button->new(EXPAND => 'HORIZONTAL', TITLE => 'Восстановить (CP1252CYR)', ACTION => sub{&w_recodenc_l10n_eu4($Recodenc::DEC_CP1252B_R); return IUP_DEFAULT})
 					]
 				)
 			]

recodenc.pl

@@ -43,7 +43,7 @@
 @ARGV = map {decode('locale', $_)} @ARGV;
 
 *PROGNAME = \'Recodenc';
-*VERSION  = \'0.6.3';
+*VERSION  = \'0.6.4';
 *ACTION_ENCODE = \1;
 *ACTION_DECODE = \2;
 *ACTION_TRANSLIT = \3;
@@ -54,7 +54,7 @@
 
 my $mode = 'e';
 my $actn = $ACTION_ENCODE;
-my $encoding = 'cp1252cyreu4';
+my $encoding = 'cp1252cyr';
 my $hv = 0;
 my @dirs;
 
@@ -159,7 +159,7 @@ sub det_enc {
 				die "Задана неверная локализация кодировки CP1252CYR.\n";
 			}
 			else {
-				return $Recodenc::DEC_CP1252B;
+				return $Recodenc::DEC_CP1252B_R;
 			}
 		}
 		elsif ($encoding eq 'cp1252cyrck2') {
@@ -241,7 +241,7 @@ sub help {
 -t, --translit     Транслитерировать.
 -e, --encoding=cp1252cyr|cp1252cyreu4|cp1252cyrck2|cp1251
                    Устанавливает кодировку.
-                   По умолчанию cp1252cyreu4.
+                   По умолчанию cp1252cyr.
 -g, --tags         Тэгы.
 -c, --clean        Очистить.
 -h, --help         Показать этот текст и завершить выполнение.
@@ -254,7 +254,10 @@ sub help {
 
 Режим EU4
 Действия: -n|-d|-t. Транслитерация указания кодировки не требует.
-Кодировки: cp1251, cp1252cyr.
+Кодировки: cp1251, cp1252cyr, cp1252cyreu4.
+При указании кодировки cp1252cyreu4 для декодировки происходит
+восстановление русской локализации из кодировки CP1252CYR, вместо
+простого справочного декодирования (cp1252cyr).
 При указании одного каталога изменяются файлы в нём. При указании двух
 каталогов файлы читаются из первого каталога и сохраняются во втором.
 Остальные каталоги отбрасываются.