Инкрементальная загрузка на основании расхождений не только с предыдущим коммитом, но и с текущей конфигурацией (#637)

* Инкриментальная загрузка на основании расхождений не только с предыдущим коммитом, но и с текущей конфигурацией

* Фикс замечаний

* Первая имплементация

* Revert "Первая имплементация"

This reverts commit e3a2dfb.

* Притащил изменения из develop

* Принес изменения из develop

* Инкриментальная загрузка на основании расхождений не только с предыдущим коммитом, но и с текущей конфигурацией

Фикс замечаний

Первая имплементация

Revert "Первая имплементация"

This reverts commit e3a2dfb.

Принес изменения из develop

* Переехал на git-runner для более понятного управления выводом.
Добавил в тесты проверку загрузки незакоммиченых изменений

* Замечания сонара

* Убрал кириллицу... ну не любит ее CI

* Добавил тесты инкрементальной загрузки с изменениями в конфигураторе

* Вывод для CI

* Опечатка

* Установил Quotepath для работы инкрементальной загруки

* Исправил quotepath

* fix опечатка

* Опечатка в тесте

* Еще опечатка

* Добавил Нрег

* ТЕперь в ibcmd передается полный путь к файлу.

* Добавил тест, в котором есть проверка инкрементальной загрузки из файла ibcmd

* fix для возможности работы тестов без установленных параметров git

* Для систем без настроек

* Убрал лишнее

* Фиксы замечаний

* Фикс замечаний

* Добавил расшифровку к асерту

Author: Segate-ekb

features/ОбновлениеОкружения.feature

@@ -74,12 +74,14 @@
     Когда Я выполняю команду "git" с параметрами 'commit -m "second commit"'
         И я показываю вывод команды
         И Я очищаю параметры команды "git" в контексте
+    Когда Я выполняю команду "echo" с параметрами '"A=1;" >> ./cf/Catalogs/Справочник1/Ext/ObjectModule.bsl'    
 
     Когда Я выполняю команду "oscript" с параметрами "<КаталогПроекта>/src/main.os update-dev --src ./cf --nocacheuse --git-increment --language ru"
     И я показываю вывод команды
     Тогда Вывод команды "oscript" содержит "Будет выполнена инкрементальная загрузка"
         И Вывод команды "oscript" содержит "Измененные файлы:"
         И Вывод команды "oscript" содержит "ManagedApplicationModule.bsl"
+        И Вывод команды "oscript" содержит "ObjectModule.bsl"
         И Вывод команды "oscript" содержит "Обновление конфигурации базы данных успешно завершено"
         И Код возврата команды "oscript" равен 0
 

packagedef

@@ -126,7 +126,7 @@
 		.ЗависитОт("cmdline", "1.0.0")
 		.ЗависитОт("fluent", "0.6.1")
 		.ЗависитОт("fs", "1.2.0")
-		.ЗависитОт("ibcmdrunner", "0.2.3")
+		.ЗависитОт("ibcmdrunner", "0.2.5")
 		.ЗависитОт("json", "1.1.1")
 		.ЗависитОт("logos", "1.7.0")
 		.ЗависитОт("ParserFileV8i", "0.0.5")
@@ -138,10 +138,10 @@
 		.ЗависитОт("v8storage", "0.6.5")
 		.ЗависитОт("v8unpack", "1.0.6")
 		.ЗависитОт("packageinfo", "1.0")
+		.ЗависитОт("gitrunner", "1.7.1")
 
 		.РазработкаЗависитОт("1bdd", "1.14.0")
 		.РазработкаЗависитОт("1testrunner", "1.8.0")
-		.РазработкаЗависитОт("gitrunner", "1.7.1")
 		.РазработкаЗависитОт("add", "6.8.0")
 
 		.ВключитьФайл("tools")

src/Классы/КомандаОбновлениеОкружения.os

@@ -6,7 +6,7 @@
 // oscript-app-template (C) EvilBeaver
 //
 ///////////////////////////////////////////////////////////////////
-
+#Использовать gitrunner
 #Область ОписаниеПеременных
 
 Перем Лог; // Экземпляр логгера
@@ -156,71 +156,111 @@
 
 КонецПроцедуры
 
-Функция ПолучитьСтрокуИзмененныхФайлов(Знач ПутьИсходников)
+Функция ПолучитьСтрокуИзмененныхФайлов(Знач ПутьИсходников, МенеджерСборки)
+	СтрокаИзмененныхФайлов = "";
 
-	Хэш = ПолучитьХэшПоследнегоЗагруженногоКоммита(ПутьИсходников);
+	ИзмененныеФайлыGitDiff = ПолучитьФайлыИзGitDiff(ПутьИсходников);
+	ИзмененныеФайлыИзКонфигурации = ПолучитьИзмененныеВКонфигурацииФайлыСМоментаПоследнейЗагрузки(ПутьИсходников,
+																									 МенеджерСборки);
 
-	Если ПустаяСтрока(Хэш) Тогда
-		Лог.Отладка("Не найден хэш последнего загруженного коммита для инкрементальной загрузки");
+	СтрокаИзмененныхФайлов = ИзмененныеФайлыGitDiff + ИзмененныеФайлыИзКонфигурации;
+	Если ИзмененныеФайлыИзКонфигурации = "FullDump" Тогда
+		Лог.Отладка("Требуется полная загрузка конфигурации.");
 		Возврат "";
 	КонецЕсли;
+	
+	Если ЗначениеЗаполнено(СтрокаИзмененныхФайлов) Тогда
+		СтрокаИзмененныхФайлов = Лев(СтрокаИзмененныхФайлов, СтрДлина(СтрокаИзмененныхФайлов) - 1);
 
-	ТекущийКаталог = КорневойПутьПроекта;
-	Лог.Отладка("ТекущийКаталог %1", ТекущийКаталог);
+		ИзмененныеФайлыЛог = СтрСоединить(СтрРазделить(СтрокаИзмененныхФайлов, ";"), Символы.ПС);
+		Лог.Информация(	"Будет выполнена инкрементальная загрузка
+			|Измененные файлы:
+	 		|%1",
+	 		ИзмененныеФайлыЛог
+		); // BSLLS:IncorrectLineBreak-off
+	Иначе
+		Лог.Отладка("Не получена строка измененных файлов для инкрементальной загрузки");
+	КонецЕсли;
 
-	ОтносительныйПутьИсходников = ФС.ОтносительныйПуть(КорневойПутьПроекта, ПутьИсходников, "/");
+	Возврат СтрокаИзмененныхФайлов;
 
-	КоманднаяСтрока = СтрШаблон("git diff --name-only %1 HEAD", Хэш);
-	Лог.Отладка("Запускаю команду git получить измененные файлы %1", КоманднаяСтрока);
+КонецФункции
 
-	Процесс = СоздатьПроцесс(КоманднаяСтрока, ТекущийКаталог, Истина, , КодировкаТекста.UTF8);
-	Процесс.Запустить();
+Функция ПолучитьФайлыИзGitDiff(Знач ПутьИсходников)
+	Лог.Отладка("Получим измененные файлы в воркспейсе со времени последней загрузки."); // BSLLS:Typo-off
+	СтрокаИзмененныхФайлов = "";
 
-	Процесс.ОжидатьЗавершения();
+	Хэш = ПолучитьХэшПоследнегоЗагруженногоКоммита(ПутьИсходников);
 
-	СтрокаИзмененныхФайлов = "";
-	Пока Процесс.ПотокВывода.ЕстьДанные Цикл
+	Если ПустаяСтрока(Хэш) Тогда
+		Лог.Отладка("Не найден хэш последнего загруженного коммита для инкрементальной загрузки"); // BSLLS:Typo-off
+		Возврат "";
+	КонецЕсли;
 
-		СтрокаВывода = Процесс.ПотокВывода.ПрочитатьСтроку();
-		Лог.Отладка("  Строка вывода команды: %1", СтрокаВывода);
-		Если СтрНачинаетсяС(СтрокаВывода, ОтносительныйПутьИсходников)
-			И Не ФайлВСпискеИсключений(СтрокаВывода) Тогда
+	ТекущийКаталог = КорневойПутьПроекта;
+	Лог.Отладка("ТекущийКаталог %1", ТекущийКаталог);
 
-			СтрокаВывода = СкорректироватьПутьКИзменениюФормы(СтрокаВывода);
+	ОтносительныйПутьИсходников = ФС.ОтносительныйПуть(КорневойПутьПроекта, ПутьИсходников, "/");
 
-			ТекущаяСтрока = ОбъединитьПути(ТекущийКаталог, СтрокаВывода);
+	Репозиторий = Новый ГитРепозиторий();
+	Репозиторий.УстановитьРабочийКаталог(КорневойПутьПроекта);
+
+	УстановитьQuotepath(Репозиторий);
+
+	Лог.Отладка("Получим все изменения в репозитории от коммита <%1>", Хэш); // BSLLS:Typo-off
+	// Получим изменения из репозитория
+	ПараметрыКоманды = Новый Массив;
+	ПараметрыКоманды.Добавить("diff");
+	ПараметрыКоманды.Добавить("--name-only");
+	ПараметрыКоманды.Добавить(Хэш);
+	Репозиторий.ВыполнитьКоманду(ПараметрыКоманды);
+	
+	МассивФайлов = СтрРазделить(Репозиторий.ПолучитьВыводКоманды(), Символы.ПС, Ложь);
+	
+	Для каждого ИзмененныйФайл Из МассивФайлов Цикл		
+		Лог.Отладка("  Изменился файл: %1", ИзмененныйФайл);
+		ИзмененныйФайл = СокрЛП(ИзмененныйФайл);
+		Если СтрНачинаетсяС(ИзмененныйФайл, ОтносительныйПутьИсходников)
+			И Не ФайлВСпискеИсключений(ИзмененныйФайл) Тогда
+			ИзмененныйФайл = СкорректироватьПутьКИзменениюФормы(ИзмененныйФайл);
+			ИзмененныйФайл = СтрЗаменить(ИзмененныйФайл, "/", ПолучитьРазделительПути());
+			ТекущаяСтрока = ОбъединитьПути(ТекущийКаталог, ИзмененныйФайл);
 			ТекущаяСтрока = СтрЗаменить(ТекущаяСтрока, "/", ПолучитьРазделительПути());
-
+			
 			Если СтрНайти(СтрокаИзмененныхФайлов, ТекущаяСтрока) = 0
 				И Новый Файл(ТекущаяСтрока).Существует() Тогда
 
 				СтрокаИзмененныхФайлов = СтрокаИзмененныхФайлов + ТекущаяСтрока + ";";
 
 			КонецЕсли;
-
 		КонецЕсли;
 
 	КонецЦикла;
-	Лог.Отладка("Ошибки от процесса
-		|%1", Процесс.ПотокОшибок.Прочитать());
 
-	Если ЗначениеЗаполнено(СтрокаИзмененныхФайлов) Тогда
-		СтрокаИзмененныхФайлов = Лев(СтрокаИзмененныхФайлов, СтрДлина(СтрокаИзмененныхФайлов) - 1);
+	Возврат СтрокаИзмененныхФайлов;
+КонецФункции
 
-		ИзменныеФайлыЛог = СтрСоединить(СтрРазделить(СтрокаИзмененныхФайлов, ";"), Символы.ПС);
-		Лог.Информация(	"Будет выполнена инкрементальная загрузка
-			|Измененные файлы:
-	 		|%1",
-	 		ИзменныеФайлыЛог
-		);
-	Иначе
-		Лог.Отладка("Не получена строка измененных файлов для инкрементальной загрузки");
+Функция ПолучитьИзмененныеВКонфигурацииФайлыСМоментаПоследнейЗагрузки(Знач ПутьИсходников, МенеджерСборки)
+	Лог.Отладка("Получим измененные файлы в конфигурации со времени последней загрузки.");
+	СтрокаИзмененныхФайлов = "";
+	ПутьКФайлуЭталона = ОбъединитьПути(КорневойПутьПроекта, ПутьИсходников, ИмяФайлаLastUploadedConfigDumpInfo());
+	Если ФС.ФайлСуществует(ПутьКФайлуЭталона) Тогда
+		СтрокаИзмененныхФайлов = МенеджерСборки.ПолучитьИзмененияКонфигурации(ПутьИсходников, ПутьКФайлуЭталона);		
 	КонецЕсли;
 
 	Возврат СтрокаИзмененныхФайлов;
-
 КонецФункции
 
+Процедура УстановитьQuotepath(Репозиторий)
+	Лог.Отладка("Проверим git config core.quotePath");
+
+	Если Не Нрег(СокрЛП(Репозиторий.ПолучитьНастройку("core.quotePath"))) = "false" Тогда
+		Лог.Отладка("Для корректной работы <--git-increment> необходима настройка git config core.quotePath false");
+		Репозиторий.УстановитьНастройку("core.quotePath", "false", РежимУстановкиНастроекGit.Локально);
+	КонецЕсли;
+	
+КонецПроцедуры
+
 Функция ПолучитьХэшПоследнегоЗагруженногоКоммита(Знач ПутьИсходников)
 
 	ИмяФайла = ФайлПредыдущегоГитКоммита(ПутьИсходников).ПолноеИмя;
@@ -264,6 +304,11 @@
 
 КонецПроцедуры
 
+Процедура ЗаписатьlastUploadedConfigDumpInfo(Знач ПутьИсходников) // BSLLS:LatinAndCyrillicSymbolInWord-off
+	ИсходныйФайл = ОбъединитьПути(ПутьИсходников, "ConfigDumpInfo.xml");
+	ФайлПреемник = ОбъединитьПути(ПутьИсходников, ИмяФайлаLastUploadedConfigDumpInfo());
+	КопироватьФайл(ИсходныйФайл, ФайлПреемник);
+КонецПроцедуры
 Функция СкорректироватьПутьКИзменениюФормы(СтрокаИзмененныхФайлов)
 
 	Паттерн = "(.*Forms\/.*)\/Ext.*";
@@ -300,6 +345,10 @@
 	Возврат "lastUploadedCommit.txt";
 КонецФункции
 
+Функция ИмяФайлаLastUploadedConfigDumpInfo()
+	Возврат "lastUploadedConfigDumpInfo.xml";
+КонецФункции
+
 Функция НовыйМенеджерСборки(ПараметрыКоманды)
 
 	Если ПараметрыХранилища.РежимОбновления Тогда
@@ -327,7 +376,7 @@
 
 	Лог.Информация("Запускаем обновление конфигурации из исходников...");
 	Если ИнкрементальнаяЗагрузкаGit Тогда
-	 	СписокФайлов = ПолучитьСтрокуИзмененныхФайлов(ПутьКИсходникам);
+	 	СписокФайлов = ПолучитьСтрокуИзмененныхФайлов(ПутьКИсходникам, МенеджерСборки);
 	Иначе
 	 	СписокФайлов = "";
 	КонецЕсли;
@@ -341,6 +390,7 @@
 
 	Если ИнкрементальнаяЗагрузкаGit Тогда
 	 	ЗаписатьХэшПоследнегоЗагруженногоКоммита(ПутьКИсходникам);
+		ЗаписатьlastUploadedConfigDumpInfo(ПутьКИсходникам);
 	КонецЕсли;
 
 	Лог.Информация("Информационная база обновлена из исходников.");

src/Классы/МенеджерIbcmd.os

@@ -244,6 +244,48 @@
 	Возврат КаталогВременнойИБ;
 КонецФункции
 
+// Возвращает строку, содержащую все изменения конфигурации с момента последней загрузки.
+//	Параметры:
+//		КаталогВыгрузки - Строка - каталог с исходными файлами конфигурации
+//		ПутьКФайлуВерсийДляСравнения - Строка - путь к файлу configDumpInfo на основании которого считаются изменения
+//
+// Возвращаемое значение:
+// 	Строка - Список файлов которые изменились с последней загрузки конфигурации, разделенные ";". 
+//				Если необходима полная загрузка будет возвращена строка "FullDump"
+Функция ПолучитьИзмененияКонфигурации(Знач КаталогВыгрузки,
+										Знач ПутьКФайлуВерсийДляСравнения = "") Экспорт
+
+	ИзмененияКонфигурации = "";
+
+	ПутьКФайлуИзменений = ОбъединитьПути(КаталогВыгрузки, "diff.txt");
+	УправлениеИБ.ВыгрузитьВФайлИзмененияКонфигурации(ПутьКФайлуИзменений, ПутьКФайлуВерсийДляСравнения);
+
+	Если ФС.ФайлСуществует(ПутьКФайлуИзменений) Тогда
+		ЧтениеТекста = Новый ЧтениеТекста(ПутьКФайлуИзменений, КодировкаТекста.UTF8NoBOM);
+			
+			СтрокаИзменения = ЧтениеТекста.ПрочитатьСтроку();
+			Пока СтрокаИзменения <> Неопределено Цикл // строки читаются до символа перевода строки
+				Лог.Отладка("Обрабатываем строку изменения конфигурации <%1>", СтрокаИзменения);
+				Если СтрокаИзменения = "modified: all" Тогда
+					Лог.Отладка("Требуется выполнить полную загрузку конфигурации, вычислить diff невозможно!", СтрокаИзменения);
+					ИзмененияКонфигурации = "FullDump";
+					Прервать;				
+				КонецЕсли;
+				Если СтрНачинаетсяС(СтрокаИзменения, "modified:") Тогда
+				// Все остальные нам не нужны, нужны только измененные объекты которые нужно перезагрузить в конфигурацию.
+					ИмяФайла = ОбщиеМетоды.НайтиИмяФайлаПоСтрокеИзменений1С(СтрокаИзменения);
+					ИмяФайла = ОбъединитьПути(КаталогВыгрузки, ИмяФайла);
+					ИзмененияКонфигурации = ИзмененияКонфигурации + ИмяФайла + ";";
+				КонецЕсли;
+				СтрокаИзменения = ЧтениеТекста.ПрочитатьСтроку();
+			КонецЦикла;
+			ЧтениеТекста.Закрыть();
+
+			УдалитьФайлы(ПутьКФайлуИзменений);	
+	КонецЕсли;
+
+	Возврат ИзмененияКонфигурации;
+КонецФункции		
 #КонецОбласти
 
 #Область ОбработчикиСобытий
@@ -311,7 +353,6 @@
 #КонецОбласти
 
 #Область СлужебныеПроцедурыИФункции
-
 Функция ПутьКIbcmd(ВерсияПлатформы, Разрядность)
 
 	Если Не СтрНачинаетсяС(ВерсияПлатформы, "8.3") Тогда