Merge pull request #1051 from Mr-Rm/fix/preproc

fix #1049 и #1050: исправлена работа директив препроцессора

Author: EvilBeaver

src/OneScript.Language.Tests/PreprocessorTests.cs

@@ -559,6 +559,43 @@ public void PreprocessingLexer_DirectiveNotOnNewLine()
             Assert.Throws<SyntaxErrorException>(() => { while (pp.NextLexem().Token != Token.EndOfText) ; });
         }
 
+        [Fact]
+        public void PreprocessingLexer_DirectiveNotOnSingleLine()
+        {
+            var pp = new PreprocessingLexer();
+
+            var code = @"
+            #Если Нет
+            Тогда
+            F;
+            #КонецОбласти
+            ";
+
+            pp.Code = code;
+            Assert.Throws<SyntaxErrorException>(() => { while (pp.NextLexem().Token != Token.EndOfText) ; });
+        }
+
+        [Fact]
+        public void PreprocessingLexer_ExcludedLines()
+        {
+            var pp = new PreprocessingLexer();
+            pp.Define("Да");
+
+            var code = @"
+            #Если Да Тогда
+            F;
+            #Иначе
+            !!
+            #КонецЕсли
+            ";
+
+            pp.Code = code;
+
+            Lexem lex;
+            do { lex = pp.NextLexem(); } while (pp.NextLexem().Token != Token.EndOfText);
+            Assert.Equal(Token.EndOfText, lex.Token);
+        }
+
         private string GetPreprocessedContent(PreprocessingLexer pp, string code)
         {
             pp.Code = code;

src/OneScript.Language/LexicalAnalysis/PreprocessingLexer.cs

@@ -13,7 +13,7 @@ namespace OneScript.Language.LexicalAnalysis
     public class PreprocessingLexer : ILexemGenerator
     {
         HashSet<string> _definitions = new HashSet<string>(StringComparer.InvariantCultureIgnoreCase);
-        ILexemGenerator _lexer;
+        FullSourceLexer _lexer;
         string _code;
 
         Lexem _lastExtractedLexem;
@@ -28,7 +28,7 @@ private class PreprocessorBlock
 
         public PreprocessingLexer()
         {
-            _lexer = new Lexer();
+            _lexer = new FullSourceLexer();
         }
 
         public event EventHandler<PreprocessorUnknownTokenEventArgs> UnknownDirective;
@@ -113,7 +113,7 @@ private SyntaxErrorException PreprocessorError(string message)
 
         private bool SolveExpression()
         {
-            NextLexem();
+            MoveNextSameLine();
 
             return SolveOrExpression();
         }
@@ -128,7 +128,7 @@ private bool SolveOrExpression()
 
             if (_lastExtractedLexem.Token == Token.Or)
             {
-                NextLexem();
+                MoveNextSameLine();
                 var secondArgument = SolveOrExpression();
                 return argument || secondArgument; // здесь нужны НЕ-сокращенные вычисления
             }
@@ -142,7 +142,7 @@ private bool SolveAndExpression()
 
             if (_lastExtractedLexem.Token == Token.And)
             {
-                NextLexem();
+                MoveNextSameLine();
                 var secondArgument = SolveAndExpression();
                 return argument && secondArgument; // здесь нужны НЕ-сокращенные вычисления
             }
@@ -154,7 +154,7 @@ private bool SolveNotExpression()
         {
             if (_lastExtractedLexem.Token == Token.Not)
             {
-                NextLexem();
+                MoveNextSameLine();
                 return !GetArgument();
             }
 
@@ -165,11 +165,11 @@ private bool GetArgument()
         {
             if (_lastExtractedLexem.Token == Token.OpenPar)
             {
-                NextLexem();
+                MoveNextSameLine();
                 var result = SolveOrExpression();
                 if (_lastExtractedLexem.Token == Token.ClosePar)
                 {
-                    NextLexem();
+                    MoveNextSameLine();
                     return result;
                 }
                 throw PreprocessorError("Ожидается закрывающая скобка");
@@ -179,7 +179,7 @@ private bool GetArgument()
                 throw PreprocessorError("Ожидается объявление препроцессора");
 
             var expression = IsDefined(_lastExtractedLexem.Content);
-            NextLexem();
+            MoveNextSameLine();
             return expression;
         }
 
@@ -203,10 +203,13 @@ public string Code
 
         public Lexem NextLexem()
         {
-            MoveNext();
-
-            if (_lastExtractedLexem.Type == LexemType.PreprocessorDirective)
-                return Preprocess(_lastExtractedLexem);
+            do
+            {
+                MoveNext();
+                if (_lastExtractedLexem.Type == LexemType.PreprocessorDirective)
+                    _lastExtractedLexem = Preprocess(_lastExtractedLexem);
+            }
+            while (_lastExtractedLexem.Type == LexemType.Comment);
 
             if (_lastExtractedLexem.Type == LexemType.EndOfText)
             {
@@ -224,6 +227,13 @@ private void MoveNext()
             _lastExtractedLexem = _lexer.NextLexem();
         }
 
+        private void MoveNextSameLine()
+        {
+            _lastExtractedLexem = _lexer.NextLexem();
+            if (_lexer.Iterator.OnNewLine)
+                throw PreprocessorError("Неожиданное завершение директивы");
+        }
+
         private Lexem Preprocess(Lexem directive)
         {
             if(directive.Token == Token.If)
@@ -323,14 +333,34 @@ private void CheckNewLine()
                 throw PreprocessorError("Недопустимые символы в директиве");
         }
 
+        private void SkipComment()
+        {
+            _lexer.Iterator.MoveToContent();
+            if (!_lexer.Iterator.OnNewLine)
+            {
+                MoveNext();
+                if (_lastExtractedLexem.Type != LexemType.Comment)
+                    throw PreprocessorError("Недопустимые символы в директиве");
+            }
+        }
+        
+        private void SkipErrors(object sender, LexerErrorEventArgs args)
+        {
+            args.Iterator.MoveNext();
+            args.IsHandled = true;
+        }
+
         private void SkipTillNextDirective()
         {
-            int currentLevel = BlockLevel();
-            MoveNext();
-            CheckNewLine();
+            SkipComment();
+
+            _lexer.UnexpectedCharacterFound += SkipErrors;
 
+            int currentLevel = BlockLevel();
             while (true)
             {
+                MoveNext();
+
                 while (_lastExtractedLexem.Type != LexemType.PreprocessorDirective)
                 {
                     if (_lastExtractedLexem.Token == Token.EndOfText)
@@ -343,11 +373,14 @@ private void SkipTillNextDirective()
                     PushBlock();
                 else if (_lastExtractedLexem.Token == Token.EndIf && BlockLevel() > currentLevel)
                     PopBlock();
-                else if (BlockLevel() == currentLevel)
+                else if (BlockLevel() == currentLevel &&
+                        (_lastExtractedLexem.Token == Token.EndIf || 
+                         _lastExtractedLexem.Token == Token.ElseIf ||
+                         _lastExtractedLexem.Token == Token.Else) )
                     break;
-
-                MoveNext();
             }
+
+            _lexer.UnexpectedCharacterFound -= SkipErrors;
         }
     }
 }

tests/directives.os

@@ -7,6 +7,8 @@
 
 	ВсеТесты.Добавить("ТестДолжен_ПроверитьЧтоОбластиКомпилируются");
 	ВсеТесты.Добавить("ТестДолжен_ПроверитьЧтоИспользоватьНеКомпилируетсяЕслиНачалсяКод");
+	ВсеТесты.Добавить("ТестДолжен_ПроверитьЧтоМногострочныеДирективыНеКомпилируются");
+	ВсеТесты.Добавить("ТестДолжен_ПроверитьЧтоИсключенныеСтрокиПропускаются");
 
 	Возврат ВсеТесты;
 
@@ -43,3 +45,19 @@
 
 КонецФункции
 
+Функция ТестДолжен_ПроверитьЧтоМногострочныеДирективыНеКомпилируются() Экспорт
+
+	юТест.ПроверитьРавенство(ФайлКомпилируется("preprocessor/multiline-fail.os"), Ложь,
+		"Файл multiline-fail.os компилируется, хотя не должен!"
+	);
+
+КонецФункции
+
+Функция ТестДолжен_ПроверитьЧтоИсключенныеСтрокиПропускаются() Экспорт
+
+	юТест.ПроверитьРавенство(ФайлКомпилируется("preprocessor/excluded.os"), Истина,
+		"Файл excluded.os не компилируется, хотя должен!"
+	);
+
+КонецФункции
+

tests/preprocessor/excluded.os

@@ -0,0 +1,11 @@
+#Если Windows И Linux Тогда
+!!
+#КонецЕсли
+
+#Если Windows ИЛИ Linux Тогда //!! ok
+
+#ИначеЕсли НЕ MacOS Тогда //??
+!!
+#Иначе //!!
+!!??
+#КонецЕсли

tests/preprocessor/multiline-fail.os

@@ -0,0 +1,5 @@
+#Если Windows
+ или Linux
+ Тогда
+//!!
+#КонецЕсли