инкрементальный парсер

Author: theshadowco

src/main/java/com/github/_1c_syntax/bsl/parser/testing/TestLexer.java

@@ -25,8 +25,8 @@
 import lombok.SneakyThrows;
 import org.antlr.v4.runtime.CharStream;
 import org.antlr.v4.runtime.CharStreams;
-import org.antlr.v4.runtime.CommonTokenStream;
 import org.antlr.v4.runtime.ConsoleErrorListener;
+import org.antlr.v4.runtime.IncrementalTokenStream;
 import org.antlr.v4.runtime.Lexer;
 import org.antlr.v4.runtime.Token;
 import org.antlr.v4.runtime.UnicodeBOMInputStream;
@@ -71,7 +71,7 @@ public TestLexer(Class<T> clazz) {
   /**
    * Возвращает список токенов в переданной строке
    *
-   * @param mode Режим
+   * @param mode        Режим
    * @param inputString Входная строка
    * @return Токены в строке
    */
@@ -82,11 +82,11 @@ public List<Token> getTokens(int mode, String inputString) {
   /**
    * Возвращает токены переданной строки
    *
-   * @param mode Режим
+   * @param mode        Режим
    * @param inputString Входная строка
    * @return Токены в строке
    */
-  public CommonTokenStream getTokensStream(int mode, String inputString) {
+  public IncrementalTokenStream getTokensStream(int mode, String inputString) {
     CharStream input;
 
     try (
@@ -104,7 +104,7 @@ public CommonTokenStream getTokensStream(int mode, String inputString) {
     lexer.removeErrorListener(ConsoleErrorListener.INSTANCE);
     lexer.pushMode(mode);
 
-    var tempTokenStream = new CommonTokenStream(lexer);
+    var tempTokenStream = new IncrementalTokenStream(lexer);
     tempTokenStream.fill();
 
     return tempTokenStream;
@@ -147,7 +147,7 @@ public LexerAsserts assertThat(String inputString) {
   /**
    * Настраивает и запоминает тестируемый контекст. Использует дефолтное channel
    *
-   * @param mode Режим
+   * @param mode        Режим
    * @param inputString анализируемая строка
    * @return служебный класс для замыкания
    */
@@ -158,7 +158,7 @@ public LexerAsserts assertThat(int mode, String inputString) {
   /**
    * Настраивает и запоминает тестируемый контекст
    *
-   * @param mode Режим
+   * @param mode        Режим
    * @param inputString анализируемая строка
    * @param channel     анализируемая строка
    * @return служебный класс для замыкания
@@ -171,7 +171,7 @@ public LexerAsserts assertThat(int mode, String inputString, int channel) {
    * Настраивает и запоминает тестируемый контекст. Использует дефолтное mode
    *
    * @param inputString анализируемая строка
-   * @param channel Канал
+   * @param channel     Канал
    * @return служебный класс для замыкания
    */
   public LexerAsserts assertThat(String inputString, int channel) {

src/main/java/com/github/_1c_syntax/bsl/parser/testing/TestParser.java

@@ -24,6 +24,8 @@
 import lombok.Getter;
 import lombok.SneakyThrows;
 import lombok.experimental.Accessors;
+import org.antlr.v4.runtime.IncrementalParser;
+import org.antlr.v4.runtime.IncrementalTokenStream;
 import org.antlr.v4.runtime.Lexer;
 import org.antlr.v4.runtime.Parser;
 import org.antlr.v4.runtime.TokenStream;
@@ -33,25 +35,27 @@
 import java.util.Collections;
 import java.util.List;
 
-public class TestParser<P extends Parser, L extends Lexer> {
+public class TestParser<PARSER extends Parser, LEXER extends Lexer> {
 
   private final List<String> ruleNames;
 
   @Getter
-  private final TestLexer<L> lexer;
+  private final TestLexer<LEXER> lexer;
 
   @Getter
-  private final Class<P> parserClazz;
+  private final Class<PARSER> parserClazz;
 
   @Getter
-  private final Class<L> lexerClazz;
+  private final Class<LEXER> lexerClazz;
 
   @Getter
   @Accessors(fluent = true)
-  private P parser;
+  private PARSER parser;
+
+  private final boolean supportRebuild;
 
   @SneakyThrows
-  public TestParser(Class<P> parserClazz, Class<L> lexerClazz) {
+  public TestParser(Class<PARSER> parserClazz, Class<LEXER> lexerClazz) {
     this.lexer = new TestLexer<>(lexerClazz);
     this.parserClazz = parserClazz;
     this.lexerClazz = lexerClazz;
@@ -64,6 +68,8 @@ public TestParser(Class<P> parserClazz, Class<L> lexerClazz) {
     } else {
       ruleNames = Collections.emptyList();
     }
+
+    this.supportRebuild = IncrementalParser.class.isAssignableFrom(parserClazz);
   }
 
   /**
@@ -87,14 +93,14 @@ public String ruleName(Integer type) {
    * @return служебный класс для замыкания
    */
   public ParserAsserts assertThat(String inputString) {
-    parser = createParser(L.DEFAULT_MODE, inputString);
+    parser = createParser(LEXER.DEFAULT_MODE, inputString);
     return new ParserAsserts(this, parser);
   }
 
   /**
    * Настраивает и запоминает тестируемый контекст. Использует дефолтное channel
    *
-   * @param mode Режим
+   * @param mode        Режим
    * @param inputString анализируемая строка
    * @return служебный класс для замыкания
    */
@@ -110,15 +116,20 @@ public ParserAsserts assertThat(int mode, String inputString) {
    * @return служебный класс для замыкания
    */
   public ParserAsserts assertThatFile(String sourcePath) {
-    parser = createParser(L.DEFAULT_MODE, ResourceUtils.byName(sourcePath));
+    parser = createParser(LEXER.DEFAULT_MODE, ResourceUtils.byName(sourcePath));
     return new ParserAsserts(this, parser);
   }
 
-  private P createParser(int mode, String inputString) {
+  private PARSER createParser(int mode, String inputString) {
     var tokenStream = getLexer().getTokensStream(mode, inputString);
     try {
-      return parserClazz.getDeclaredConstructor(TokenStream.class)
-        .newInstance(tokenStream);
+      if (supportRebuild) {
+        return parserClazz.getDeclaredConstructor(IncrementalTokenStream.class)
+          .newInstance(tokenStream);
+      } else {
+        return parserClazz.getDeclaredConstructor(TokenStream.class)
+          .newInstance(tokenStream);
+      }
     } catch (InstantiationException | IllegalAccessException | InvocationTargetException | NoSuchMethodException e) {
       throw new RuntimeException(e);
     }

src/test/java/com/github/_1c_syntax/bsl/parser/testing/TestParserTest.java

@@ -24,7 +24,7 @@
 import com.github._1c_syntax.bsl.parser.testing.demo.DemoEmptyParser;
 import com.github._1c_syntax.bsl.parser.testing.demo.DemoLexer;
 import com.github._1c_syntax.bsl.parser.testing.demo.DemoParser;
-import org.antlr.v4.runtime.CommonTokenStream;
+import org.antlr.v4.runtime.IncrementalTokenStream;
 import org.junit.jupiter.api.Test;
 
 import java.util.List;
@@ -65,7 +65,7 @@ void testAssert() {
     var testParser = spy(new TestParser<>(DemoParser.class, DemoLexer.class));
 
     var testLexer = spy(new TestLexer<>(DemoLexer.class));
-    doReturn(new CommonTokenStream(testLexer.getLexer()))
+    doReturn(new IncrementalTokenStream(testLexer.getLexer()))
       .when(testLexer).getTokensStream(DemoLexer.DEFAULT_MODE, "");
 
     doReturn(testLexer).when(testParser).getLexer();