Fix to make VB lexers fully case-insensitive

idodeclare · idodeclare · commit c444a09f3561 · 2017-12-01T08:16:25.000-06:00
diff --git a/src/org/opensolaris/opengrok/analysis/vb/Consts.java b/src/org/opensolaris/opengrok/analysis/vb/Consts.java
@@ -30,173 +30,182 @@
 @SuppressWarnings("PMD.AvoidThrowingRawExceptionTypes")
 public final class Consts {
 
-    private static final Set<String> reservedKeywords;
+    public static final Set<String> reservedKeywords;
+    public static final Set<String> directives;
 
     static {
-        HashSet<String> kwds = new HashSet<String>();
+        HashSet<String> kwds = new HashSet<>();
         populateKeywordSet(kwds);
         reservedKeywords = Collections.unmodifiableSet(kwds);
+
+        HashSet<String> hashwords = new HashSet<>();
+        hashwords.add("#const");	// VB lang-reference/keywords
+        hashwords.add("#else");	// VB lang-reference/keywords
+        hashwords.add("#elseif");	// VB lang-reference/keywords
+        hashwords.add("#end");	// VB lang-reference/keywords
+        hashwords.add("#if");	// VB lang-reference/keywords
+        directives = Collections.unmodifiableSet(hashwords);
     }
 
     private Consts() {
         // Util class, can not be constructed.
     }
 
     private static void populateKeywordSet(Set<String> kwd) {
-        kwd.add("AddHandler");
-        kwd.add("AddressOf");
-        kwd.add("Alias");
-        kwd.add("And");
-        kwd.add("AndAlso");
-        kwd.add("As");
-        kwd.add("Boolean");
-        kwd.add("ByRef");
-        kwd.add("Byte");
-        kwd.add("ByVal");
-        kwd.add("Call");
-        kwd.add("Case");
-        kwd.add("Catch");
-        kwd.add("CBool");
-        kwd.add("CByte");
-        kwd.add("CChar");
-        kwd.add("CDate");
-        kwd.add("CDec");
-        kwd.add("CDbl");
-        kwd.add("Char");
-        kwd.add("CInt");
-        kwd.add("Class");
-        kwd.add("CLng");
-        kwd.add("CObj");
-        kwd.add("Const");
-        kwd.add("Continue");
-        kwd.add("CSByte");
-        kwd.add("CShort");
-        kwd.add("CSng");
-        kwd.add("CStr");
-        kwd.add("CType");
-        kwd.add("CUInt");
-        kwd.add("CULng");
-        kwd.add("CUShort");
-        kwd.add("Date");
-        kwd.add("Decimal");
-        kwd.add("Declare");
-        kwd.add("Default");
-        kwd.add("Delegate");
-        kwd.add("Dim");
-        kwd.add("DirectCast");
-        kwd.add("Do");
-        kwd.add("Double");
-        kwd.add("Each");
-        kwd.add("Else");
-        kwd.add("ElseIf");
-        kwd.add("End");
-        kwd.add("EndIf");
-        kwd.add("Enum");
-        kwd.add("Erase");
-        kwd.add("Error");
-        kwd.add("Event");
-        kwd.add("Exit");
-        kwd.add("False");
-        kwd.add("Finally");
-        kwd.add("For");
-        kwd.add("Friend");
-        kwd.add("Function");
-        kwd.add("Get");
-        kwd.add("GetType");
-        kwd.add("Global");
-        kwd.add("GoSub");
-        kwd.add("GoTo");
-        kwd.add("Handles");
-        kwd.add("If");
-        kwd.add("Implements");
-        kwd.add("Imports");
-        kwd.add("In");
-        kwd.add("Inherits");
-        kwd.add("Integer");
-        kwd.add("Interface");
-        kwd.add("Is");
-        kwd.add("IsNot");
-        kwd.add("Let");
-        kwd.add("Lib");
-        kwd.add("Like");
-        kwd.add("Long");
-        kwd.add("Loop");
-        kwd.add("Me");
-        kwd.add("Mod");
-        kwd.add("Module");
-        kwd.add("MustInherit");
-        kwd.add("MustOverride");
-        kwd.add("MyBase");
-        kwd.add("MyClass");
-        kwd.add("Namespace");
-        kwd.add("Narrowing");
-        kwd.add("New");
-        kwd.add("Next");
-        kwd.add("Not");
-        kwd.add("Nothing");
-        kwd.add("NotInheritable");
-        kwd.add("NotOverridable");
-        kwd.add("Object");
-        kwd.add("Of");
-        kwd.add("On");
-        kwd.add("Operator");
-        kwd.add("Option");
-        kwd.add("Optional");
-        kwd.add("Or");
-        kwd.add("OrElse");
-        kwd.add("Overloads");
-        kwd.add("Overridable");
-        kwd.add("Overrides");
-        kwd.add("ParamArray");
-        kwd.add("Partial");
-        kwd.add("Private");
-        kwd.add("Property");
-        kwd.add("Protected");
-        kwd.add("Public");
-        kwd.add("RaiseEvent");
-        kwd.add("ReadOnly");
-        kwd.add("ReDim");
-        kwd.add("REM");
-        kwd.add("RemoveHandler");
-        kwd.add("Resume");
-        kwd.add("Return");
-        kwd.add("SByte");
-        kwd.add("Select");
-        kwd.add("Set");
-        kwd.add("Shadows");
-        kwd.add("Shared");
-        kwd.add("Short");
-        kwd.add("Single");
-        kwd.add("Static");
-        kwd.add("Step");
-        kwd.add("Stop");
-        kwd.add("String");
-        kwd.add("Structure");
-        kwd.add("Sub");
-        kwd.add("SyncLock");
-        kwd.add("Then");
-        kwd.add("Throw");
-        kwd.add("To");
-        kwd.add("True");
-        kwd.add("Try");
-        kwd.add("TryCast");
-        kwd.add("TypeOf");
-        kwd.add("Variant");
-        kwd.add("Wend");
-        kwd.add("UInteger");
-        kwd.add("ULong");
-        kwd.add("UShort");
-        kwd.add("Using");
-        kwd.add("When");
-        kwd.add("While");
-        kwd.add("Widening");
-        kwd.add("With");
-        kwd.add("WithEvents");
-        kwd.add("WriteOnly");
-        kwd.add("Xor");
-    }
+        kwd.clear();
+        kwd.add("addhandler");	// Original vb.Consts but now l-case
+        kwd.add("addressof");	// Original vb.Consts but now l-case
+        kwd.add("alias");	// Original vb.Consts but now l-case
+        kwd.add("and");	// Original vb.Consts but now l-case
+        kwd.add("andalso");	// Original vb.Consts but now l-case
+        kwd.add("as");	// Original vb.Consts but now l-case
+        kwd.add("boolean");	// Original vb.Consts but now l-case
+        kwd.add("byref");	// Original vb.Consts but now l-case
+        kwd.add("byte");	// Original vb.Consts but now l-case
+        kwd.add("byval");	// Original vb.Consts but now l-case
+        kwd.add("call");	// Original vb.Consts but now l-case
+        kwd.add("case");	// Original vb.Consts but now l-case
+        kwd.add("catch");	// Original vb.Consts but now l-case
+        kwd.add("cbool");	// Original vb.Consts but now l-case
+        kwd.add("cbyte");	// Original vb.Consts but now l-case
+        kwd.add("cchar");	// Original vb.Consts but now l-case
+        kwd.add("cdate");	// Original vb.Consts but now l-case
+        kwd.add("cdec");	// Original vb.Consts but now l-case
+        kwd.add("cdbl");	// Original vb.Consts but now l-case
+        kwd.add("char");	// Original vb.Consts but now l-case
+        kwd.add("cint");	// Original vb.Consts but now l-case
+        kwd.add("class");	// Original vb.Consts but now l-case
+        kwd.add("clng");	// Original vb.Consts but now l-case
+        kwd.add("cobj");	// Original vb.Consts but now l-case
+        kwd.add("const");	// Original vb.Consts but now l-case
+        kwd.add("continue");	// Original vb.Consts but now l-case
+        kwd.add("csbyte");	// Original vb.Consts but now l-case
+        kwd.add("cshort");	// Original vb.Consts but now l-case
+        kwd.add("csng");	// Original vb.Consts but now l-case
+        kwd.add("cstr");	// Original vb.Consts but now l-case
+        kwd.add("ctype");	// Original vb.Consts but now l-case
+        kwd.add("cuint");	// Original vb.Consts but now l-case
+        kwd.add("culng");	// Original vb.Consts but now l-case
+        kwd.add("cushort");	// Original vb.Consts but now l-case
+        kwd.add("date");	// Original vb.Consts but now l-case
+        kwd.add("decimal");	// Original vb.Consts but now l-case
+        kwd.add("declare");	// Original vb.Consts but now l-case
+        kwd.add("default");	// Original vb.Consts but now l-case
+        kwd.add("delegate");	// Original vb.Consts but now l-case
+        kwd.add("dim");	// Original vb.Consts but now l-case
+        kwd.add("directcast");	// Original vb.Consts but now l-case
+        kwd.add("do");	// Original vb.Consts but now l-case
+        kwd.add("double");	// Original vb.Consts but now l-case
+        kwd.add("each");	// Original vb.Consts but now l-case
+        kwd.add("else");	// Original vb.Consts but now l-case
+        kwd.add("elseif");	// Original vb.Consts but now l-case
+        kwd.add("end");	// Original vb.Consts but now l-case
+        kwd.add("endif");	// Original vb.Consts but now l-case
+        kwd.add("enum");	// Original vb.Consts but now l-case
+        kwd.add("erase");	// Original vb.Consts but now l-case
+        kwd.add("error");	// Original vb.Consts but now l-case
+        kwd.add("event");	// Original vb.Consts but now l-case
+        kwd.add("exit");	// Original vb.Consts but now l-case
+        kwd.add("false");	// Original vb.Consts but now l-case
+        kwd.add("finally");	// Original vb.Consts but now l-case
+        kwd.add("for");	// Original vb.Consts but now l-case
+        kwd.add("friend");	// Original vb.Consts but now l-case
+        kwd.add("function");	// Original vb.Consts but now l-case
+        kwd.add("get");	// Original vb.Consts but now l-case
+        kwd.add("gettype");	// Original vb.Consts but now l-case
+        kwd.add("global");	// Original vb.Consts but now l-case
+        kwd.add("gosub");	// Original vb.Consts but now l-case
+        kwd.add("goto");	// Original vb.Consts but now l-case
+        kwd.add("handles");	// Original vb.Consts but now l-case
+        kwd.add("if");	// Original vb.Consts but now l-case
+        kwd.add("implements");	// Original vb.Consts but now l-case
+        kwd.add("imports");	// Original vb.Consts but now l-case
+        kwd.add("in");	// Original vb.Consts but now l-case
+        kwd.add("inherits");	// Original vb.Consts but now l-case
+        kwd.add("integer");	// Original vb.Consts but now l-case
+        kwd.add("interface");	// Original vb.Consts but now l-case
+        kwd.add("is");	// Original vb.Consts but now l-case
+        kwd.add("isnot");	// Original vb.Consts but now l-case
+        kwd.add("let");	// Original vb.Consts but now l-case
+        kwd.add("lib");	// Original vb.Consts but now l-case
+        kwd.add("like");	// Original vb.Consts but now l-case
+        kwd.add("long");	// Original vb.Consts but now l-case
+        kwd.add("loop");	// Original vb.Consts but now l-case
+        kwd.add("me");	// Original vb.Consts but now l-case
+        kwd.add("mod");	// Original vb.Consts but now l-case
+        kwd.add("module");	// Original vb.Consts but now l-case
+        kwd.add("mustinherit");	// Original vb.Consts but now l-case
+        kwd.add("mustoverride");	// Original vb.Consts but now l-case
+        kwd.add("mybase");	// Original vb.Consts but now l-case
+        kwd.add("myclass");	// Original vb.Consts but now l-case
+        kwd.add("namespace");	// Original vb.Consts but now l-case
+        kwd.add("narrowing");	// Original vb.Consts but now l-case
+        kwd.add("new");	// Original vb.Consts but now l-case
+        kwd.add("next");	// Original vb.Consts but now l-case
+        kwd.add("not");	// Original vb.Consts but now l-case
+        kwd.add("nothing");	// Original vb.Consts but now l-case
+        kwd.add("notinheritable");	// Original vb.Consts but now l-case
+        kwd.add("notoverridable");	// Original vb.Consts but now l-case
+        kwd.add("object");	// Original vb.Consts but now l-case
+        kwd.add("of");	// Original vb.Consts but now l-case
+        kwd.add("on");	// Original vb.Consts but now l-case
+        kwd.add("operator");	// Original vb.Consts but now l-case
+        kwd.add("option");	// Original vb.Consts but now l-case
+        kwd.add("optional");	// Original vb.Consts but now l-case
+        kwd.add("or");	// Original vb.Consts but now l-case
+        kwd.add("orelse");	// Original vb.Consts but now l-case
+        kwd.add("overloads");	// Original vb.Consts but now l-case
+        kwd.add("overridable");	// Original vb.Consts but now l-case
+        kwd.add("overrides");	// Original vb.Consts but now l-case
+        kwd.add("paramarray");	// Original vb.Consts but now l-case
+        kwd.add("partial");	// Original vb.Consts but now l-case
+        kwd.add("private");	// Original vb.Consts but now l-case
+        kwd.add("property");	// Original vb.Consts but now l-case
+        kwd.add("protected");	// Original vb.Consts but now l-case
+        kwd.add("public");	// Original vb.Consts but now l-case
+        kwd.add("raiseevent");	// Original vb.Consts but now l-case
+        kwd.add("readonly");	// Original vb.Consts but now l-case
+        kwd.add("redim");	// Original vb.Consts but now l-case
+        kwd.add("rem");	// Original vb.Consts but now l-case
+        kwd.add("removehandler");	// Original vb.Consts but now l-case
+        kwd.add("resume");	// Original vb.Consts but now l-case
+        kwd.add("return");	// Original vb.Consts but now l-case
+        kwd.add("sbyte");	// Original vb.Consts but now l-case
+        kwd.add("select");	// Original vb.Consts but now l-case
+        kwd.add("set");	// Original vb.Consts but now l-case
+        kwd.add("shadows");	// Original vb.Consts but now l-case
+        kwd.add("shared");	// Original vb.Consts but now l-case
+        kwd.add("short");	// Original vb.Consts but now l-case
+        kwd.add("single");	// Original vb.Consts but now l-case
+        kwd.add("static");	// Original vb.Consts but now l-case
+        kwd.add("step");	// Original vb.Consts but now l-case
+        kwd.add("stop");	// Original vb.Consts but now l-case
+        kwd.add("string");	// Original vb.Consts but now l-case
+        kwd.add("structure");	// Original vb.Consts but now l-case
+        kwd.add("sub");	// Original vb.Consts but now l-case
+        kwd.add("synclock");	// Original vb.Consts but now l-case
+        kwd.add("then");	// Original vb.Consts but now l-case
+        kwd.add("throw");	// Original vb.Consts but now l-case
+        kwd.add("to");	// Original vb.Consts but now l-case
+        kwd.add("true");	// Original vb.Consts but now l-case
+        kwd.add("try");	// Original vb.Consts but now l-case
+        kwd.add("trycast");	// Original vb.Consts but now l-case
+        kwd.add("typeof");	// Original vb.Consts but now l-case
+        kwd.add("variant");	// Original vb.Consts but now l-case
+        kwd.add("wend");	// Original vb.Consts but now l-case
+        kwd.add("uinteger");	// Original vb.Consts but now l-case
+        kwd.add("ulong");	// Original vb.Consts but now l-case
+        kwd.add("ushort");	// Original vb.Consts but now l-case
+        kwd.add("using");	// Original vb.Consts but now l-case
+        kwd.add("when");	// Original vb.Consts but now l-case
+        kwd.add("while");	// Original vb.Consts but now l-case
+        kwd.add("widening");	// Original vb.Consts but now l-case
+        kwd.add("with");	// Original vb.Consts but now l-case
+        kwd.add("withevents");	// Original vb.Consts but now l-case
+        kwd.add("writeonly");	// Original vb.Consts but now l-case
+        kwd.add("xor");	// Original vb.Consts but now l-case
 
-    static Set<String> getReservedKeywords() {
-        return reservedKeywords;
+        kwd.add("getxmlnamespace");	// VB lang-reference/keywords l-case
+        kwd.add("out");	// VB lang-reference/keywords l-case
     }
 }
diff --git a/src/org/opensolaris/opengrok/analysis/vb/VBSymbolTokenizer.lex b/src/org/opensolaris/opengrok/analysis/vb/VBSymbolTokenizer.lex
@@ -36,6 +36,7 @@ import org.opensolaris.opengrok.analysis.JFlexTokenizer;
 %class VBSymbolTokenizer
 %extends JFlexTokenizer
 %unicode
+%ignorecase
 %init{
 super(in);
 %init}
@@ -50,8 +51,9 @@ Identifier = [a-zA-Z_] [a-zA-Z0-9_]*
 %%
 
 <YYINITIAL> {
-{Identifier} {String id = yytext();
-                if(!Consts.getReservedKeywords().contains(id)){
+{Identifier} {
+    String id = yytext();
+                if (!Consts.reservedKeywords.contains(id.toLowerCase())) {
                         setAttribs(id, yychar, yychar + yylength());
                         return yystate(); }
               }
diff --git a/src/org/opensolaris/opengrok/analysis/vb/VBXref.lex b/src/org/opensolaris/opengrok/analysis/vb/VBXref.lex
@@ -66,7 +66,7 @@ Number = (0[xX][0-9a-fA-F]+|[0-9]+\.[0-9]+|[0-9]+)(([eE][+-]?[0-9]+)?[ufdlUFDL]*
 
 {Identifier} {
     String id = yytext();
-    writeSymbol(id, Consts.getReservedKeywords(), yyline);
+    writeSymbol(id, Consts.reservedKeywords, yyline, false);
 }
 
 "<" ({File}|{FPath}) ">" {
diff --git a/test/org/opensolaris/opengrok/analysis/vb/sample_xref.html b/test/org/opensolaris/opengrok/analysis/vb/sample_xref.html
@@ -28,10 +28,10 @@
 <a class="hl" name="20" href="#20">20</a><span class="c">' OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE</span>
 <a class="l" name="21" href="#21">21</a><span class="c">' SOFTWARE.</span>
 <a class="l" name="22" href="#22">22</a>
-<a class="l" name="23" href="#23">23</a><a href="/source/s?defs=VERSION" class="intelliWindow-symbol" data-definition-place="undefined-in-file">VERSION</a> <span class="n">1.0</span> <a href="/source/s?defs=CLASS" class="intelliWindow-symbol" data-definition-place="undefined-in-file">CLASS</a>
+<a class="l" name="23" href="#23">23</a><a href="/source/s?defs=VERSION" class="intelliWindow-symbol" data-definition-place="undefined-in-file">VERSION</a> <span class="n">1.0</span> <b>CLASS</b>
 <a class="l" name="24" href="#24">24</a><a href="/source/s?defs=BEGIN" class="intelliWindow-symbol" data-definition-place="undefined-in-file">BEGIN</a>
 <a class="l" name="25" href="#25">25</a>  <a href="/source/s?defs=MultiUse" class="intelliWindow-symbol" data-definition-place="undefined-in-file">MultiUse</a> = -<span class="n">1</span>  <span class="c">'True</span>
-<a class="l" name="26" href="#26">26</a><a href="/source/s?defs=END" class="intelliWindow-symbol" data-definition-place="undefined-in-file">END</a>
+<a class="l" name="26" href="#26">26</a><b>END</b>
 <a class="l" name="27" href="#27">27</a><a href="/source/s?defs=Attribute" class="intelliWindow-symbol" data-definition-place="undefined-in-file">Attribute</a> <a href="/source/s?defs=VB_Name" class="intelliWindow-symbol" data-definition-place="undefined-in-file">VB_Name</a> = <span class="s">"WebResponse"</span>
 <a class="l" name="28" href="#28">28</a><a href="/source/s?defs=Attribute" class="intelliWindow-symbol" data-definition-place="undefined-in-file">Attribute</a> <a href="/source/s?defs=VB_GlobalNameSpace" class="intelliWindow-symbol" data-definition-place="undefined-in-file">VB_GlobalNameSpace</a> = <b>False</b>
 <a class="l" name="29" href="#29">29</a><a href="/source/s?defs=Attribute" class="intelliWindow-symbol" data-definition-place="undefined-in-file">Attribute</a> <a href="/source/s?defs=VB_Creatable" class="intelliWindow-symbol" data-definition-place="undefined-in-file">VB_Creatable</a> = <b>False</b>

Original file line number	Diff line number	Diff line change
`@@ -66,7 +66,7 @@ Number = (0[xX][0-9a-fA-F]+\|[0-9]+\.[0-9]+\|[0-9]+)(([eE][+-]?[0-9]+)?[ufdlUFDL]*`
`66`	`66`
`67`	`67`	`{Identifier} {`
`68`	`68`	`String id = yytext();`
`69`		`- writeSymbol(id, Consts.getReservedKeywords(), yyline);`
	`69`	`+ writeSymbol(id, Consts.reservedKeywords, yyline, false);`
`70`	`70`	`}`
`71`	`71`
`72`	`72`	`"<" ({File}\|{FPath}) ">" {`