Fix bigint generation

Author: loyaltypollution

src/nearley/lexer.ts

@@ -18,9 +18,8 @@ export const lexer = moo.compile({
 
   // Numbers
   complex: /(?:\d+\.?\d*|\.\d+)[jJ]/,
-  bigint: /\d+[nN]/,
+  bigint: /\d+/,
   float: /(?:\d+\.\d*|\.\d+)(?:[eE][+-]?\d+)?/,
-  integer: /\d+/,
 
   // Strings (simplified - doesn't handle all edge cases yet)
   stringTripleDouble: /"""(?:[^"\\]|\\["\\/bfnrt]|\\u[a-fA-F0-9]{4})*?"""/,

src/nearley/python-grammar.ts

@@ -9,7 +9,6 @@ import { TokenType } from '../tokens';
 
 const tokenTypeMap: { [key: string]: TokenType } = {
   'identifier': TokenType.NAME,
-  'integer': TokenType.NUMBER,
   'float': TokenType.NUMBER,
   'bigint': TokenType.BIGINT,
   'complex': TokenType.COMPLEX,
@@ -86,7 +85,7 @@ function toAstToken(token: any): AstToken {
   return new AstToken(
     type,
     token.value,
-    token.line || 0,
+    token.line - 1 || 0,
     token.col || 0,
     token.offset || 0
   );
@@ -454,12 +453,6 @@ let ParserRules = [
           return new ExprNS.Variable(token, token, token);
         }
             },
-    {"name": "atom", "symbols": [(pythonLexer.has("integer") ? {type: "integer"} : integer)], "postprocess": 
-        (d) => {
-          const token = toAstToken(d[0]);
-          return new ExprNS.Literal(token, token, parseInt(token.lexeme));
-        }
-            },
     {"name": "atom", "symbols": [(pythonLexer.has("float") ? {type: "float"} : float)], "postprocess": 
         (d) => {
           const token = toAstToken(d[0]);
@@ -469,7 +462,7 @@ let ParserRules = [
     {"name": "atom", "symbols": [(pythonLexer.has("bigint") ? {type: "bigint"} : bigint)], "postprocess": 
         (d) => {
           const token = toAstToken(d[0]);
-          return new ExprNS.BigIntLiteral(token, token, token.lexeme.slice(0, -1));
+          return new ExprNS.BigIntLiteral(token, token, token.lexeme);
         }
             },
     {"name": "atom", "symbols": [(pythonLexer.has("complex") ? {type: "complex"} : complex)], "postprocess": 

src/nearley/python.ne

@@ -11,7 +11,6 @@ import { TokenType } from '../tokens';
 
 const tokenTypeMap: { [key: string]: TokenType } = {
   'identifier': TokenType.NAME,
-  'integer': TokenType.NUMBER,
   'float': TokenType.NUMBER,
   'bigint': TokenType.BIGINT,
   'complex': TokenType.COMPLEX,
@@ -88,7 +87,7 @@ function toAstToken(token: any): AstToken {
   return new AstToken(
     type,
     token.value,
-    token.line || 0,
+    token.line - 1 || 0,
     token.col || 0,
     token.offset || 0
   );
@@ -551,12 +550,6 @@ atom ->
         return new ExprNS.Variable(token, token, token);
       }
     %}
-  | %integer {%
-      (d) => {
-        const token = toAstToken(d[0]);
-        return new ExprNS.Literal(token, token, parseInt(token.lexeme));
-      }
-    %}
   | %float {%
       (d) => {
         const token = toAstToken(d[0]);
@@ -566,7 +559,7 @@ atom ->
   | %bigint {%
       (d) => {
         const token = toAstToken(d[0]);
-        return new ExprNS.BigIntLiteral(token, token, token.lexeme.slice(0, -1));
+        return new ExprNS.BigIntLiteral(token, token, token.lexeme);
       }
     %}
   | %complex {%