Merge pull request #32 from JuliaLang/sp/fix-dotop-tokenization

Fix some dotop tokenization issues

Author: pfitzseb

Tokenize/src/lexer.jl

@@ -678,7 +678,7 @@ function lex_minus(l::Lexer)
         else
             return emit_error(l, Tokens.INVALID_OPERATOR) # "--" is an invalid operator
         end
-    elseif accept(l, '>')
+    elseif !l.dotop && accept(l, '>')
         return emit(l, Tokens.ANON_FUNC)
     elseif accept(l, '=')
         return emit(l, Tokens.MINUS_EQ)

Tokenize/src/utilities.jl

@@ -231,6 +231,8 @@ function optakessuffix(k)
         k == Tokens.CONDITIONAL ||
         k == Tokens.ISSUBTYPE ||
         k == Tokens.ISSUPERTYPE ||
+        k == Tokens.LAZY_AND ||
+        k == Tokens.LAZY_OR ||
         k == Tokens.IN ||
         k == Tokens.ISA ||
         k == Tokens.COLON_EQUALS ||

Tokenize/test/lexer.jl

@@ -6,6 +6,8 @@ const T = Tokenize.Tokens
 
 tok(str, i = 1) = collect(tokenize(str))[i]
 
+strtok(str) = untokenize.(collect(tokenize(str)), str)
+
 @testset "tokens" begin
     for s in ["a", IOBuffer("a")]
         l = tokenize(s)
@@ -881,3 +883,15 @@ end
         Tokens.ENDMARKER
     ]
 end
+
+@testset "dotop miscellanea" begin
+    @test strtok("a .-> b")  ==  ["a", " ", ".-", ">", " ", "b", ""]
+    @test strtok(".>: b")    ==  [".>:", " ", "b", ""]
+    @test strtok(".<: b")    ==  [".<:", " ", "b", ""]
+    @test strtok("a ||₁ b")  ==  ["a", " ", "||", "₁", " ", "b", ""]
+    @test strtok("a ||̄ b")   ==  ["a", " ", "||", "̄", " ", "b", ""]
+    @test strtok("a .||₁ b") ==  ["a", " ", ".||", "₁", " ", "b", ""]
+    @test strtok("a &&₁ b")  ==  ["a", " ", "&&", "₁", " ", "b", ""]
+    @test strtok("a &&̄ b")   ==  ["a", " ", "&&", "̄", " ", "b", ""]
+    @test strtok("a .&&₁ b") ==  ["a", " ", ".&&", "₁", " ", "b", ""]
+end