@@ -157,25 +157,9 @@ function tokenize(str) {
157
157
return new DelimToken ( code ) ;
158
158
}
159
159
}
160
- else if ( code == 0x24 ) {
161
- if ( next ( ) == 0x3d ) {
162
- consume ( ) ;
163
- return new SuffixMatchToken ( ) ;
164
- } else {
165
- return new DelimToken ( code ) ;
166
- }
167
- }
168
160
else if ( code == 0x27 ) return consumeAStringToken ( ) ;
169
161
else if ( code == 0x28 ) return new OpenParenToken ( ) ;
170
162
else if ( code == 0x29 ) return new CloseParenToken ( ) ;
171
- else if ( code == 0x2a ) {
172
- if ( next ( ) == 0x3d ) {
173
- consume ( ) ;
174
- return new SubstringMatchToken ( ) ;
175
- } else {
176
- return new DelimToken ( code ) ;
177
- }
178
- }
179
163
else if ( code == 0x2b ) {
180
164
if ( startsWithANumber ( ) ) {
181
165
reconsume ( ) ;
@@ -235,35 +219,8 @@ function tokenize(str) {
235
219
}
236
220
}
237
221
else if ( code == 0x5d ) return new CloseSquareToken ( ) ;
238
- else if ( code == 0x5e ) {
239
- if ( next ( ) == 0x3d ) {
240
- consume ( ) ;
241
- return new PrefixMatchToken ( ) ;
242
- } else {
243
- return new DelimToken ( code ) ;
244
- }
245
- }
246
222
else if ( code == 0x7b ) return new OpenCurlyToken ( ) ;
247
- else if ( code == 0x7c ) {
248
- if ( next ( ) == 0x3d ) {
249
- consume ( ) ;
250
- return new DashMatchToken ( ) ;
251
- } else if ( next ( ) == 0x7c ) {
252
- consume ( ) ;
253
- return new ColumnToken ( ) ;
254
- } else {
255
- return new DelimToken ( code ) ;
256
- }
257
- }
258
223
else if ( code == 0x7d ) return new CloseCurlyToken ( ) ;
259
- else if ( code == 0x7e ) {
260
- if ( next ( ) == 0x3d ) {
261
- consume ( ) ;
262
- return new IncludeMatchToken ( ) ;
263
- } else {
264
- return new DelimToken ( code ) ;
265
- }
266
- }
267
224
else if ( digit ( code ) ) {
268
225
reconsume ( ) ;
269
226
return consumeANumericToken ( ) ;
0 commit comments