init

generated/Python3Lexer.tokens

@@ -0,0 +1,143 @@
+INDENT=1
+DEDENT=2
+STRING=3
+NUMBER=4
+INTEGER=5
+DEF=6
+RETURN=7
+IF=8
+ELIF=9
+ELSE=10
+WHILE=11
+FOR=12
+IN=13
+OR=14
+AND=15
+NOT=16
+NONE=17
+TRUE=18
+FALSE=19
+CONTINUE=20
+BREAK=21
+NEWLINE=22
+NAME=23
+STRING_LITERAL=24
+BYTES_LITERAL=25
+DECIMAL_INTEGER=26
+OCT_INTEGER=27
+HEX_INTEGER=28
+BIN_INTEGER=29
+FLOAT_NUMBER=30
+IMAG_NUMBER=31
+DOT=32
+ELLIPSIS=33
+STAR=34
+OPEN_PAREN=35
+CLOSE_PAREN=36
+COMMA=37
+COLON=38
+SEMI_COLON=39
+POWER=40
+ASSIGN=41
+OPEN_BRACK=42
+CLOSE_BRACK=43
+OR_OP=44
+XOR=45
+AND_OP=46
+LEFT_SHIFT=47
+RIGHT_SHIFT=48
+ADD=49
+MINUS=50
+DIV=51
+MOD=52
+IDIV=53
+NOT_OP=54
+OPEN_BRACE=55
+CLOSE_BRACE=56
+LESS_THAN=57
+GREATER_THAN=58
+EQUALS=59
+GT_EQ=60
+LT_EQ=61
+NOT_EQ_1=62
+NOT_EQ_2=63
+AT=64
+ARROW=65
+ADD_ASSIGN=66
+SUB_ASSIGN=67
+MULT_ASSIGN=68
+AT_ASSIGN=69
+DIV_ASSIGN=70
+MOD_ASSIGN=71
+AND_ASSIGN=72
+OR_ASSIGN=73
+XOR_ASSIGN=74
+LEFT_SHIFT_ASSIGN=75
+RIGHT_SHIFT_ASSIGN=76
+POWER_ASSIGN=77
+IDIV_ASSIGN=78
+SKIP_=79
+UNKNOWN_CHAR=80
+'def'=6
+'return'=7
+'if'=8
+'elif'=9
+'else'=10
+'while'=11
+'for'=12
+'in'=13
+'or'=14
+'and'=15
+'not'=16
+'None'=17
+'True'=18
+'False'=19
+'continue'=20
+'break'=21
+'.'=32
+'...'=33
+'*'=34
+'('=35
+')'=36
+','=37
+':'=38
+';'=39
+'**'=40
+'='=41
+'['=42
+']'=43
+'|'=44
+'^'=45
+'&'=46
+'<<'=47
+'>>'=48
+'+'=49
+'-'=50
+'/'=51
+'%'=52
+'//'=53
+'~'=54
+'{'=55
+'}'=56
+'<'=57
+'>'=58
+'=='=59
+'>='=60
+'<='=61
+'<>'=62
+'!='=63
+'@'=64
+'->'=65
+'+='=66
+'-='=67
+'*='=68
+'@='=69
+'/='=70
+'%='=71
+'&='=72
+'|='=73
+'^='=74
+'<<='=75
+'>>='=76
+'**='=77
+'//='=78