Added token tests
This commit is contained in:
@ -24,17 +24,23 @@ func Tokenize(buffer []byte) List {
|
||||
switch buffer[i] {
|
||||
// Texts
|
||||
case '"':
|
||||
start := i
|
||||
end := len(buffer)
|
||||
i++
|
||||
position := i
|
||||
|
||||
for i < len(buffer) && buffer[i] != '"' {
|
||||
for i < len(buffer) {
|
||||
if buffer[i] == '"' {
|
||||
end = i + 1
|
||||
break
|
||||
}
|
||||
|
||||
i++
|
||||
}
|
||||
|
||||
tokens = append(tokens, Token{
|
||||
Text,
|
||||
position,
|
||||
buffer[position:i],
|
||||
String,
|
||||
start,
|
||||
buffer[start:end],
|
||||
})
|
||||
|
||||
// Parentheses start
|
||||
|
Reference in New Issue
Block a user