/
lexer4.go
45 lines (36 loc) · 1.02 KB
/
lexer4.go
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
// Seriál "Programovací jazyk Go"
// https://www.root.cz/serialy/programovaci-jazyk-go/
//
// Seznam příkladů z osmdesáté druhé části:
// https://github.com/tisnik/go-root/blob/master/article_82/README.md
package main
import (
"fmt"
"go/scanner"
"go/token"
)
// zdrojový kód, který má být tokenizován
const source = `
var x int = 2 < 3 ? 10 : 20
`
func main() {
// objekt představující scanner
var s scanner.Scanner
// struktura reprezentující množinu zdrojových kódů
fset := token.NewFileSet()
// přidání informace o zdrojovém kódu
file := fset.AddFile("", fset.Base(), len(source))
// inicializace scanneru
s.Init(file, []byte(source), nil, scanner.ScanComments)
// postupné provádění tokenizace a výpis jednotlivých tokenů
for {
pos, tok, lit := s.Scan()
// byl nalezen speciální token reprezentující konec tokenizace
if tok == token.EOF {
fmt.Println("<EOF>")
break
}
// výpis obsahu tokenu
fmt.Printf("%s\t%s\t%q\n", fset.Position(pos), tok, lit)
}
}