Skip to content

Latest commit

 

History

History
53 lines (30 loc) · 1.76 KB

tok013_20.md

File metadata and controls

53 lines (30 loc) · 1.76 KB
Raw

Visualizer

原始文本: huggingface.co/docs/tokenizers/api/visualizer

PythonRustNode

Annotation

class tokenizers.tools.Annotation

< source >

( start: int end: int label: str )

EncodingVisualizer

class tokenizers.tools.EncodingVisualizer

< source >

( tokenizer: Tokenizer default_to_notebook: bool = True annotation_converter: typing.Union[typing.Callable[[typing.Any], tokenizers.tools.visualizer.Annotation], NoneType] = None )

参数

  • tokenizer (Tokenizer) — 一个分词器实例

  • default_to_notebook (bool) — 默认情况下是否在笔记本中呈现 html 输出

  • annotation_converter (Callable, 可选) — 一个可选的 (lambda) 函数，接受任何格式的注释并返回一个 Annotation 对象

构建一个 EncodingVisualizer

__call__

< source >

( text: str annotations: typing.List[tokenizers.tools.visualizer.Annotation] = [] default_to_notebook: typing.Optional[bool] = None )

参数

  • text (str) — 要进行标记的文本

  • annotations (List[Annotation], 可选) — 文本的一个可选的注释列表。如果您使用转换函数实例化了可视化工具，则可以是一个注释类或其他任何内容

  • default_to_notebook (bool, 可选, 默认为 False) — 如果为 True，则在笔记本中呈现 html。否则返回一个 html 字符串。

构建给定文本的可视化