Skip to content

Latest commit

 

History

History
51 lines (33 loc) · 2.02 KB

text_generation.md

File metadata and controls

51 lines (33 loc) · 2.02 KB

Generation

每个框架都在它们各自的 GenerationMixin 类中实现了文本生成的 generate 方法:

  • PyTorch [~generation.GenerationMixin.generate] 在 [~generation.GenerationMixin] 中实现。
  • TensorFlow [~generation.TFGenerationMixin.generate] 在 [~generation.TFGenerationMixin] 中实现。
  • Flax/JAX [~generation.FlaxGenerationMixin.generate] 在 [~generation.FlaxGenerationMixin] 中实现。

无论您选择哪个框架,都可以使用 [~generation.GenerationConfig] 类实例对 generate 方法进行参数化。有关生成方法的控制参数的完整列表,请参阅此类。

要了解如何检查模型的生成配置、默认值是什么、如何临时更改参数以及如何创建和保存自定义生成配置,请参阅 文本生成策略指南。该指南还解释了如何使用相关功能,如token流。

GenerationConfig

[[autodoc]] generation.GenerationConfig - from_pretrained - from_model_config - save_pretrained

GenerationMixin

[[autodoc]] generation.GenerationMixin - generate - compute_transition_scores

TFGenerationMixin

[[autodoc]] generation.TFGenerationMixin - generate - compute_transition_scores

FlaxGenerationMixin

[[autodoc]] generation.FlaxGenerationMixin - generate