ABOut the code

[sanwei111]

我想问问有没有原始transformer求flop的代码

[XingLuxi]

原始Transformer是指在用于NMT任务的Transformer吗？

[sanwei111]

原始Transformer是指在用于NMT任务的Transformer吗？

嗯呢，有几个问题：
1.你的例子中是基于bert的，有一些参数，变量不太看得懂，比如from transformers import BertForSequenceClassification, BertTokenizer from transformers import RobertaForSequenceClassification, RobertaTokenizer
2.这个算法是在训练数据集，还是测试数据
3.模型的长度是自己给一个定长，还是实打实的算句子实际的长度

[XingLuxi]

1、BertForSequenceClassification、BertTokenizer、RobertaForSequenceClassification、RobertaTokenizer是import自huggingface-transformer，分别是用于句子分类的BERT模型、BERT分词器、用于句子分类的RoBERTa模型、RoBERTa分词器，具体代码，请参见 https://github.com/huggingface/transformers/tree/v2.5.1 ，本repo测试的transformer版本是2.5.1；
2、这个算法是在测试模型在计算过程中FLOPs，是与模型结构相关的性能，和使用数据集或者单条数据无关；
3、example.py中的长度是设置的一个最大长度，超过最大长度的部分会被Tokenizer截去，可以根据输入的情况进行更改。