Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

训练集的padding问题 #28

Open
stark916 opened this issue Apr 12, 2023 · 26 comments
Open

训练集的padding问题 #28

stark916 opened this issue Apr 12, 2023 · 26 comments

Comments

@stark916
Copy link

麻烦作者了,我在训练的时候,step到310的时候,调用utils.py里面的sequence_padding()函数时,为什么input是空列表,求解答
5EED(9 OB125L%@5$NA{K07

@taishan1994
Copy link
Owner

麻烦作者了,我在训练的时候,step到310的时候,调用utils.py里面的sequence_padding()函数时,为什么input是空列表,求解答 5EED(9 OB125L%@5$NA{K07

可能是数据的问题,你可以打印一下那条原始的文本是什么。

@stark916
Copy link
Author

好的,谢谢

@1205170013
Copy link

我也是同样的问题,请问是怎么解决的呀

@taishan1994
Copy link
Owner

我也是同样的问题,请问是怎么解决的呀

更新一下代码看看。

@stark916
Copy link
Author

stark916 commented May 9, 2023

我也是同样的问题,请问是怎么解决的呀

更新下代号
0LGTAXA )WG 6B$_2%GSXA4
这里报错了

@taishan1994
Copy link
Owner

我也是同样的问题,请问是怎么解决的呀
这里报错了

改了下。

@1205170013
Copy link

ValueError: Wrong shape for input_ids (shape torch.Size([0])) or attention_mask (shape torch.Size([0]))
老哥现在这个错误,格式好像不匹配
运行main文件的时候发生的

@taishan1994
Copy link
Owner

ValueError: Wrong shape for input_ids (shape torch.Size([0])) or attention_mask (shape torch.Size([0])) 老哥现在这个错误,格式好像不匹配 运行main文件的时候发生的

具体错误贴出来看看,我运行了下应该没问题。

@stark916
Copy link
Author

ValueError: Wrong shape for input_ids (shape torch.Size([0])) or attention_mask (shape torch.Size([0])) 老哥现在这个错误,格式好像不匹配 运行main文件的时候发生的

具体错误贴出来看看,我运行了下应该没问题。

}_ UXLIX0UZI@~ QED$WZNQ
更新了下代码,却出现这个错误了

@taishan1994
Copy link
Owner

taishan1994 commented May 10, 2023

ValueError: Wrong shape for input_ids (shape torch.Size([0])) or attention_mask (shape torch.Size([0])) 老哥现在这个错误,格式好像不匹配 运行main文件的时候发生的

具体错误贴出来看看,我运行了下应该没问题。

更新了下代码,却出现这个错误了

打印下models.py里面seq_out的形状是什么。

print(seq_out.shape)

@1205170013
Copy link

具体错误贴出来看看,我运行了下应该没问题。

76@YNDK$UHFL MFNGC{OQ42
大概是这样的,前面几条数据没有问题,然后中间就有这个了

@stark916
Copy link
Author

print(seq_out.shape)

seq_out的形状torch.Size([1, 512, 768])

@1205170013
Copy link

print(seq_out.shape)

seq_out的形状torch.Size([1, 512, 768])

ZIS6F8K@($)DZOM%{L`OO M
对,打印models.py里面seq_ou的形状也是这个

@taishan1994
Copy link
Owner

都重新拉下最新的代码,然后按照我给的总结里面的步骤看看。我这边都能够完整的运行。

@stark916
Copy link
Author

好的

@1205170013
Copy link

好,我重拉一下试一下

@stark916
Copy link
Author

好,我重拉一下试一下

你解决了吗

@1205170013
Copy link

好,我重拉一下试一下

你解决了吗

没有,还是形状不对

@1205170013
Copy link

都重新拉下最新的代码,然后按照我给的总结里面的步骤看看。我这边都能够完整的运行。

老哥,能麻烦您提供一下pytorch_triple_extraction-main/bert_re/checkpoints/best.pt这个文件嘛,我想先试试融合预测,回头来再看一下问题在哪

@taishan1994
Copy link
Owner

都重新拉下最新的代码,然后按照我给的总结里面的步骤看看。我这边都能够完整的运行。

老哥,能麻烦您提供一下pytorch_triple_extraction-main/bert_re/checkpoints/best.pt这个文件嘛,我想先试试融合预测,回头来再看一下问题在哪

在谷歌网盘里,等我有时间把它弄下来。

@1205170013
Copy link

都重新拉下最新的代码,然后按照我给的总结里面的步骤看看。我这边都能够完整的运行。

老哥,能麻烦您提供一下pytorch_triple_extraction-main/bert_re/checkpoints/best.pt这个文件嘛,我想先试试融合预测,回头来再看一下问题在哪

在谷歌网盘里,等我有时间把它弄下来。

好的,麻烦老哥了

@taishan1994
Copy link
Owner

老哥,能麻烦您提供一下pytorch_triple_extraction-main/bert_re/checkpoints/best.pt这个文件嘛,我想先试试融合预测,回头来再看一下问题在哪

https://cowtransfer.com/s/6d3d721a01c24e 点击链接查看 [ best.pt ] ,或访问奶牛快传 cowtransfer.com 输入传输口令 alj6y5 查看;

只训练了一个epoch,可能效果不太好。

@1205170013
Copy link

老哥,能麻烦您提供一下pytorch_triple_extraction-main/bert_re/checkpoints/best.pt这个文件嘛,我想先试试融合预测,回头来再看一下问题在哪

https://cowtransfer.com/s/6d3d721a01c24e 点击链接查看 [ best.pt ] ,或访问奶牛快传 cowtransfer.com 输入传输口令 alj6y5 查看;

只训练了一个epoch,可能效果不太好。

好的,我先试试看

@1205170013
Copy link

谢谢老哥,我能再要一份这个嘛
./bert_bilstm_crf_ner/checkpoints/bert_crf/model.pt
我想先融合预测一下

@taishan1994
Copy link
Owner

taishan1994 commented May 10, 2023

谢谢老哥,我能再要一份这个嘛 ./bert_bilstm_crf_ner/checkpoints/bert_crf/model.pt 我想先融合预测一下

bert_crf训练的。
https://share.multcloud.link/share/c64ced1a-a4cd-44cb-875e-350f11a075a8

@stark916
Copy link
Author

谢谢老哥,我能再要一份这个嘛 ./bert_bilstm_crf_ner/checkpoints/bert_crf/model.pt 我想先融合预测一下

我应该是发现前面那个问题了,dataloader在过滤超过文本最大长度的那里有bug,你可以试试自己写一个函数处理一下train.txt这个文件,把里面ids超过510的过滤掉,再去训练就不会报错了。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants