Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

datasetのファイルパス #3

Closed
KanHatakeyama opened this issue Dec 30, 2023 · 3 comments
Closed

datasetのファイルパス #3

KanHatakeyama opened this issue Dec 30, 2023 · 3 comments

Comments

@KanHatakeyama
Copy link

repo作成ありがとうございます。記事を拝見しながら、動かし中です。

pretrainでエラーが出ました。

恐らく、
https://github.com/ce-lery/japanese-mistral-300m-recipe/blob/v0.1.0/pretrain/train/hf_config.json

"train_file":"../dataset/archive/train.txt",
"validation_file":"../dataset/archive/test.txt",

"train_file":"../dataset/train.txt",
"validation_file":"../dataset/test.txt",
な気がしました。pathを変えたら動きました。

@ce-lery
Copy link
Owner

ce-lery commented Dec 30, 2023

ご使用いただきありがとうございます。
ご指摘のとおりです、申し訳ありません。修正内容を反映し、v.0.1.1をリリースいたしました。
ce1b56d

ご指摘いただいたtrain_file、validation_fileのパスを修正いただければ、その他はそのままv0.1.0の内容で動作するかと思います。
また何かありましたらご指摘いただけますと幸いです。よろしくお願いいたします。

P.S. 先生のDiscordチャンネル、いつも楽しく拝見させて頂いております。

@KanHatakeyama
Copy link
Author

ありがとうございます!
現在計算中ですので、また何かあれば報告します。
引き続きよろしくお願いします。

@ce-lery
Copy link
Owner

ce-lery commented Mar 10, 2024

この問題は解決したのでcloseします。

@ce-lery ce-lery closed this as completed Mar 10, 2024
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants