Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[Docs] Add internevo migration related documents #506

Merged
merged 9 commits into from
Apr 9, 2024

Conversation

HIT-cwh
Copy link
Collaborator

@HIT-cwh HIT-cwh commented Mar 21, 2024

No description provided.

@pppppM
Copy link
Collaborator

pppppM commented Mar 26, 2024

@fanqiNO1 从 internevo 用户的视角给点建议?

@fanqiNO1
Copy link
Contributor

fanqiNO1 commented Mar 26, 2024

发现文档里出现了很多 Internlm2,考虑改成 internlm2 或者 InternLM2?

然后文档部分,我只看了 Case1 和 InternEvo 那节。

Case1 部分的话,离线处理数据集那部分,是不是还要给一个算总 token 数的方法(但是 total steps 可以不做计算了,token 数目计算好像也没什么大作用了)

InternEvo 那部分的话,要不要补一段关于原生格式之类的内容?

@HIT-cwh
Copy link
Collaborator Author

HIT-cwh commented Mar 26, 2024

发现文档里出现了很多 Internlm2,考虑改成 internlm2 或者 InternLM2?

然后文档部分,我只看了 Case1 和 InternEvo 那节。

Case1 部分的话,离线处理数据集那部分,是不是还要给一个算总 token 数的方法(但是 total steps 可以不做计算了,token 数目计算好像也没什么大作用了)

InternEvo 那部分的话,要不要补一段关于原生格式之类的内容?

“原生格式”是指 Case 4 中 tokenized 数据集的格式吗?

@fanqiNO1
Copy link
Contributor

发现文档里出现了很多 Internlm2,考虑改成 internlm2 或者 InternLM2?
然后文档部分,我只看了 Case1 和 InternEvo 那节。
Case1 部分的话,离线处理数据集那部分,是不是还要给一个算总 token 数的方法(但是 total steps 可以不做计算了,token 数目计算好像也没什么大作用了)
InternEvo 那部分的话,要不要补一段关于原生格式之类的内容?

“原生格式”是指 Case 4 中 tokenized 数据集的格式吗?

其实我想指的是 InternEvo 训出来的模型的那个形式,就是转 hf 前(我也不确定 InternEvo 出来的具体长什么样子)

@HIT-cwh
Copy link
Collaborator Author

HIT-cwh commented Mar 26, 2024

其实我想指的是 InternEvo 训出来的模型的那个形式,就是转 hf 前(我也不确定 InternEvo 出来的具体长什么样子)

最新的 commit 中增加了对 InternEvo 读取、保存的 checkpoint 格式的描述,感谢反馈!

@pppppM pppppM merged commit efa906d into InternLM:docs Apr 9, 2024
3 checks passed
@HIT-cwh HIT-cwh deleted the internevo_migration_doc branch April 9, 2024 07:30
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
Development

Successfully merging this pull request may close these issues.

None yet

5 participants