Skip to content

TinyStoriesV2-GPT4 分词数据集(uint16 npy)

Latest

Choose a tag to compare

@ddkeeper ddkeeper released this 17 Sep 16:19
· 15 commits to master since this release

原始数据来源:TinyStories V2-GPT4。

TinyStories V2-GPT4 的训练集与验证集,已用本课程实现的 BPE 分词器(词表大小 10000)编码为 uint16 的 numpy 数组,可直接被 scripts/train_llm.py 以 np.load(..., mmap_mode="r") 读取。