Repository navigation
原始数据来源:TinyStories V2-GPT4。
TinyStories V2-GPT4 的训练集与验证集,已用本课程实现的 BPE 分词器(词表大小 10000)编码为 uint16 的 numpy 数组,可直接被 scripts/train_llm.py 以 np.load(..., mmap_mode="r") 读取。
原始数据来源:TinyStories V2-GPT4。
TinyStories V2-GPT4 的训练集与验证集,已用本课程实现的 BPE 分词器(词表大小 10000)编码为 uint16 的 numpy 数组,可直接被 scripts/train_llm.py 以 np.load(..., mmap_mode="r") 读取。