gpc.config完整的参考配置表有吗？

[Sakura-gh]

ColossalAI-Examples里给了一些configs的样例，例如在ColossalAI-Examples/language/gpt/gpt2_configs目录下给出了一些可参考的配置文件，我观察到在train_gpt.py中这些配置都会被写入gpc.config，并用于后续的配置和训练。

目前比较苦恼的是，我并没有在官方文档里找到一个详细的参考配置文件，并不知道gpc.config.VARIABLE中有哪些变量是可以在configs文件里修改的，所以来问问是否有比较完整的配置参考表？

[binmakeswell]

您好，感谢您的反馈。
因为config并不能根据完整配置表随意组合，需要结合具体功能，因此即使以总表形式给出，实际使用也不方便，还很可能引起新的混乱。
您可以根据tutorial中的功能划分，在config中添加您所需功能的对应config部分即可。如果有不清楚的配置，可以随时发在Git issue里。
我们也正在提升自动化程度，尽量减少这部分的工作量。

[Sakura-gh]

您好，感谢您的反馈。 因为config并不能根据完整配置表随意组合，需要结合具体功能，因此即使以总表形式给出，实际使用也不方便，还很可能引起新的混乱。 您可以根据tutorial中的功能划分，在config中添加您所需功能的对应config部分即可。如果有不清楚的配置，可以随时发在Git issue里。 我们也正在提升自动化程度，尽量减少这部分的工作量。

你好，想问下在ColossalAI中，有类似Megatron-LM能开启activation_checkpoint.enabled=true的配置项吗，当我尝试用以下配置训练GPT2时，发现最多只能将BATCH_SIZE设置为1（此时GPU显存占用率大致为9000/16280 MiB），一旦设置为2，log显示每次epoch的loss=nan（我感觉像是GPU显存OOM了），我的环境是8×Tesla P100-PCIE-16GB

from colossalai.amp import AMP_TYPE
from titans.loss.lm_loss import GPTLMLoss
from torch.optim import Adam

M_P, P_P, D_P = 1, 1, 8

BATCH_SIZE = 1 # mbs 
# gradient_accumulation = 1 # grad_acc_steps
# GLOBAL_BATCH_SIZE = D_P * BATCH_SIZE * gradient_accumulation # gbs
SEQ_LEN = 1024
NUM_EPOCHS = 10 # train_iters ?

optimizer = dict(
    type=Adam,
    lr=0.00015,
    weight_decay=1e-2,
)

fp16 = dict(
    mode=AMP_TYPE.NAIVE
)

loss = dict(
    type=GPTLMLoss,
)

#  这里我对train_gpt.py的代码略有修改，利用from titans.model.gpt import _create_gpt_model能够直接读取下述配置创建网络参数符合我要求的GPT2模型
gpt2_model = dict(
    depth=24,
    vocab_size=50304,
    hidden_size=1024,
    mlp_ratio=4.0,
    num_heads=16,
    max_position_embeddings=1024,
    embedding_dropout=0.1,
    attention_dropout=0.1,
    checkpoint=True 
)

parallel = dict(
    data=D_P,
    pipeline=P_P,
    tensor=dict(size=M_P, mode='1d'),
)

上述的配置本质上相要做的实验是tensor parallel=1, pipeline parallel=1, data parallel=8, micro batch size=8, global batch size=64，用megatron-lm跑这样一套设置的结果是：throughout=15.90，gpu_rate=68%，这里针对实验结果，我有以下几点困惑：

• BATCH_SIZE是否就对应着megatron-lm中的micro batch size？如果我在config中加上gradient_accumulation = 1 （从train_gpt.py中观察到有这个配置项），是否意味着global batch size会自动推导为data parallel*BATCH_SIZE*gradient_accumulation？如果我设置的有问题，麻烦告知该如何设置才能得到tensor parallel=1, pipeline parallel=1, data parallel=8, micro batch size=8, global batch size=64这样的一组结果
• 我对NUM_EPOCHS = 10中的NUM_EPOCHS比较好奇，因为在megatron-lm中只有train_iters这个参数，它对应的是采用global batch size迭代train_iters次，这里的NUM_EPOCHS是否也是这个含义？还是说NUM_EPOCHS中的EPOCH就是完整地训练完所有数据的一次过程，如果是后者的含义，我发现在BATCH_SIZE=1的情况下，colossalai的log中，跑10个EPOCH竟然非常迅速，只需要10s左右就能完成，而采用同样的openwebtext数据集的megatron-lm，光是完成100次train_iters就要数分钟的时间，这里我比较迷惑，因为colossalai的log中也没有显示每次epoch迭代了多少次iters，麻烦您帮忙解答下
• 最后一个问题是关于显存占用的，在上述model配置下，megatron-lm可以在activation_checkpoint.enabled=true的前提下实现tensor parallel=1, pipeline parallel=1, data parallel=8, micro batch size=8, global batch size=64，结果是throughout=15.90，gpu_rate=68%；而在colossalai中，我想知道是否也有activation_checkpoint.enabled=true的配置项，以及为啥我在实验中colossalai设置BATCH_SIZE=2（如果它是micro batch size的含义的话）的情况下就会OOM？

上述问题可能有点多，但确实实验做下来比较困惑，麻烦您能够帮忙解答下~

[ver217]

1. micro batch size是根据BATCH_SIZE和NUM_MICRO_BATCHES推导出来的，micro batch size=BATCH_SIZE/NUM_MICRO_BATCHES
2. train_iters=NUM_EPOCHS*len(train_dataloader)，trainer.fit中可以限制max_steps达到类似的效果
3. 模型配置中checkpoint=True就是开启activation_checkpoint

[Sakura-gh]

1. micro batch size是根据BATCH_SIZE和NUM_MICRO_BATCHES推导出来的，micro batch size=BATCH_SIZE/NUM_MICRO_BATCHES
2. train_iters=NUM_EPOCHS*len(train_dataloader)，trainer.fit中可以限制max_steps达到类似的效果
3. 模型配置中checkpoint=True就是开启activation_checkpoint

感谢解答，我在train_gpt.py中利用log打印发现len(train_ds)=4，len(train_dataloader)=1，感觉可能是数据处理上有问题，随后我在colossalai/trainer/_trainer.py#176插入了：

self._logger.info(f'cur_epoch: {self.cur_epoch}, cur_step: {self.cur_step}', ranks=[0])

发现在BATCH_SIZE=1，global batch size=8, (dp, mp, pp)=(8, 1, 1)的配置下，每次epoch打印出来的结果是cur_epoch: n, cur_step: n，看起来貌似每个epoch只执行了一次step，估计跟数据问题有关，我先去验证一下数据！

update：用小的数据集验证过了，确实是因为我直接使用了openwebtext.json这个json，而没有做tutorial里给的那些数据预处理操作，导致最终dataloader里可用的数据只有一丢丢，所以上述问题并不是因为出现了我之前猜测的OOM，而是数据本身的问题（卑微，我后续将整个数据集处理完一遍再做后续实验！

[Sakura-gh]

希望有时间可以解答下，按照上述配置运行下来，colossalai和megatron-lm的差距确实有点大...（挠头

update：发现问题出现在数据集上，大家记得处理数据的时候不要直接用gpt的openwebtext.json，需要按照tutorial里的介绍对数据做预处理！（就是这个预处理脚本耗时太长了，不知道有没有直接可download的处理好的数据，或者脚本加速的方法qaq

[ver217]

希望有时间可以解答下，按照上述配置运行下来，colossalai和megatron-lm的差距确实有点大...（挠头

update：发现问题出现在数据集上，大家记得处理数据的时候不要直接用gpt的openwebtext.json，需要按照tutorial里的介绍对数据做预处理！（就是这个预处理脚本耗时太长了，不知道有没有直接可download的处理好的数据，或者脚本加速的方法qaq

我们有处理好的一个小数据集