[Gemini] fix grad unreleased issue and param recovery issue

[zengzh95]

参数保存与恢复

1. ParamTracerWrapper中定义cpu_param_data_dict属性，forward执行之前调用_save_param_data_on_cpu函数备份参数
2. Tracer过程中，_free_cuda_params函数和_allocate_params_on_cuda函数只负责释放和分配cuda内存，不拷贝数据
3. backward执行完后，调用_restore_param_data函数恢复参数，并清空cpu_param_data_dict

拆分grad hook和param hook

1. 添加GradHook类
2. ParamTracerWrapper实例执行forward之前，调用GradHook实例的register_grad_hook函数给参数挂上hook
3. backward执行之后，调用GradHook实例的remove_grad_hook函数删除参数的hook

MemInfo

1. model_data_list 记录 model data 的内存
2. non_model_data_list 记录 non model data 的内存
3. unreleased_grad_flag 表示参数对应的梯度是否未释放
4. unreleased_grad_volume 表示未释放的梯度数据量

shared module处理

1. sample_model_data函数中计算model data时，初始化data_volume为unreleased_grad_volume，
2. sample_model_data函数中判断参数梯度是否处于未释放状态，如果是则不用累加unreleased_grad_volume，PyTorch梯度累加器只保存一份梯度
3. grad_handle函数中释放梯度

测试

https://github.com/hpcaitech/ColossalAI/blob/main/tests/test_gemini/test_param_tracer.py

[feifeibear]

 p.data不也是你自己empty出来的么？这样会备份到有意义的信息么？

[feifeibear]

Comments：

1. 把param hook和grad hook拆成两个class。current memory statistics信息单独一个类，被前二者的实例共同更新。
2. 备份param.data逻辑抽出来，在tracer运行前备份，在运行后恢复。

[feifeibear]

这些信息都是gpu memory的么？if so，应该改名叫CUDAMemInfo

[feifeibear]

你一致把它当成全局变量用。建议使用单例模式。