AcademicResearchTools --- 学术研究工具

overview

科学研究中使用的一些工具，包括数据采集工具，数据可视化工具。

• dataCollecting:数据采集工具。

• dataVisualization:数据可视化工具。

数据采集工具

使用ThreadPoolExecutor收集CPU、GPU使用信息

• memCollect.py: 收集CPU memory, GPU memory的使用情况。

• usage_metrics_gpu.py: GPU使用率收集。

• How Can I Obtain GPU Usage Through Code: GPU使用率收集

使用守护线程和subprocess收集信息

• example: 使用守护线程收集信息的示例。
• 如何需要收集其他的系统信息，可以对 example中的daemon_function进行修改，非常感谢@esir kings在gist的代码示例。具体讲解可以参考Machine monitoring tool using python from scratch。
  • monitor.py
• 使用子进程进行profile时候，谨慎使用torch.cuda.memory_allocated()和torch.cuda.max_memory_allocated()函数，应该这两个函数一般仅仅针对与当前process。如果获得全局GPU内存使用情况，可以使用torch.cuda.mem_get_info.

使用bash script收集信息

• bash example: 使用bash script收集memory使用情况