use nvtx push pop in timeline

[wanghuancoder]

PR types

Others

PR changes

Others

Describe

背景

使用nsys生成的*.qdrep文件，是NV原生支持的timeline，精准，能够补充profiler timeline的一些不足。
但常规的*.qdrep中的kernel名称无法阅读，很难通过kernel名称定位到是Paddle中的那个OP。也很难对应到模型的代码位置。
如果能够将OP名称打tag到timeline中，能够在模型中通过调用API就能在timeline中添加一些标记，将非常有助于性能调试。

主要功能

使用nvtx，提升NV timeline展示能力，方便性能调试。
本次主要是利用了NVTX的API：nvtxRangePush、nvtxRangePop，一个push+pop，可以在timeline中打一个“tag”标记代码执行位置。
这将非常有助于将NV timeline中的kernel与我们的OP映射，分析问题kernel与模型代码之间的关系。

添加4个内部API

• core.nvprof_nvtx_push：调用nvtxRangePush。
• core.nvprof_nvtx_pop：调用nvtxRangePop。
• core.nvprof_enable_record_event：在所有Profiler的RecordEvent的构造函数中加nvtxRangePush，所有析构函数中加nvtxRangePop。
• core.nvprof_disable_record_event：取消对RecordEvent事件的截取。

使用代码demo

for iter_id, data in enumerate(train_loader):
	if iter_id == 100:
		core.nvprof_start()
		core.nvprof_enable_record_event()
		core.nvprof_nvtx_push(str(iter_id))
	if iter_id == 110:
		core.nvprof_nvtx_pop()
		core.nvprof_stop()
		sys.exit()
	if iter_id > 100 and iter_id < 110:
		core.nvprof_nvtx_pop()
		core.nvprof_nvtx_push(str(iter_id))

在执行时，使用类似如下命令：

nsys profile -t cuda,nvtx -o my_report --capture-range=cudaProfilerApi --stop-on-range-end=true python train.py

timeline效果如下

[paddle-bot-old]

Thanks for your contribution!
Please wait for the result of CI firstly. See Paddle CI Manual for details.

[zhiqiu]

Suggested change

	bool is_pushed{false};
	bool is_pushed_{false};

[wanghuancoder]

done,thx!

[zhiqiu]

Not important, I wonder why GetNvtxDsoHandle handles WIN32, _APPLE_, and etc, while here only _WIN32.

[wanghuancoder]

这块主要是，windows下，nvToolsExt.h和libnvToolsExt.so相应的路径，我没有找到。不知道如何include和加载dll。这尤其是include<nvToolsExt.h>在windows流水线编译不过。
这个功能主要是团队内在Linux下使用的，因此就放弃支持windows了。

[zhiqiu]

LGTM