multi client launch

[daquexian]

#5008 里和 multi client 本身相关的部分。一部分改动来自 binbin。

1. 在 ProcessCtx 里添加 is_multi_client 属性，暴露 LocalRank() 和 IsMultiClient() 接口
2. 去掉 BootstrapConf 的 num_process_per_node 属性
3. 添加和 SingleClientSync 对应的 MultiClientSync
4. 修改 init.py 的逻辑，在检测到五个环境变量时，自动执行 multi client 的 env_init()，否则和原来一样执行 init_default_physical_env()

[clackhan]

这里错了吧。

[daquexian]

对，改错了

[chengtbf]

python端的使用方式是不是

import oneflow._oneflow_internal

oneflow._oneflow_internal.IsMultiClient()

这样？

[chengtbf]

哦哦哦看到这里了

[chengtbf]

这个判断条件应该是不对的，getenv 是拿到对应的 string 值，但是 and 的结果是 0，实测：

os.environ["MASTER_ADDR"] = "127.0.0.1"
os.environ["MASTER_PORT"] = "12139"
os.environ["WORLD_SIZE"] = "1"
os.environ["RANK"] = "0"
os.environ["LOCAL_RANK"] = "0"

is_multi_client = (os.getenv("MASTER_ADDR") and os.getenv("MASTER_PORT")                            
and os.getenv("WORLD_SIZE") and os.getenv("RANK") and os.getenv("LOCAL_RANK")) 
print("is_multi_client", is_multi_client)

输出：

is_multi_client 0

@daquexian @clackhan

[daquexian]

试验了一下，这个 0 是字符串 0，是最后一个 string（os.getenv("LOCAL_RANK")）的值，if is_multi_client 还是会走 True 的分支，但 HasAllMultiClientEnvVars() 这个函数确实该返回 True/False，我改下