Feature/extract op info into op info.cc

[reyoung]

Fix cycle dependencies, Fix #3583.

[wangkuiyi]

我没看明白为什么需要 OpInfo 和 OpInfoMap 。它们和 OpRegistry 是什么关系？尤其是OpReistry里有不少singleton了，为什么还要再加一个OpInfoMap::Instance?

[wangkuiyi]

I am not sure if these PADDLE_ENFORCE are necessary. But if they are, please make OpInfo a class instead of a struct due to https://google.github.io/styleguide/cppguide.html#Structs_vs._Classes. Especially, if we need OpInfo a class, we should declare creator_ and other data members private.

[wangkuiyi]

This class seems unnecessary and should be removed, as its methods basically duplicate unordered_map's interface.

[reyoung]

There are lot duplicated code before.

See code here. To use unordered_map directly could be nosing to check Is that key in the map? If not, enforce an error again and again.

[wangkuiyi]

The right way to implement a singleton in C++ doesn't need global pointer variables:

OpInfoMap& OpInfoMap::Singleton() {
  static OpInfoMap _;
  return _;
}

[reyoung]

https://google.github.io/styleguide/cppguide.html#Static_and_Global_Variables

In Google C++ style, Only POD type can be a global variable. OpInfoMap is a class, it should not be a global variable.

[wangkuiyi]

确实。不过看上去也不需要一个global variable，可以是这样？

OpInfoMap& OpInfoMap::Singleton() {
  static OpInfoMap* p = new OpInfoMap;
  return *p;
}

[reyoung]

我没看明白为什么需要 OpInfo 和 OpInfoMap 。它们和 OpRegistry 是什么关系？尤其是OpReistry里有不少singleton了，为什么还要再加一个OpInfoMap::Instance?

@wangkuiyi OpInfo和OpInfoMap并不是新增的概念。他们原来在OpRegistry中。OpRegistry里面的singleton都统一到这个OpInfoMap::Instance里了。

这么做的原因如#3583所示，主要是:

1. OpInfo，特别是其中的OpProto，应该是Operator自身的信息。Operator里面有一些操作需要知道自己的OpProto是什么。譬如Op中如果要知道哪一个输出是duplicable的，需要查询这个Op的OpProto中的outputs数组。在原来的实现中，有一个循环引用问题

   • Operator需要查询OpInfo来完成部分操作。
   • OpRegistry保存了OpInfo，但是需要依赖Operator模块进行注册。
   • 即 Operator依赖OpInfo(存在OpRegistry中)，OpRegistry依赖Operator。

2. 原来的singleton不符合google C++ style。

3. code中有很多重复的代码来去判断:

   • 某个Op是不是注册过。
   • 某个Op的Gradient是不是注册过。
   • 某个Op有没有OpProto。
   • 等等。

[JiayiFeng]

I think CLS and PARENT_CLS should be lowercase.
See this example from Google c++ code style: https://google.github.io/styleguide/cppguide.html#Macro_Names

#define ROUND(x) ...

x is lowercase.

[reyoung]

Done.