[Typing] Ensure packaging tensor.pyi into wheel

[megemini]

PR Category

User Experience

PR Types

Bug fixes

Description

• 修改 CMakeLists.txt，在 pack 前生成 tensor.pyi
• 复制 tensor.pyi 到源码目录中

@SigureMo 请评审 ～

Related links

• 为 Paddle 框架 API 添加类型提示（Type Hints）Tracking Issue #63597

[paddle-bot]

你的PR提交成功，感谢你对开源项目的贡献!
请关注后续CI自动化测试结果，详情请参考Paddle-CI手册。
Your PR has been submitted. Thanks for your contribution!
Please wait for the result of CI firstly. See Paddle CI Manual for details.

[SigureMo]

话说这几部分有可以复用的么？是否可以写成函数？

[SigureMo]

这里同样，删掉 version import，改成 paddle.version 就好了

[megemini]

Update 20240525

• tools/gen_tensor_stub.py 中增加 add_dll_directory 函数，用于在 win 系统下避免 dll 加载失败。

  原因：paddle 在编译时，会生成或拷贝(第三方)库文件，类 unix 是 so， win 是 dll 。
  类 unix 系统在编译时，会把这些库加到路径里面，但是 win 系统只是生成了库文件，但是路径里面没有。
  libpaddle.pyd 虽然存在，但是其依赖的 dll 库(libs目录中)却是空的，而系统路径里面又没有，从而导致之前 win 系统下 import paddle 时提示 from . import libpaddle 出现 dll 加载错误。
  之前的 PR 【Type Hints】Paddle 中引入 Tensor stub 文件 #63953 之所以没问题，是因为，paddle 在打包 wheel 的时候，setup.py 会拷贝库文件统一到 libs 目录里面的，因此，打包之后再 import 就不会出错。

  因此，解决方案有两个：

  • CMakeLists 中把 win 依赖的库目录加到系统中去
    优点：下游的脚本，如 tools/gen_tensor_stub.py 不需要再手动添加
    缺点：复杂，容易出错。另外，没有本地测试环境，调试麻烦。
  • tools/gen_tensor_stub.py 在 import paddle 前手动 add_dll_directory ，把这些库目录加到路径中
    优点：简单
    缺点：如果上游，CMakeLists 和 setup.py 等修改了，仍需要改此文件

  基于此，此处选择第二种方案。

• 修改 CMakeLists.txt

  • 添加 paddle_stub 编译 target
  • 添加 DEPENDS ${PADDLE_PYTHON_BUILD_DIR}/.timestamp ，还原 PR fix mac m1 bug #63158

• 修改 paddle.__init__.py ，添加标记 is_paddle_installed

• 修改若干文件对于 paddle.version 的引入

@SigureMo 请评审 ～

[SigureMo]

其余感觉没啥问题，等 6.2 拉分支之后会合入看看效果，如果 QA 那边没有反馈更多非 CI 流水线监控硬件编译问题，就没啥问题了～

[SigureMo]

可以考虑改成

def generate_stub_file(input_file, output_file): ...
def main():
    args = parse_args()
    generate_stub_file(args.input_file, args.output_file)

这样分层应该会更合理些

[SigureMo]

可以考虑抽成函数：

def try_import_paddle() -> types.ModuleType | None: ...
def get_tensor_members():
    paddle = try_import_paddle()
    if not paddle:
        raise Xxx()
    ...

[SigureMo]

这里从其他开发者角度来看会有点奇怪，为什么没有安装却可以调用呢？这里是否可以赋予更细致的语义？比如这里应该是信息已生成，是否可以用 __is_metainfo_generated？加 __ 以免误 import，毕竟这是 __init__

[megemini]

Update 20240528

• 在 setup.py.in 中添加 check_build_dependency 方法，对齐 setup.py

这里只有一处不同，原 setup.py 中

def check_build_dependency():
    missing_modules = '''Missing build dependency: {dependency}
Please run 'pip install -r python/requirements.txt' to make sure you have all the dependencies installed.
'''.strip()

    with open(TOP_DIR + '/python/requirements.txt') as f:

取的目录是 TOP_DIR：TOP_DIR = os.path.dirname(os.path.realpath(__file__))

而由于 setup.py.in 与 setup.py 不是一个文件，特使用 ${PADDLE_SOURCE_DIR} 代替：

def check_build_dependency():
    missing_modules = '''Missing build dependency: {dependency}
Please run 'pip install -r python/requirements.txt' to make sure you have all the dependencies installed.
'''.strip()

    with open('${PADDLE_SOURCE_DIR}' + '/python/requirements.txt') as f:

这两个目录应该是一样的，如有特殊情况还望告知 ～

@SigureMo

[SigureMo]

LGTMeow

[Aurelius84]

LGTM