python - Python 3.6项目结构导致RuntimeWarning

我正在尝试打包我的项目以进行分发，但是运行模块时我遇到了RuntimeWarning。

我在Python mailing list上发现了一个错误报告，该报告表明RuntimeWarning是Python 3.5.2中引入的新行为。

通读错误报告，似乎发生了双重导入，并且此RuntimeWarning在警告用户时是正确的。但是，我看不到需要对自己的项目结构进行哪些更改才能避免此问题。

这是我尝试“正确”构造的第一个项目。当我推送代码时，我希望有一个整洁的布局，以及一个可以被其他人克隆并轻松运行的项目结构。

我的结构主要基于http://docs.python-guide.org/en/latest/writing/structure/。

我在下面添加了最小工作示例的详细信息。

要复制该问题，我使用python -m运行主文件:

(py36) X:\test_proj>python -m proj.proj
C:\Users\Matthew\Anaconda\envs\py36\lib\runpy.py:125: RuntimeWarning:
'proj.proj' found in sys.modules after import of package 'proj', but prior
to execution of 'proj.proj'; this may result in unpredictable behaviour
  warn(RuntimeWarning(msg))
This is a test project.`

运行我的测试很好:

(py36) X:\test_proj>python -m unittest tests.test_proj
This is a test project.
.
----------------------------------------------------------------------
Ran 1 test in 0.000s

OK

复制问题的项目结构如下:

myproject/
    proj/
        __init__.py
        proj.py
    tests/
        __init__.py
        context.py
        test_proj.py

在文件proj/proj.py中:

def main():
    print('This is a test project.')
    raise ValueError

if __name__ == '__main__':
    main()

在proj/__init__.py中:

from .proj import main

在tests/context.py中:

import os
import sys
sys.path.insert(0, os.path.abspath(os.path.join(os.path.dirname(__file__), '..')))
import proj

最后，在tests/test_proj.py中:

import unittest

from .context import proj


class SampleTestCase(unittest.TestCase):
    """Test case for this sample project"""
    def test_raise_error(self):
        """Test that we correctly raise an error."""
        with self.assertRaises(ValueError):
            proj.main()


if __name__ == '__main__':
    unittest.main()

谁能帮助我纠正我的项目结构，以避免这种双重导入的情况？任何帮助，将不胜感激。

最佳答案

对于这种特殊情况，双重导入警告是由于proj/__init__.py中的这一行引起的:

from .proj import main

该行的意思是，到-m开关实现完成import proj步骤时，已经导入了proj.proj作为导入父包的副作用。

避免警告

为了避免警告，您需要找到一种方法来确保导入父包不会隐式导入使用-m开关执行的包。

解决的两个主要选项是:

删除from .proj import main行(如@John Moutafis所建议的)，假定可以在不破坏API兼容性保证的情况下完成；或

从if __name__ == "__main__":子模块中删除proj块，并将其替换为一个单独的proj/__main__.py文件，该文件仅执行以下操作:

from .proj import main
main()

如果使用选项2，则命令行调用也将更改为python -m proj，而不是引用子模块。

选项2的一个向后兼容的变体是添加__main__.py而不从当前子模块中删除CLI块，当与DeprecationWarning结合使用时，这可能是一个特别好的方法:

if __name__ == "__main__":
    import warnings
    warnings.warn("use 'python -m proj', not 'python -m proj.proj'", DeprecationWarning)
    main()

如果proj/__main__.py已经用于其他用途，那么您还可以执行以下操作:用python -m proj.proj替换python -m proj.proj_cli，其中proj/proj_cli.py看起来像:

if __name__ != "__main__":
    raise RuntimeError("Only for use with the -m switch, not as a Python API")
from .proj import main
main()

为什么存在警告？

当-m开关实现即将进行并在__main__模块中再次运行已导入的模块的代码时，将发出此警告，这意味着您将对其定义的所有内容(类，函数，容器等)拥有两个不同的副本。

根据应用程序的具体情况，这可能会很好地工作(这就是为什么它是警告而不是错误)，或者它可能导致奇怪的行为，例如未按预期共享模块级别的状态修改，或者甚至没有捕获到异常，因为异常处理程序试图从模块的一个实例中捕获异常类型，而引发的异常则使用另一实例中的类型。

因此，含糊的this may cause unpredictable behaviour警告-如果由于两次运行模块的顶层代码而导致操作出错，则症状可能几乎不存在。

如何调试更复杂的情况？

尽管在此特定示例中，副作用导入直接在proj/__init__.py中进行，但存在一个更加微妙且难以调试的变体，而父包却这样做:

import some_other_module

然后是some_other_module(或它导入的模块)执行以下操作:

import proj.proj # or "from proj import proj"

假设错误行为是可重现的，则调试此类问题的主要方法是在详细模式下运行python并检查导入顺序:

$ python -v -c "print('Hello')" 2>&1 | grep '^import'
import zipimport # builtin
import site # precompiled from /usr/lib64/python2.7/site.pyc
import os # precompiled from /usr/lib64/python2.7/os.pyc
import errno # builtin
import posix # builtin
import posixpath # precompiled from /usr/lib64/python2.7/posixpath.pyc
import stat # precompiled from /usr/lib64/python2.7/stat.pyc
import genericpath # precompiled from /usr/lib64/python2.7/genericpath.pyc
import warnings # precompiled from /usr/lib64/python2.7/warnings.pyc
import linecache # precompiled from /usr/lib64/python2.7/linecache.pyc
import types # precompiled from /usr/lib64/python2.7/types.pyc
import UserDict # precompiled from /usr/lib64/python2.7/UserDict.pyc
import _abcoll # precompiled from /usr/lib64/python2.7/_abcoll.pyc
import abc # precompiled from /usr/lib64/python2.7/abc.pyc
import _weakrefset # precompiled from /usr/lib64/python2.7/_weakrefset.pyc
import _weakref # builtin
import copy_reg # precompiled from /usr/lib64/python2.7/copy_reg.pyc
import traceback # precompiled from /usr/lib64/python2.7/traceback.pyc
import sysconfig # precompiled from /usr/lib64/python2.7/sysconfig.pyc
import re # precompiled from /usr/lib64/python2.7/re.pyc
import sre_compile # precompiled from /usr/lib64/python2.7/sre_compile.pyc
import _sre # builtin
import sre_parse # precompiled from /usr/lib64/python2.7/sre_parse.pyc
import sre_constants # precompiled from /usr/lib64/python2.7/sre_constants.pyc
import _locale # dynamically loaded from /usr/lib64/python2.7/lib-dynload/_localemodule.so
import _sysconfigdata # precompiled from /usr/lib64/python2.7/_sysconfigdata.pyc
import abrt_exception_handler # precompiled from /usr/lib64/python2.7/site-packages/abrt_exception_handler.pyc
import encodings # directory /usr/lib64/python2.7/encodings
import encodings # precompiled from /usr/lib64/python2.7/encodings/__init__.pyc
import codecs # precompiled from /usr/lib64/python2.7/codecs.pyc
import _codecs # builtin
import encodings.aliases # precompiled from /usr/lib64/python2.7/encodings/aliases.pyc
import encodings.utf_8 # precompiled from /usr/lib64/python2.7/encodings/utf_8.pyc

这个特定示例仅显示了Fedora上的Python 2.7在启动时执行的基本导入集。在调试类似此问题中的双重导入RuntimeWarning时，您将在详细输出中搜索“import proj”行，然后搜索“import proj.proj”行，然后仔细查看紧接在“导入proj.proj”行。

关于python - Python 3.6项目结构导致RuntimeWarning，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/43393764/