在一个空间有限的小型嵌入式Linux设备上,我尝试将大型[10 MB]Amazon(AWS)botocore库(https://github.com/boto/botocore)放在zip文件中进行压缩,然后使用pep273(https://www.python.org/dev/peps/pep-0273/)中描述的zip import将其导入到我的python脚本中。
我修改了我的脚本,在开头有以下几行:
## Use zip imports
import sys
sys.path.insert(0, '/usr/lib/python2.7/site-packages/site-packages.zip')
站点包zip文件中只包含botocore,站点包目录本身包含我使用的其他模块,但不包括botocore。
以下是该目录的列表:
/usr/lib/python2.7/site-packages >> ls -rlt
total 1940
-rw-rw-r-- 1 root root 32984 Jun 8 12:22 six.pyc
-rw-r--r-- 1 root root 119 Jun 11 07:43 README
drwxrwxr-x 2 root root 4096 Jun 11 07:43 requests-2.4.3-py2.7.egg-info
drwxrwxr-x 2 root root 4096 Jun 11 07:43 six-1.9.0-py2.7.egg-info
drwxrwxr-x 2 root root 4096 Jun 11 07:43 python_dateutil-2.4.2-py2.7.egg-info
drwxrwxr-x 2 root root 4096 Jun 11 07:43 jmespath-0.7.0-py2.7.egg-info
-rw-rw-r-- 1 root root 2051 Jun 11 07:44 pygtk.pyc
-rw-rw-r-- 1 root root 1755 Jun 11 07:44 pygtk.pyo
-rw-rw-r-- 1 root root 8 Jun 11 07:44 pygtk.pth
drwxrwxr-x 2 root root 4096 Jun 11 07:44 futures-2.2.0-py2.7.egg-info
drwxrwxr-x 3 root root 4096 Jun 11 07:44 gtk-2.0
drwxrwxr-x 3 root root 4096 Jun 11 07:44 requests
drwxrwxr-x 3 root root 4096 Jun 11 07:44 dbus
drwxrwxr-x 3 root root 4096 Jun 11 07:44 dateutil
drwxrwxr-x 2 root root 4096 Jun 11 07:44 jmespath
drwxrwxr-x 3 root root 4096 Jun 11 07:44 concurrent
drwxrwxr-x 2 root root 4096 Jun 11 07:44 futures
drwxrwxr-x 2 root root 4096 Jun 12 10:42 gobject
drwxrwxr-x 2 root root 4096 Jun 12 10:42 glib
-rwxr-xr-x 1 root root 5800 Jun 12 10:42 _dbus_glib_bindings.so
-rwxr-xr-x 1 root root 77680 Jun 12 10:42 _dbus_bindings.so
-rwxr-xr-x 1 root root 1788623 Jun 12 11:39 site-packages.zip
下面是压缩文件的内容:
我的问题是我可以导入boto3和import botocore,但当我尝试使用其中包含的一些API方法时,我得到如下异常:
>> Unknown component: enpoint_resolver
或
>> Unable to load data for: aws/_endpoints!
如果在将zip文件解压缩到site packages目录并重新启动之后删除它,我的脚本就可以正常工作了。
如何利用zipfile导入来压缩这个巨大的库?谢谢!
最佳答案
不幸的是,这是行不通的。
PEP273要求图书馆作者遵循某些规则,而这个包没有。特别是,它makes use of __file__
而不是pkgutil.get_data()
或等效的API。因此,文件必须实际存在于文件系统中。
您可以尝试使用fuse将.zip文件装载到文件系统中,这样在python看来,它就好像是未压缩的,实际上不会占用所有的磁盘空间。仅仅通过谷歌,我就想到了“aa>”,这看起来可能是合适的。您将希望运行一些基准来确保它在您的系统上运行良好。