python - 断管错误 Python 子进程

This question already has answers here:

'yes' reporting error with subprocess communicate()

(3 个回答)


5年前关闭。




我正在尝试启动几个 bash 例程
来自基于 GUI 的软件。我面临的问题是管道问题。
这里是测试 bash 脚本 (bashScriptTest.sh):

#!/bin/bash
#---------- Working
ls | sort | grep d > testFile.txt
cat testFile.txt
#---------- NOT working
echo $RANDOM > testFile2.txt
for i in `seq 1 15000`; do
    echo $RANDOM >> testFile2.txt
done
awk '{print $1}' testFile2.txt | sort -g | head -1

这里是创建错误的python脚本:

import subprocess
#
with open('log.txt','w') as outfile:
    CLEAN=subprocess.Popen("./bashScriptTest.sh", stdout=outfile, stderr=outfile)
    print CLEAN.pid
    OUTSEE=subprocess.Popen(['x-terminal-emulator', '-e','tail -f '+outfile.name])

运行python脚本可以看到，遇到了Broken-pipe错误
不是在前三个管道(第一行)中，而是在 awk 完成了大量工作之后。
我需要在 bash 中管理大量的例程和子例程
并且使用 shell==True 标志不会改变任何事情。
我试图以最 Pythonic 的方式编写所有内容，但不幸的是没有
有机会我可以重写 python 中的所有管道步骤。
另一件事要提到的是，如果您在终端内测试 bash 脚本
一切正常。
任何帮助将非常感激。提前致谢!

编辑 1:

包含错误的日志文件说:

bashScriptTest.sh
log.txt
stack.txt
testFile2.txt
test.py
3
sort: write failed: standard output: Broken pipe
sort: write error

最佳答案

好的，所以这有点晦涩，但碰巧我前段时间在研究 question on the python-tutor mailing list 时遇到了类似的问题。

通过 subprocess 模块(在 python 中)与直接通过 bash 运行脚本时，您看到不同行为的原因是，python 将所有子进程(全局)的 SIGPIPE 配置覆盖为 SIG_IGN(忽略)。

当执行以下管道时...

awk '{print $1}' testFile2.txt | sort -g | head -1

... 由于 head 标志，sort 将在从 -1 命令打印第一行 stdout 后退出。当 sort 命令尝试将更多行写入其标准输出时，会引发 SIGPIPE。

SIGPIPE 的默认操作；例如，当管道在像 bash 这样的 shell 中执行时；是终止排序命令。

如前所述，python 使用 SIG_IGN(忽略)覆盖了默认操作，因此我们最终会出现这种奇怪且有些莫名其妙的行为。

这一切都很好，但您可能想知道现在该怎么办？这取决于您使用的python版本......

对于 Python 3.2 及更高版本，您已经设置好了。 subprocess.Popen in 3.2 增加了 restore_signals 参数，默认为 True ，有效解决问题，无需进一步操作。

对于以前的版本，您可以为 preexec_fn 的 subprocess.Popen 参数提供一个可调用对象，如...

import signal
def default_sigpipe():
    signal.signal(signal.SIGPIPE, signal.SIG_DFL)

# ...

with open('log.txt','w') as outfile:
    CLEAN=subprocess.Popen("./bashScriptTest.sh",
                           stdout=outfile, stderr=outfile
                           preexec_fn=default_sigpipe)

我希望这有帮助!

编辑: 应该注意的是，您的程序实际上运行正常，AFAICT，原样。您只会看到在 shell 中直接执行脚本时通常不会看到的其他错误消息(出于上述原因)。

也可以看看:

https://mail.python.org/pipermail/python-dev/2007-July/073831.html

https://bugs.python.org/issue1652

关于python - 断管错误 Python 子进程，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/37547232/