bash - awk 命令在 snakemake --use-singularity 中失败

我正在尝试将 Snakemake 与 Singularity 结合起来，我注意到一个简单的 awk 命令在使用奇点时不再起作用。最后一行中的 $1 被 bash 替换，而不是被 awk 用作第一个字段。

这是一个最小的工作示例(Snakefile):

singularity: "docker://debian:stretch"
rule all:
    input: "test.txt"
rule test:
    output:
        "test.txt"
    shell:
        "cat /etc/passwd | awk -F':' '{{print $1}}' > {output}"

当我在没有奇点的情况下运行 snakemake 时，输出 test.txt 看起来像预期的一样(仅包含用户名)。当我运行 snakemake --use-singularity 时，文件包含整行，例如root:x:0:0:root:/root:/bin/bash 。

这是 Snakemake 的日志:

$ snakemake --use-singularity --printshellcmd
Building DAG of jobs...
Using shell: /usr/bin/bash
Provided cores: 1
Rules claiming more threads will be scaled down.
Job counts:
        count   jobs
        1       all
        1       test
        2

rule test:
    output: test.txt
    jobid: 1

cat /etc/passwd | awk -F':' '{print $1}' > test.txt
Activating singularity image /scratch/test/.snakemake/singularity/fa9c8c7220ff16e314142a5d78ad6cff.simg
Finished job 1.
1 of 2 steps (50%) done

localrule all:
    input: test.txt
    jobid: 0

Finished job 0.
2 of 2 steps (100%) done

最佳答案

我有一个类似的问题，经过大量的反复试验终于解决了它。目前(2018 年 11 月，对于 Snakemake 5.3)，这有点没有记录，所以我认为最好把它放在这里以供将来引用以帮助他人......

上面的所有示例都错误地将双引号与 bash -c 一起使用，这不是 Snakemake 构造它的方式 。相反，Snakemake 使用 bash -c ' modified_command ' 调用 Singularity，所以是单引号。
首先，这改变了命令中特殊字符的处理方式。其次，截至目前，Snakemake 将实际命令中的所有单引号替换为转义版本\'。但是，这仅适用于与 Singularity 一起使用时。

因此，如果您的命令包含单引号，则在使用 --use-singularity 提交或在正常模式下运行时会出现问题。我所知道的在这两种情况下都有效的唯一可行解决方案如下:

shell: """awk "{{OFS="\\t"}};{{print \$2}}" {input}"""

因此，以下规则适用:

不要在命令中使用单引号，否则它们会被替换，这会导致错误。

转义某些字符，例如\t 转\\t、$ 转\$ 和 { 转 {{。

使用三引号将命令行调用括起来。

我希望这会有所帮助，一旦有实现更新，我会更新这篇文章。

关于bash - awk 命令在 snakemake --use-singularity 中失败，我们在Stack Overflow上找到一个类似的问题：https://stackoverflow.com/questions/50965417/