我需要在大文件(用\0001
分隔的csv)上执行2个unix命令,行数为几百万行,超过15gb,服务器上有24核512gb的ram)。
我需要tr
(用\0001
替换/t
),然后sed
在每行的末尾添加一个小字符串。
问题是我第一次运行tr,然后在将文件的所有行解析为一个新文件之后,我执行sed
命令添加到每一行。那要花很多时间!
有没有一种方法可以为exectr
和sed
只解析文件的每一行?
最佳答案
您只能使用sed
并在每行应用两个操作:
sed 's/\\0001/\t/g;s/$/TEXT_TO_APPEND/' input.file
第一个
s/
命令将\0001
替换为\t
,第二个命令允许您附加一些文本。