技术标签: 并行执行linux命令
在Bash中没有内置并行运行命令的方法。GNU Parallel是用于执行此操作的工具。
顾名思义,GNU Parallel可用于并行构建和运行命令。您可以使用不同的参数运行同一命令,无论它们是文件名,用户名,主机名还是从文件读取的行。GNU Parallel提供了对许多最常见操作(输入行,输入行的各个部分,指定输入源的不同方式等)的简写引用。并行可以从xargs其输入源替换命令或将命令提供给多个不同的Bash实例。
有时候你执行的命令也许不需要等待上一个命令运行完成之后再运行下一个,因此你可能会想到让这些命令并行运行,减少你的任务执行时间,或者加快项目构建速度
在本教程中,简单介绍Parallel命令的常见用法和解释
安装
从源码中构建,适用于任何操作系统wget http://ftp.gnu.org/gnu/parallel/parallel-latest.tar.bz2
sudo tar xjf parallel-latest.tar.bz2
cd parallel-latest/
sudo ./configure && make
sudo make install
在ubuntu/debian/Linux mint等发行版sudo apt-get install parallelubuntu/debian
使用parallel并行执行多个命令
使用parallel非常简单,只需要在parallel后面连接多个命令,并且使用空格分开,下面命令中将会并行执行ls,echo foo,pwd命令parallel -vk ::: ls 'echo foo' pwd
从标准输入读取parallel命令参数
在某些情况会使用标准输入读取命令参数,然后传递给parallel执行任务,下面是一个简单的示例echo 1,2 | parallel -d, echo {}
在这个示例parallel通过管道从标准输入读取命令参数,然后将参数传递给后面的echo命令,大括号{}这里将会填充从标准输入中的参数,-d,表示使用逗号,作为参数分隔符
命令输出如下所示Academic tradition requires you to cite works you base your article on.
When using programs that use GNU Parallel to process data for publication
please cite:
O. Tange (2011): GNU Parallel - The Command-Line Power Tool,
;login: The USENIX Magazine, February 2011:42-47.
This helps funding further development; AND IT WON'T COST YOU A CENT.
If you pay 10000 EUR you should feel free to use GNU Parallel without citing.
To silence this citation notice: run 'parallel --citation'.
1
2
还有常见的用法就是parallel后面接着需要执行的命令,如下所示parallel echo ::: A B C
这将并行打印ABC,输出如下Academic tradition requires you to cite works you base your article on.
When using programs that use GNU Parallel to process data for publication
please cite:
O. Tange (2011): GNU Parallel - The Command-Line Power Tool,
;login: The USENIX Magazine, February 2011:42-47.
This helps funding further development; AND IT WON'T COST YOU A CENT.
If you pay 10000 EUR you should feel free to use GNU Parallel without citing.
To silence this citation notice: run 'parallel --citation'.
A
B
C
使用parallel代替 xargs
例如,使用gzip替换xargs压缩当前目录及其子目录中的所有html文件:find . -type f -name '*.html' -print | parallel gzip
如果您需要保护特殊字符(例如文件名中的换行符),请使用find的 -print0 选项
当文件数量太大而无法通过一次mv调用处理时,可以使用Parallel从当前目录移动文件:find . -depth 1 \! -name '.*' -print0 | parallel -0 -X mv {} destdir
如您所见,{}被替换为从标准输入读取的每一行。虽然使用在大多数情况下都可以使用,但不足以处理所有文件名。如果需要在文件名中包含特殊字符,则可以使用find . -depth 1 \! -name '.*' -print0 | parallel -0 mv {} destdir
如上所述。
这将运行mv与当前目录中的文件一样多的命令。您可以通过添加-X 选项find . -depth 1 \! -name '.*' -print0 | parallel -0 -X mv {} destdir
GNU Parallel可以替换某些从文件读取的行上使用的常见用法(在这种情况下,文件名每行列出一个):while IFS= read -r x; do
do-something1 "$x" "config-$x"
do-something2 < "$x"
done < file | process-output
具有更紧凑的语法,让人联想到lambdas:cat list | parallel "do-something1 {} config-{} ; do-something2 < {}" |
process-output
Parallel提供了一种内置的机制来删除文件名的扩展名,这使其可以进行批处理文件转换或重命名:ls *.gz | parallel -j+0 "zcat {} | bzip2 >{.}.bz2 && rm {}"
这将使用bzip2重新压缩当前目录中所有以.gz结尾的文件,每个CPU核心(-j + 0)并行运行一个作业。(在这里我们为简洁起见使用ls;面对包含意外字符的文件名,使用上面的find方法更健壮。)并行可以从命令行获取参数;以上也可以写成parallel "zcat {} | bzip2 >{.}.bz2 && rm {}" ::: *.gz
如何保证parallel输出的顺序
如果命令生成输出,则可能要在输出中保留输入顺序。例如,以下命令{
echo myfreax.com ;
echo debian.org ;
echo freenetproject.org ;
} | parallel traceroute
将作为输出显示首先完成的traceroute的调用。添加-k 选项{
echo myfreax.com ;
echo debian.org ;
echo freenetproject.org ;
} | parallel -k traceroute
将确保traceroute myfreax.com首先显示的输出。
如何并行执行文件中的命令
最后,可以使用Parallel并行运行一系列Shell命令,比如‘cat file | bash’。在文件创建一系列shell命令以对其进行操作并不少见。并行可以加快速度。比如你有一个文件file, 包含一系列shell命令,每行一个,如下所示ls
touch
datefileparallel -j 10 < file
shell将会评估并执行命令,并一次执行十个命令,直到完成为止,有关完整的描述,请参考GNU Parallel文档。
文章浏览阅读119次。该楼层疑似违规已被系统折叠隐藏此楼查看此楼/***Getaparametervalue**@paramkeyString*@paramdefString*@returnString*/publicStringgetParameter(Stringkey,Stringdef){returnisStandalone?System.getProperty(ke..._java http隧道
文章浏览阅读913次。IP主机名备注192.168.117.14keepalived-master主节点192.168.117.15keepalived-slaver备节点192.168.117.100VIP1.主备节点均安装keepalived# yum install -y keepalived httpd2.主备节点均修改keepalived日志存放路径..._keepalived sendmail
文章浏览阅读469次。--==========================================--SPFILE错误导致数据库无法启动(ORA-01565)--========================================== SPFILE错误导致数据库无法启动 SQL> startup ORA-01078: failurein proce_ora01565 ora27046
文章浏览阅读6.1k次,点赞2次,收藏54次。功能测试基础知识总结_功能测试
文章浏览阅读3.2k次,点赞3次,收藏2次。pg 中文首字母排序_pg中文排序
文章浏览阅读3.1w次,点赞23次,收藏109次。本文主要讲解CONVERT函数_mysql convert
文章浏览阅读8.6k次,点赞2次,收藏2次。HTML5 的视频播放事件想必大家已经期待很久了吧,在HTML4.1、4.0之前我们如果在网页上播放视频无外乎两种方法: 第一种:安装FLASH插件或者微软发布的插件 第二种:在本地安装播放器,在线播放组件之类的 因为并不是所有的浏览器都安装了FLASH插件,就算安装也不一定所有的都能安装成功。像苹果系统就是默认禁用FLASH的,安卓虽然一开始的时候支持FLASH,但是在安卓4.0以后也开始不_微信开发者工具视频快进
文章浏览阅读5.4k次,点赞3次,收藏4次。在使用redis的过程常见错误总结1.JedisConnectionException Connection Reset参考这边文章:Connection reset原因分析和解决方案https://blog.csdn.net/cwclw/article/details/527971311.1问题描述Exception in thread "main" redis.clients...._jedisconnectionexception: java.net.socketexception: connection reset
文章浏览阅读8.3k次,点赞8次,收藏42次。目录1.Lua垃圾回收算法原理简述2.Lua垃圾回收中的三种颜色3.Lua垃圾回收详细过程4.步骤源码详解4.1新建对象阶段4.2触发条件4.3 GC函数状态机4.4标记阶段4.5清除阶段5.总结参考资料lua垃圾回收(Garbage Collect)是lua中一个比较重要的部分。由于lua源码版本变迁,目前大多数有关这个方面的文章都还是基于lua5.1版本,有一定的滞后性。因此本文通过参考当前..._lua5.3 gc
文章浏览阅读511次。最近家中的潮人,老妈闲着没事干,开始学玩电脑,引起他的各种好奇心。如看看新闻,上上微信或做做其他的事情。但意料之中的是电脑上会莫名出现各种问题?不翼而飞的图标?照片又不见了?文件被删了,卡机或者黑屏,无声音了,等等问题。常常让她束手无策,求助于我,可惜在电话中说不清,往往只能苦等我回家后才能解决,那种开心乐趣一下子消失了。想想,这样也不是办法啊, 于是,我潜心寻找了两款优秀的远程控制软件。两款软件...
文章浏览阅读1.8k次。二.初始化工作空间三.设置下载地址四.下载功能包此处可能会报错,请看:rosdep update遇到ERROR: error loading sources list: The read operation timed out问题_DD᭄ꦿng的博客-程序员宅基地接下来一次安装所有功能包,注意对应ROS版本 五.编译功能包isolated:单独编译各个功能包,每个功能包之间不产生依赖。编译过程时间比较长,可能需要几分钟时间。此处可能会报错:缺少absl依赖包_ros18.04 安装ca
文章浏览阅读4.1k次,点赞3次,收藏7次。Haobor2.2.1配置(trivy扫描器、镜像签名)docker-compose下载https://github.com/docker/compose/releases安装cp docker-compose /usr/local/binchmod +x /usr/local/bin/docker-composeharbor下载https://github.com/goharbor/harbor/releases解压tar xf xxx.tgx配置harbor根下建立:mkd_init error: db error: failed to download vulnerability db: database download