良许Linux教程网 干货合集 Linux重定向和管道对大文件那个效率更高?

Linux重定向和管道对大文件那个效率更高?

大家先看一下二个命令,假如huge_dump.sql文件很大,然后猜测一下哪种导入方式效率会更高一些?

# 命令1,管道导入
shell> cat huge_dump.sql | mysql -uroot;
# 命令2,重定向导入
shell> mysql -uroot 

大家先看一下上面二个命令,假如huge_dump.sql文件很大,然后猜测一下哪种导入方式效率会更高一些?

这个问题挺有意思的,我的第一反应是:没比较过,应该是一样的,一个是cat负责打开文件,一个是bash

这种场景在MySQL运维操作里面应该比较多,所以就花了点时间做了个比较和原理上的分析:

我们先构造场景:

首先准备一个程序b.out来模拟mysql对数据的消耗:

int main(int argc, char *argv[])
 while(fread(buf, sizeof(buf), 1, stdin) > 0);
   return 0;
}

$  gcc  -o b.out b.c
$ ls|./b.out

再来写个systemtap脚本用来方便观察程序的行为。

$ cat test.stp
function should_log(){
 return (execname() == "cat" ||
     execname() == "b.out" ||
     execname() == "bash") ;
}
probe syscall.open,
     syscall.close,
     syscall.read,
     syscall.write,
     syscall.pipe,
     syscall.fork,
     syscall.execve,
     syscall.dup,
     syscall.wait4
{
 if (!should_log()) next;
 printf("%s -> %s\n", thread_indent(0), probefunc());
}
 
probe kernel.function("pipe_read"),
     kernel.function("pipe_readv"),
     kernel.function("pipe_write"),
     kernel.function("pipe_writev")
{
 if (!should_log()) next;
 printf("%s -> %s: file ino %d\n",  thread_indent(0), probefunc(), __file_ino($filp));
}
probe begin { println(":~") }

这个脚本重点观察几个系统调用的顺序和pipe的读写情况,然后再准备个419M的大文件huge_dump.sql,在我们几十G内存的机器很容易在内存里放下:

$ sudo dd if=/dev/urandom of=huge_dump.sql bs=4096 count=102400
102400+0 records in
102400+0 records out
419430400 bytes (419 MB) copied, 63.9886 seconds, 6.6 MB/s

因为这个文件是用bufferio写的,所以它的内容都cache在pagecahce内存里面,不会涉及到磁盘。

好了,场景齐全了,我们接着来比较下二种情况下的速度,第一种管道:

# 第一种管道方式
$ time (cat huge_dump.sql|./b.out)
 
real    0m0.596s
user    0m0.001s
sys     0m0.919s

从执行时间数看出来速度有3倍左右的差别了,第二种明显快很多。

是不是有点奇怪?好吧我们来从原来上面分析下,还是继续用数据说话:

这次准备个很小的数据文件,方便观察然后在一个窗口运行stap

echo hello > huge_dump.sql
$ sudo stap test.stp
:~
    0 bash(26570): -> sys_read
    0 bash(26570): -> sys_read
    0 bash(26570): -> sys_write
    0 bash(26570): -> sys_read
    0 bash(26570): -> sys_write
    0 bash(26570): -> sys_close
    0 bash(26570): -> sys_pipe
    0 bash(26570): -> sys_pipe
    0 bash(26570): -> do_fork
    0 bash(26570): -> sys_close
    0 bash(26570): -> sys_close
    0 bash(26570): -> do_fork
    0 bash(13775): -> sys_close
    0 bash(13775): -> sys_read
    0 bash(13775): -> pipe_read: file ino 20906911
    0 bash(13775): -> pipe_readv: file ino 20906911
    0 bash(13776): -> sys_close
    0 bash(13776): -> sys_close
    0 bash(13776): -> sys_close
    0 bash(13776): -> do_execve
    0 bash(26570): -> sys_close
    0 bash(26570): -> sys_close
    0 bash(26570): -> sys_close
    0 bash(13775): -> sys_close
    0 bash(26570): -> sys_wait4
    0 bash(13775): -> sys_close
    0 bash(13775): -> sys_close
    0 b.out(13776): -> sys_close
    0 b.out(13776): -> sys_close
    0 bash(13775): -> do_execve
    0 b.out(13776): -> sys_open
    0 b.out(13776): -> sys_close
    0 b.out(13776): -> sys_open
    0 b.out(13776): -> sys_read
    0 b.out(13776): -> sys_close
    0 cat(13775): -> sys_close
    0 cat(13775): -> sys_close
    0 b.out(13776): -> sys_read
    0 b.out(13776): -> pipe_read: file ino 20906910
    0 b.out(13776): -> pipe_readv: file ino 20906910
    0 cat(13775): -> sys_open
    0 cat(13775): -> sys_close
    0 cat(13775): -> sys_open
    0 cat(13775): -> sys_read
    0 cat(13775): -> sys_close
    0 cat(13775): -> sys_open
    0 cat(13775): -> sys_close
    0 cat(13775): -> sys_open
    0 cat(13775): -> sys_read
    0 cat(13775): -> sys_write
    0 cat(13775): -> pipe_write: file ino 20906910
    0 cat(13775): -> pipe_writev: file ino 20906910
    0 cat(13775): -> sys_read
    0 b.out(13776): -> sys_read
    0 b.out(13776): -> pipe_read: file ino 20906910
    0 b.out(13776): -> pipe_readv: file ino 20906910
    0 cat(13775): -> sys_close
    0 cat(13775): -> sys_close
    0 bash(26570): -> sys_wait4
    0 bash(26570): -> sys_close
    0 bash(26570): -> sys_wait4
    0 bash(26570): -> sys_write

stap在收集数据了,我们在另外一个窗口运行管道的情况:

$ cat huge_dump.sql|./b.out

我们从systemtap的日志可以看出:

bash fork了2个进程。

然后execve分别运行cat 和 b.out进程, 这二个进程用pipe通信。

数据从由cat从 huge_dump.sql读出,写到pipe,然后b.out从pipe读出处理。

那么再看下命令2重定向的情况:

$ ./b.out  sys_read
    0 bash(26570): -> sys_read
    0 bash(26570): -> sys_write
    0 bash(26570): -> sys_read
    0 bash(26570): -> sys_write
    0 bash(26570): -> sys_close
    0 bash(26570): -> sys_pipe
    0 bash(26570): -> do_fork
    0 bash(28926): -> sys_close
    0 bash(28926): -> sys_read
    0 bash(28926): -> pipe_read: file ino 20920902
    0 bash(28926): -> pipe_readv: file ino 20920902
    0 bash(26570): -> sys_close
    0 bash(26570): -> sys_close
    0 bash(26570): -> sys_wait4
    0 bash(28926): -> sys_close
    0 bash(28926): -> sys_open
    0 bash(28926): -> sys_close
    0 bash(28926): -> do_execve
    0 b.out(28926): -> sys_close
    0 b.out(28926): -> sys_close
    0 b.out(28926): -> sys_open
    0 b.out(28926): -> sys_close
    0 b.out(28926): -> sys_open
    0 b.out(28926): -> sys_read
    0 b.out(28926): -> sys_close
    0 b.out(28926): -> sys_read
    0 b.out(28926): -> sys_read
    0 bash(26570): -> sys_wait4
    0 bash(26570): -> sys_write
    0 bash(26570): -> sys_read

bash fork了一个进程,打开数据文件。

然后把文件句柄搞到0句柄上,这个进程execve运行b.out。

然后b.out直接读取数据。

现在就非常清楚为什么二种场景速度有3倍的差别:

命令1,管道方式: 读二次,写一次,外加一个进程上下文切换。

命令2,重定向方式:只读一次。

结论:Linux下大文件重定向效率更高。

以上就是良许教程网为各位朋友分享的Linu系统相关内容。想要了解更多Linux相关知识记得关注公众号“良许Linux”,或扫描下方二维码进行关注,更多干货等着你 !

img
本文由 良许Linux教程网 发布,可自由转载、引用,但需署名作者且注明文章出处。如转载至微信公众号,请在文末添加作者公众号二维码。
良许

作者: 良许

良许,世界500强企业Linux开发工程师,公众号【良许Linux】的作者,全网拥有超30W粉丝。个人标签:创业者,CSDN学院讲师,副业达人,流量玩家,摄影爱好者。
上一篇
下一篇

发表评论

邮箱地址不会被公开。 必填项已用*标注

联系我们

联系我们

公众号:良许Linux

在线咨询: QQ交谈

邮箱: yychuyu@163.com

关注微信
微信扫一扫关注我们

微信扫一扫关注我们

关注微博
返回顶部