linux生成大文件命令,常见的3种方法!

2022/10/13 4:23:53

本文主要是介绍linux生成大文件命令,常见的3种方法!,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

我们会经常遇到有大文本文件(上GB或更大)的情况。假设需要我们手工的搜索和编辑这些大文件,或者为了解决一些特定的问题而需要手工分析多个上GB的日志文件。3种方法教你快速解决~
1、dd命令
生成一个1000M的test文件,文件内容为全0(因从/dev/zero中读取,/dev/zero为0源)。但是这样为实际写入硬盘,文件产生速度取决于硬盘读写速度,如果想要产生超大文件,速度很慢。

 [root@izwz94jtz9hbdq165vpxpxz www]# dd if=/dev/zero of=test1 bs=1M count=1000
 1000+0 records in
 1000+0 records out
 1048576000 bytes (1.0 GB) copied, 16.6081 s, 63.1 MB/s       //内存操作速度

在某种场景下,我们只想让文件系统认为存在一个超大文件在此,但是并不实际写入硬盘。则可以使用 seek

1)count=0 表示读写 0次,指定生成文件的大小为0M

  [root@izwz94jtz9hbdq165vpxpxz www]# dd if=/dev/zero of=test2 bs=1M count=0 seek=100000
  0+0 records in
  0+0 records out
  0 bytes (0 B) copied, 0.000221494 s, 0.0 kB/s

2)count=50 表示读写 50次,指定生成文件的大小为50M

  [root@izwz94jtz9hbdq165vpxpxz www]# dd if=/dev/zero of=test3 bs=1M count=50 seek=100000
  50+0 records in
  50+0 records out
  52428800 bytes (52 MB) copied, 0.066445 s, 789 MB/s
 [root@izwz94jtz9hbdq165vpxpxz www]# ls -l test3              //查看目录大小
 -rw-r--r-- 1 root root 104910028800 Aug  3 23:50 test3 

此时创建的文件在文件系统中的显示大小为100000MB,但是并不实际占用block,因此创建速度与内存速度相当。

if (input file)代表输入文件/目录,如果不指定 if,默认就会从 stdin 中读取输入
of (output file)代表输出文件/目录,如果不指定 of,默认就会将 stdout 作为默认输出
bs 代表每次读入的block大小
count:读取的block个数
bs*count=文件大小
/dev/zero 是Linux提供的一个特殊的字符设备,它的特点是可以永远读该文件,每次读取的结果都是二进制0
seek:跳过输出文件中指定大小的部分,并不实际写入

2、truncate 命令
将文件缩减或扩展至指定大小。
选项 -s,即 size(大小)
1)指定文件不存在则创建。
2)指定文件超出指定大小则超出的数据将丢失。
3)指定文件小于指定大小则用0 补足。

 [root@izwz94jtz9hbdq165vpxpxz www]# truncate -s 10G test4
 [root@izwz94jtz9hbdq165vpxpxz www]# ls -l test4
 -rw-r--r-- 1 root root 10737418240 Aug  3 23:14 test4

注意点:
这种文件被称为“空洞文件”,文件的部分内容并没有实际存在于硬盘上
du (disk use):默认显示的是真正的磁盘占用。

3、fallocate 命令

 [root@izwz94jtz9hbdq165vpxpxz www]#fallocate -l 10G test4
 fallocate: test4: fallocate failed: Operation not supported    //目录创建失败,只生成了空目录
 [root@izwz94jtz9hbdq165vpxpxz www]# ls -l test4
 -rw-r--r-- 1 root root 0 Aug  4 00:29 test4
 [root@izwz94jtz9hbdq165vpxpxz www]# du test4
 0  test4

fallocate 命令可以为文件预分配物理空间。
后接空间大小,默认单位为字节。也可后跟k、m、g、t、p、e来指定单位,分别代表KB、MB、GB、TB、PB、EB



这篇关于linux生成大文件命令,常见的3种方法!的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程