你知道Linux中大文件快速处理小的方法有哪些吗?

共计 1041 个字符，预计需要花费 3 分钟才能阅读完成。

今天小编要跟大家分享的文章是关于 Linux 中 大文件快速处理 小的方法有哪些。相信正在从事 Linux 相关工作的小伙伴一定都遇到过这种情况，Linux 入门 新手和正在 Linux 学习 的小伙伴快来看一看吧，希望能够对大家有所帮助！

1. 背景

工作中使用 MapReduce 任务导出一批含有路径的文件，共计行数 300W+，需要检测文件是否在对应的服务器中存在，而文件所在的服务器并非 hadoop 集群的服务器，因此打算采用 bash 脚本进行。具体的方法如下(可直接看方法 2, 方法 1 效率较低)：

2. 采用的方法

a. 方法 1

原本打算使用如下脚本，进行简单验证：

!/bin/bash

count=0

cat oriTest.txt | while read data

do

count=$(($count+1))

echo $count

dir=echo "$data" | awk -F "t" '{print $5}'

if [-e $dir];then

echo "$data" >> exist.txt

else

echo "$data" >> noexist.txt

fi

done

原始数据格式如下：

name mark id dir

运行时发现处理 5000 行需要将近 4、5 分钟的时间(机器为 8 核)，果断不行啊，随后打算采用多进程的方法来执行，见方法 2

b. 方法 2

主要是通过将大文件分为小文件，然后对小文件进行后台遍历读取，脚本如下：

!/bin/bash

source ~/.bashrc

判断路径是否存在

readdata(){

cat $1 | while read data

do

dir=echo "$data" | awk -F "t" '{print $5}'

if [-e $dir];then

echo "$data" >> "exist_$1.txt"

else

echo "$data" >> "noexist_$1.txt"

fi

done

}

大文件切分为小文件，生成文件名为 xaa,axb 等(可以自己命名文件)

split -l 10000 oriTest.txt

declare -a files # 声明数组

files=($(ls x*)) # 分割后的小文件名保存数组

遍历，并后台执行

for i in ${files[@]};do

echo $i

readdata $i &

done

以上就是小编今天为大家分享的关于 Linux 运维人员你知道 Linux 中大文件快速处理小的方法有哪些吗? 的文章，希望本篇文章能够对正在从事 Linux 相关工作的小伙伴们有所帮助。想要了解更多 Linux 相关知识记得关注 马哥教育 官网。最后祝愿小伙伴们工作顺利哦!

声明：文章来源于网络，侵删！