Linux每日一篇 - 39 - paste

Linux文本合并神器！掌握paste命令，轻松合并多文件行，让数据处理更高效！

paste命令是什么？

paste命令是Linux中用于将多个文件的行按列合并的工具。它将每个文件的对应行连接起来，用制表符（或指定分隔符）分隔，是处理表格数据和合并相关文件的重要工具。

基本用法

# 合并两个文件的行
paste file1.txt file2.txt

# 合并多个文件的行
paste file1.txt file2.txt file3.txt

# 使用指定分隔符
paste -d ',' file1.txt file2.txt    # 使用逗号分隔
paste -d ':' file1.txt file2.txt    # 使用冒号分隔
paste -d ' ' file1.txt file2.txt    # 使用空格分隔
paste -d $'\t' file1.txt file2.txt  # 使用制表符分隔

# 合并单个文件的多行（每2行合并为1行）
paste - - < file.txt

# 从标准输入读取
echo -e "line1\nline3" | paste - file2.txt

实用技巧

# 合并文件并指定分隔符
paste -d '|' names.txt ages.txt

# 合并多个文件
paste -d ',' col1.txt col2.txt col3.txt col4.txt

# 创建CSV格式的数据
paste -d ',' names.txt emails.txt phones.txt > contacts.csv

# 合并文件并添加标题
echo -e "Name,Age,City" > header.txt
paste -d ',' header.txt > result.csv
tail -n +2 data1.txt | paste -d ',' - data2.txt data3.txt >> result.csv

# 在脚本中使用
#!/bin/bash
# 从不同文件中提取数据并合并
usernames=$(cut -d ':' -f 1 /etc/passwd)
userids=$(cut -d ':' -f 3 /etc/passwd)
paste -d ':' <(echo "$usernames") <(echo "$userids") > user_summary.txt

# 将一列数据转换为多列
# 每3个元素一行显示
paste - - - < data.txt

# 合并文件的特定部分
head -5 file1.txt | paste -d ' ' - <(head -5 file2.txt)

# 在合并时保留原格式
paste -d $'\t' file1.txt file2.txt

# 使用多个分隔符循环
paste -d ',:' file1.txt file2.txt file3.txt

# 与进程替换(process substitution)结合
paste <(ls -1) <(ls -1S | head -n $(wc -l < <(ls -1))) 2>/dev/null

常用场景

# 创建用户信息表
paste -d ':' usernames.txt userids.txt home_dirs.txt

# 合并日志信息
paste -d ' ' dates.txt times.txt messages.txt > full_log.txt

# 生成配置文件
paste -d '=' keys.txt values.txt

# 合并数据文件
paste -d ',' sales_jan.txt sales_feb.txt sales_mar.txt > quarterly_sales.csv

# 创建主机信息表
paste -d ' ' hosts.txt ips.txt services.txt

# 合并统计结果
paste -d ' ' user_counts.txt session_counts.txt

# 创建索引文件
paste -d '|' filenames.txt line_counts.txt

# 合并不同格式的文件
paste -d $'\t' users.txt permissions.txt

# 从系统文件创建自定义视图
paste -d ' ' <(cut -d: -f1 /etc/passwd) <(cut -d: -f3 /etc/passwd) <(cut -d: -f5 /etc/passwd)

# 比较两个列表
paste -d ' ' list1.txt list2.txt | awk '$1 != $2 {print "Difference: " $0}'

高级用法

# 使用不同分隔符处理复杂数据
paste -d $'\t' <(cut -f1-3 data.txt) <(cut -f5-7 data.txt)

# 处理不等长文件
# paste会继续处理，缺少的行会用空值表示
paste file1.txt file2.txt

# 与命令替换结合
paste <(date +%Y-%m-%d) <(whoami) <(pwd)

# 从不同来源合并数据
paste <(systemctl list-units --type=service --state=running | wc -l) <(systemctl list-units --type=service --all | wc -l)

# 创建复杂的输出格式
paste -d '' <(printf "User: ") <(cut -d: -f1 /etc/passwd) <(printf "\tUID: ") <(cut -d: -f3 /etc/passwd)

# 处理CSV文件的特定列
paste -d ',' <(cut -d, -f1 data.csv) <(cut -d, -f3 data.csv)

# 与条件判断结合
if [ $(wc -l < file1.txt) -eq $(wc -l < file2.txt) ]; then
    paste -d ':' file1.txt file2.txt
else
    echo "Files have different number of lines"
fi

# 在循环中使用
for file in *.txt; do
    paste -d '|' "$file" <(echo "$file" | sed 's/.txt//')
done

实际应用示例

# 示例1: 创建用户信息汇总
# 假设有三个文件：用户名、用户ID、主目录
paste -d ':' usernames.txt uids.txt home_dirs.txt

# 示例2: 处理销售数据
# 将不同月份的销售数据合并到一行
paste -d ',' jan_sales.txt feb_sales.txt mar_sales.txt > q1_sales.txt

# 示例3: 创建系统监控报告
paste <(echo "Disk Usage:") <(df -h | grep /dev/sda1 | awk '{print $5}') <(echo "Available:") <(df -h | grep /dev/sda1 | awk '{print $4}')

# 示例4: 合并配置信息
# 将服务名称与端口号合并
paste -d '=' services.txt ports.txt

# 示例5: 创建用户访问报告
paste -d ' ' <(awk '{print $1}' access.log | sort | uniq) <(awk '{print $1}' access.log | sort | uniq | wc -l)

# 示例6: 合并多个日志文件的特定字段
paste <(grep "ERROR" log1.txt | wc -l) <(grep "ERROR" log2.txt | wc -l) <(grep "ERROR" log3.txt | wc -l) > error_summary.txt

# 示例7: 创建文件属性表
paste -d ' ' <(ls -la | awk '{print $1}') <(ls -la | awk '{print $9}') <(ls -la | awk '{print $5}')

# 示例8: 处理学生数据
# 合并姓名、成绩、排名
paste -d '|' names.txt scores.txt ranks.txt

与相关命令的配合

# paste与join的比较和选择：
# paste简单合并对应行
paste file1.txt file2.txt
# join基于字段值匹配合并（需要先排序）
join -t ':' <(sort file1.txt) <(sort file2.txt)

# paste与awk的配合：
# 用awk实现更复杂的合并逻辑
awk 'NR==FNR{a[NR]=$0;next} {print a[FNR], $0}' file1.txt file2.txt

# paste与cut的配合：
cut -d: -f1,3 /etc/passwd | paste -d: - /etc/shells

# paste与sort的配合：
sort -k1,1 file1.txt | sort -k1,1 file2.txt | paste -d: - -

# paste与tr的配合：
paste -d: <(tr -d '\n' < file1.txt) <(tr -d '\n' < file2.txt)

注意事项

# 1. 如果文件行数不同，paste会继续处理，较短文件的缺失行显示为空
# 2. 默认分隔符是制表符(TAB)
# 3. 不会修改原文件，结果输出到标准输出
# 4. 处理大文件时注意内存使用
# 5. -d选项可以指定多个分隔符，会循环使用
# 6. 使用进程替换时，确保命令正确执行
# 7. 当需要基于内容匹配而不是行号合并时，应使用join命令

关于我

全平台同名”汪多多是只猫”，专注分享实用技术教程，让你的IT学习之路更轻松！

关注我，每天一个Linux命令，轻松入门Linux系统！