思海网络:主营业务服务器租用,服务器托管,双线服务器,双线机房,广东电信服务器,广东电信租用,机柜租用,虚拟主机
我们的服务承诺
  • 19年行业经验·绝对专业!
  • 全年7×24小时用心服务!
  • 实体公司运作,决非个人!
  • 服务器租用带宽100%保障!
  • 免费DDOS被攻击紧急救助!
  • 免押金,免设置费!
  • 免费安装设置Ftp,IIs,Php!
  • 免费安装服务器版杀毒软件!
  • 免费系统安全性设置!
首页 - 技术文章 - Linux系统
文章浏览

Linux删除重复行的代码

添加时间:2019-6-15 20:25:21 来源:思海网络 

文本处理时,经常要删除重复行,下面是三种方法

第一,用sort+uniq,注意,单纯uniq是不行的。
 
sort -n test.txt | uniq
第二,用sort+awk命令,注意,单纯awk同样不行,原因同上。

 sort -n $file | awk '{if($0!=line)print; line=$0}'
 
第三,用sort+sed命令,同样需要sort命令先排序。
sort -n $file | sed '$!N; /^.∗\n\1$/!P; D'

Shell脚本


# !/bin/sh
 
file='test.txt'
sort -n $file | uniq
sort -n $file | awk '{if($0!=line)print; line=$0}'
sort -n $file | sed '$!N; /^\(.*\)\n\1$/!P; D'

 

关键字:Linux、重复行、代码

分享到:

顶部 】 【 关闭
首 页 | 服务器租用 | 服务器托管 | 云服务器 | 大带宽 | 虚拟主机 | 新闻中心 | 技术文章 | 购买流程 | 付款方式 | 关于我们 | 联系我们 | 下载中心
版权所有:佛山思海电脑网络有限公司 ©1998-2019 All Rights Reserved.
电话:(0757)22630313、22633833
公司地址: 广东省佛山市顺德区大良国际商业城A区4座3楼106号
邮政编码:528300
中华人民共和国增值电信业务经营许可证:粤B1.B2-20030321
粤B2-20030321-1 网站公安备案编号:44060602000007
交互式栏目专项备案编号:200303DD003
机房7x24小时服务热线 机房7x24小时服务热线:(0757)23628508、23628509
销售部 销售部: sh023@sd168.com
技术部 技术部: sh007@sd168.com
客户部 客户部: sh025@sd168.com
网管部 网管部: sh007@sd168.com
察察工商部备案安网网上报警警警