Linux Shell介绍

bnso

11.1.2 sort选项
s o r t命令的一般格式为：
sort -cmu -o output_file [other options] +pos1 +pos2 input_files
下面简要介绍一下s o r t的参数：
-c 测试文件是否已经分类。
-m 合并两个分类文件。
-u 删除所有复制行。
-o 存储s o r t结果的输出文件名。
其他选项有：
-b 使用域进行分类时，忽略第一个空格。
-n 指定分类是域上的数字分类。
-t 域分隔符；用非空格或t a b键分隔域。
-r 对分类次序或比较求逆。
+n n为域号。使用此域号开始分类。
n n为域号。在分类比较时忽略此域，一般与+ n一起使用。
post1 传递到m，n。m为域号，n为开始分类字符数；例如4，6意即以第5域分类，从第7
个字符开始。
11.1.3 保存输出
- o选项保存分类结果，然而也可以使用重定向方法保存。下面例子保存结果到r e s u l t s . o u t：
11.1.4 sort启动方式
缺省情况下， s o r t认为一个空格或一系列空格为分隔符。要加入其他方式分隔，使用- t选
项。
s o r t执行时，先查看是否为域分隔设置了- t选项，如果设置了，则使用它来将记录分隔成
域0、域1等等；如果未设置，用空格代替。缺省时s o r t将整个行排序，指定域号的情况例外。
下面是文件v i d e o . t x t的清单，包含了上个季度家电商场的租金情况。各域为：（1）名称，
（2）供货区代码，（3）本季度租金，（4）本年租金。域分隔符为冒号。为此对此例需使用‘ - t’
选项

bnso

11.1.5 sort对域的参照方式
关于s o r t的一个重要事实是它参照第一个域作为域0，域1是第二个域，等等。s o r t也可以
使用整行作为分类依据。为防止混淆，对于此文件用户应按如下方式参照域并做分类依据：
s o r t将定位各域，因此应把域0作为分类键0，域1作为分类键1等等。
11.1.6 文件是否已分类
怎样分辨文件是否已分类？如果只有3 0行，看看就知道了，但如果是4 0 0行呢，使用s o r t - c
第11章合并与分割105
下载
106 第二部分文本过滤
下载
通知s o r t文件是否按某种顺序分类。
结果显示未分类，现在将之分类，再试一次：
返回提示符表明已分类。然而如果测试成功，返回一个信息行会更好。
11.1.7 基本sort
最基本的s o r t方式为sort filename，按第一域进行分类（分类键0）。实际上读文件时s o r t操
作将行中各域进行比较，这里返回基于第一域s o r t的结果，如下所示：
11.1.8 sort分类求逆
如果要逆向s o r t结果，使用- r选项。在通读大的注册文件时，使用逆向s o r t很方便。下面是
按域0分类的逆向结果。
11.1.9 按指定域分类
有时需要只按第2域（分类键1）分类。这里为重排报文中供应区代码，使用t 1，意义为
按分类键1分类。下面的例子中，所有供应区代码按分类键1分类；注意分类键2和3对应各域
也被分类。

bnso

11.1.10 数值域分类
依此类推，要按第三分类键分类，使用t 3。但是因为这是数值域，即为数值分类，可以使
用- n选项。下面例子为按年租金分类命令及结果：
如果不加- n，结果会怎样？这里假定按第3域分类，找出最好的季度租金。因为是分类键
2，所以使用t 2。
观察结果，分类进行了，但不是预想的结果，因为第3域为数值域。当然这个结果也是某
种类型的排列，录像机The Hill应该在第二行，但结果是： s o r t只查看第3域每个数值的第一个
数，并按其分类，然后再按第二个数依次下去。
记住按数值域分类要加- n，这样才会得到预想结果。
现在对了，可以看出本季度卖点最高的是A l i e n s。如果使用- r选项，将会把A l i e n s放在第
一行。
11.1.11 唯一性分类
有时，原文件中有重复行，这时可以使用- u选项进行唯一性（不重复）分类以去除重复
行，本例中A l i e n有相同的两行。带重复行的文件如下，其中A l i e n插入了两次：
使用- u选项去除重复行，不必加其他选项， s o r t会自动处理。

bnso

11.1.12 使用k的其他sort方法
s o r t还有另外一些方法指定分类键。可以指定k选项，第1域（分类键）以1开始。不要与
前面相混淆。我经常使用这个选项。因为我习惯于第一域为数值1，这样使用s o r t时用同样的
数值做分类依据会更有意义。其他选项也可以使用k，主要用于指定分类域开始的字符数目。
要在第1域进行分类，可以使用- k 4，这是按年租金分类的次序。
11.1.13 使用k做分类键排序
可以指定分类键次序。先以第4域，再以第1域分类，命令为-k4 -k1，也可以反过来，以
便在文件首行显示最高年租金，方法如下：
11.1.14 指定sort序列
可以指定分类键顺序，也可以使用- n选项指定不使用哪个分类键进行查询。看下面的s o r t
命令：
该命令意即开始以域0分类，忽略域2，然后再使用域3分类。
11.1.15 pos用法
指定开始分类的域位置的另一种方法是使用如下格式：
意即从f i e l d _ n u m b e r开始分类，但是要在此域的第c h a r a c t e r s _ i n个字符开始。
这里是一个例子，供应区代码加入一些后缀。如：
108 第二部分文本过滤

第11章合并与分割109
下载
要只使用供应区代码后缀部分将文件分类，其命令为+ 1 . 2，意即以第1域最左边第3个字
符开始分类

bnso

11.1.16 使用head和tail将输出分类
分类操作时，不一定要显示整个文件或一页以查看s o r t结果中的第一和最后一行。如果只
显示最高年租金，按第4域分类- k 4并求逆，然后使用管道只显示s o r t输出的第一行，此命令为
h e a d，可以指定查阅行数。如果只有第一行，则为head -1：
要查阅最低年租金，使用t a i l命令与h e a d命令刚好相反，它显示文件倒数几行。1为倒数一
行，2为倒数两行等等。查阅最后一行为tail -1。结合上述的s o r t命令和t a i l命令显示最低年租
金：
可以使用h e a d或t a i l查阅任何大的文本文件， h e a d用来查阅文件头，基本格式如下：
Ta i l用来查阅文件尾，基本格式为：
如果使用h e a d或t a i l时想省略显示行数，缺省时显示1 0行。
要查阅文件前2 0行：
要查阅文件后7行：
11.1.17 awk使用sort输出结果
对数据分类时，对s o r t结果加一点附加信息很有必要，对其他用户尤其如此。使用a w k可
以轻松完成这一功能。比如说采用上面最低租金的例子，需要将s o r t结果管道输出到a w k，不
要忘了用冒号作域分隔符，显示提示信息和实际数据。
11.1.18 将两个分类文件合并
将文件合并前，它们必须已被分类。合并文件可用于事务处理和任何种类的修改操作。
下面这个例子，因为忘了把两个家电名称加入文件，它们被放在一个单独的文件里，现在将
之并入一个文件。分类的合并格式为‘ sort -m sorted_file1 sorted_file2，下面是包含两个新家
电名称的文件列表，它已经分类完毕：
使用-m +o。将这个文件并入已存在的分类文件v i d e o . s o r t，要以名称域进行分类，实际上
没有必要加入+ o，但为了保险起见，还是加上的好。

bnso

11.2 系统sort
s o r t可以用来对/ e t c / p a s s w d文件中用户名进行分类。这里需要以第1域即注册用户名分类，
然后管道输出结果到a w k，a w k打印第一域。
s o r t还可以用于d f命令，以递减顺序打印使用列。下面是一般d f输出。
使用- b选项，忽略分类域前面的空格。使用域4（+ 4），即容量列将分类求逆，最后得出
文件系统自由空间的清晰列表。
在一个文本文件中存入所有I P地址的拷贝，这样查看本机I P地址更容易一些。有时如果
在管理员权限下，就需要将此文件分类。将I P地址按文件中某种数值次序分类时，需要指定
110 第二部分文本过滤
下载
域分隔符为句点。这里只需关心I P地址的最后一段。分类应从此域即域3开始，未分类文件如
下：
分类后结果如下：
11.3 uniq用法
u n i q用来从一个文本文件中去除或禁止重复行。一般u n i q假定文件已分类，并且结果正确。
我们并不强制要求这样做，如果愿意，可以使用任何非排序文本，甚至是无规律行。
可以认为u n i q有点像s o r t命令中唯一性选项。对，在某种程度上讲正是如此，但两者有一
个重要区别。s o r t的唯一性选项去除所有重复行，而u n i q命令并不这样做。重复行是什么？在
u n i q里意即持续不断重复出现的行，中间不夹杂任何其他文本，现举例如下：
u n i q将前三个May Day看作重复副本，但是因为第4行有不同的文本，故并不认为第五行
持续的May Day为其副本。u n i q将保留这一行。
命令一般格式：
其选项含义：
-u 只显示不重复行。
-d 只显示有重复数据行，每种重复行只显示其中一行
-c 打印每一重复行出现次数。
-f n为数字，前n个域被忽略。
一些系统不识别- f选项，这时替代使用- n。
使用本节开始时的文本，创建文件m y f i l e . t x t，在此文件上运行u n i q命令。
注意第5行保留下来，其文本为最后一行May Day。如果运行sort -u，将只返回May Day
和Going Down。
第11章合并与分割111
下载
112 第二部分文本过滤
下载
连续重复出现
使用- c选项显示行数，即每个重复行数目。本例中，行May Day重复出现三次。
1. 不唯一
使用- d显示重复出现的不唯一行：
2. 对特定域进行测试
使用- n只测试一行一部分的唯一性。例如- 5意即测试第5域后各域唯一性。域从1开始记
数。
如果忽略第1域，只测试第2域唯一性，使用- n 2，下述文件包含一组数据，其中第2域代
表组代码。
运行u n i q，将返回所有行。因为这个文件每一行都不同。
如果指定测试在第1域后，结果就会不同。u n i q会比较三个相同的O P，因此将返回一行。
如果‘- f’返回错误，替代使用

bnso

11.4 join用法
j o i n用来将来自两个分类文本文件的行连在一起。如果学过S Q L语言，可能会很熟悉j o i n
命令。
下面讲述j o i n工作方式。这里有两个文件f i l e 1和f i l e 2，当然已经分类。每个文件里都有一
些元素与另一个文件相关。由于这种关系， j o i n将两个文件连在一起，这有点像修改一个主文
件，使之包含两个文件里的共同元素。
文本文件中的域通常由空格或t a b键分隔，但如果愿意，可以指定其他的域分隔符。一些
系统要求使用j o i n时文件域要少于2 0，为公平起见，如果域大于2 0，应使用D B M S系统。
为有效使用j o i n，需分别将输入文件分类。
其一般格式为：
让我们看看它的可用选项列表：
an n 为一数字，用于连接时从文件n中显示不匹配行。例如， - a 1显示第一个文件的不匹
配行，- a 2为从第二个文件中显示不匹配行。
o n.m n为文件号，m为域号。1 . 3表示只显示文件1第三域，每个n，m必须用逗号分隔，
如1 . 3，2 . 1。
j n m n为文件号，m为域号。使用其他域做连接域。
t 域分隔符。用来设置非空格或t a b键的域分隔符。例如，指定冒号做域分隔符- t：。
现有两个文本文件，其中一个包含名字和街道地址，称为n a m e . t x t，另一个是名字和城镇，
为t o w n . t x t。
连接两个文件
连接两个文件，使得名字支持详细地址。例如M . G o l l s记录指出地址为12 Hidd Rd。连接
域为域0—名字域。因为两个文件此域相同， j o i n将假定这是连接域：
好，工作完成。缺省j o i n删除或去除连接键的第二次重复出现，这里即为名字域。
1. 不匹配连接
如果一个文件与另一个文件没有匹配域时怎么办？这时j o i n不可以没有参数选项，经常指
定两个文件的- a选项。下面的例子显示匹配及不匹配域。
输出表明P. H e l l e r不匹配第二个文件中任何一个记录。再运行这个命令，但指定只显示第
一个文件中不匹配行：
2. 选择性连接
使用- o选项选择连接域。例如要创建一个文件仅包含人名及城镇， j o i n执行时需要指定显
示域。方式如下：
使用1 . 1显示第一个文件第一个域，2 . 2显示第二个文件第二个域，其间用逗号分隔。命令为：
第11章合并与分割113
下载
要创建此新文件，将输出结果重定向到一个文件即可。
使用-jn m进行其他域连接，例如用文件1域3和文件域2做连接键，命令为：
下面观察一个具体实例。有两个文件：
文件p e r s包括名字、工作性质和个人I D号。文件p e r s 2包括部门、个人I D号及工龄。连接
应使用文件p e r s中域4，匹配文件p e r s 2中域2，命令及结果如下：
使用j o i n应注意连接域到底是哪一个，比如说你认为正在访问域4，但实际上j o i n应该访问
域5，这样将不返回任何结果。如果是这样，用a w k检查域号。例如，键入$ awk '{print $4}'文
件名，观察其是否匹配假想域。

bnso

11.5 cut用法
c u t用来从标准输入或文本文件中剪切列或域。剪切文本可以将之粘贴到一个文本文件。
下一节将介绍粘贴用法。
c u t一般格式为：
cut [options] file1 file2
下面介绍其可用选项：
-c list 指定剪切字符数。
-f field 指定剪切域数。
-d 指定与空格和t a b键不同的域分隔符。
- c用来指定剪切范围，如下所示：
- c 1，5-7 剪切第1个字符，然后是第5到第7个字符。
-c1-50 剪切前5 0个字符。
-f 格式与- c相同。
-f 1，5 剪切第1域，第5域。
- f 1，10-12 剪切第1域，第1 0域到第1 2域。
参照上一节中的文件‘ p e r s’，现在从' p e r s '文件中剪切文本。使用冒号做其域分隔符。
114 第二部分文本过滤
下载
11.5.1 使用域分隔符
文件中使用冒号“：”为域分隔符，故可用- d选项指定冒号，如- d：。如果有意观察第3域，
可以使用- f 3。要抽取I D域。可使用命令如下：
11.5.2 剪切指定域
c u t命令中剪切各域需用逗号分隔，如剪切域1和3，即名字和I D号，可以使用：
要从文件/ e t c / p a s s w d中剪切注册名及缺省根目录，需抽取域1和域3：
使用- c选项指定精确剪切数目。这种方法需确切知道开始及结束字符。通常我不用这种方
法，除非在固定长度的域或文件名上。
当信息文件传送到本机时，查看部分文件名就可以识别文件来源。要得到这条信息需抽
取文件名后三个字符。然后才决定将之存在哪个目录下。下面的例子显示文件名列表及相应
c u t命令：
如果使用ls -l命令作部分输出，情况将不同。需使用- c选项。
要剪切字符，须计算ls -l列表中的字符数。如显示权限用cut -c1-10。然而这种方法可能
相当慢，因此需要使用其他工具将相应信息抽取出来。要剪切谁正在使用系统的用户信息

bnso

11.6 paste用法
c u t用来从文本文件或标准输出中抽取数据列或者域，然后再用p a s t e可以将这些数据粘贴
起来形成相关文件。粘贴两个不同来源的数据时，首先需将其分类，并确保两个文件行数相
同。
p a s t e将按行将不同文件行信息放在一行。缺省情况下， p a s t e连接时，用空格或t a b键分隔
新行中不同文本，除非指定- d选项，它将成为域分隔符。
p a s t e格式为；
paste -d -s -file1 file2
选项含义如下：
-d 指定不同于空格或t a b键的域分隔符。例如用@分隔域，使用- d @。
-s 将每个文件合并成行而不是按行粘贴。
- 使用标准输入。例如ls -l |paste ，意即只在一列上显示输出。
从前面的剪切中取得下述两个文件：
基本p a s t e命令将之粘贴成两列：
11.6.1 指定列
通过交换文件名即可指定哪一列先粘：
11.6.2 使用不同的域分隔符
要创建不同于空格或t a b键的域分隔符，使用- d选项。下面的例子用冒号做域分隔符。
要合并两行，而不是按行粘贴，可以使用- s选项。下面的例子中，第一行粘贴为名字，第
二行是I D号。
116 第二部分文本过滤
下载
11.6.3 paste命令管道输入
p a s t e命令还有一个很有用的选项（ -）。意即对每一个（ -），从标准输入中读一次数据。
使用空格作域分隔符，以一个4列格式显示目录列表。

bnso

11.7 split用法
s p l i t用来将大文件分割成小文件。有时文件越来越大，传送这些文件时，首先将其分割可
能更容易。使用v i或其他工具诸如s o r t时，如果文件对于工作缓冲区太大，也会存在一些问题。
因此有时没有选择余地，必须将文件分割成小的碎片。
s p l i t命令一般格式：
split -output_file-size input-filename output-filename
这里o u t p u t - f i l e - s i z e指的是文本文件被分割的行数。s p l i t查看文件时，o u t p u t - f i l e - s i z e选项
指定将文件按每个最多1 0 0 0行分割。如果有个文件有2 8 0 0行，那么将分割成3个文件，分别有
1 0 0 0、1 0 0 0、8 0 0行。每个文件格式为x [ a a ]到x [ z z ]，x为文件名首字母， [ a a ]、[ z z ]为文件名剩
余部分顺序字符组合，下面的例子解释这一点。
假定文件b i g o n e . t x t有2 8 0 0行，s p l i t命令产生下列文件：
文件大小为：
可以使用o u t p u t - f i l e - s i z e选项来分割文件。以下为一个6行文件。
第11章合并与分割117
下载
按每个文件2行分割，命令为：
观察其结果。
文件有6行，s p l i t按每个文件两行进行了分割，并按字母顺序命名文件。为进一步确信操
作成功，观察一个新文件内容：
11.8 小结
本章讲述了对文本文件进行基本的合并和分割处理的各种工具。诸如s o r t、j o i n、s p l i t、
u n i q、c u t和p a s t e，并附有大量实例。使用这些工具将使你事半功倍。现在如果遇到一个未处
理文件，相信你已知道使用什么工具将数据转化为更有意义的信息。