湖南大学 楚霞:SED工具使用总结--clayboy的博客

一. 简介不同于一般的交互式编辑器( Vi等), SED (Stream Editor)是一个逐行读入数据,进行处理后再输出到标准输出的非交互式编辑器.
优点是: 流编辑, 方便地从管道(Pipe line)读入文字, 进行文字自动编辑处理.
用途包括:
1). 对文档进行批量编辑工作: 可以利用SED命令对文件进行删除,插入,
修改等编辑. 由于是自动完成的,所以可以对一批文件重复操作,提高效率.
2). 对程序中间过程进行编辑处理: 借助管道, 自动处理中间结果.
注意: SED只对输入处理,并在标准输出上输出,不改变原有文件内容,如果想报存结果要用重定向命令.
SED工作基本原理:
当 sed 由标准输入读入一行资料并放入 pattern space 时 , sed 依照 sed script 的编辑指令逐一对 pattern space 内的资料执行编辑 , 之後 , 再由 pattern space 内的结果送到标准输出 , 接着再将下一行资料读入。如此重执行上述动作 , 直至读完所有资料行为止. 另外,SED还有一hold space可以作为暂时的文本保存区,跟pattern space进行交互.
二. 基本使用
1. SED命令的格式:
sed [-n] [-e ‘script’] [-f script_file] file
-n : no printing, 不输出, 除非遇到对该行的指定输出命令(/p).
如无该参数, 默认逐行输出处理结果到STDOUT.
-e : 后跟sed编辑指令
-f : 后跟script file, 将sed script从一个文件中取得
file : 待处理的文件, 被逐行读出, 处理, 输出到STDOUT, 本身不变. 可以用重定向的方式输出为文件.
2. SED script编辑指令的格式:
[address [,address]] command [argument]
address: 行数, 可以有0,1,2个地址参数, 表明命令作用于全部行,
某一行, 或者是某几连续行. 也可以是正则表达式
command: 命令, 表明进行的操作
argument: 该命令对应的参数, 只有替换命令(s)可以带参数
3. SED command 种类:
1). 处理整行的command:
Command
功能
地址参数
可能个数
说明
d
删除一行
0,1,2
将匹配的该行文字删除, 不输出
n
读入下一行
0,1,2
将匹配行文字输出,从输入读入下一行文字, 继续执行下一个指令
a\
加入文字
0,1
将文字加入到匹配行文字后输出
i\
插入文字
0,1
将文字插入到匹配行文字前输出
c\
替换文字
0,1,2
将文字替换匹配行文字进行输出
2). 替换或转换命令(Substitute, transform):
Command
功能
说明
s
模式替换
找到匹配行, 进行替换操作
y
子元转换
找到匹配行, 进行子元转换
s命令: sed中唯一的带参数的命令, 可以有4种参数:
g参数, 在该行中, 替换所以匹配而不是只替换第一次匹配
n 参数, 在该行中, 替换第n个匹配
p参数, 对该行执行替换, 并输出该行文字
w filename 参数, 将替换后的该行写入filename文件中
如, /UNIX/s/OK/YES/g, 含UNIX的行, 所有OK->YES
该命令内嵌入vi编辑器中.
y命令: 该行中所有对应子元进行转换.
如, 1,5y/abc/edf/, 所以1到5行所有子元: a->e, b->d, c->f 转换
3). 输入输出命令:
Command
功能
地址参数
可能个数
说明
p
送至输出
0,1,2
遇匹配行时, 输出pattern space 内容
l
送至输出
0,1,2
与p类似,不同的是将键盘上无法输出的字符用8进制输出,超过72个字长的部分移到下一行
w filename
写入文件
0,1,2
将匹配行文字写入文件filename中
r filename
从文件读入
0,1,2
对匹配行,用filename中的文字输出
*SED将内部分为pattern space(工作区)和hold space(暂存区)
4). 多行处理命令:
通常sed一次处理一行文字, 这些命令赋予多行处理能力
Command
功能
地址参数
可能个数
说明
N
Next line
0,1,2
与匹配行时,再读入下一行,加在当前pattern space文字的后面
D
Delete first part of pattern space
NO address
将pattern space第一个new line字母前的文字删去,仅一个newline字母时,相当于d 命令
P
Print first part
of pattern space
NO address
将pattern space第一个new line字母前的文字输出
5). 存取暂存区的命令:
pattern space与hold space文字的交互
Command
功能
地址参数
可能个数
说明
h
pattern space拷贝到hold space
0,1,2
将pattern space内容拷贝到hold space
H
pattern space 加到hold space
0,1,2
将pattern space内容加到hold space后
g
h反方向
0,1,2
将hold space内容拷贝到pattern space
G
H反方向
0,1,2
将hold space内容加到pattern space后
x
交互两个space
将pattern space与hold space内容交换
6). 执行流程控制命令:
Command
功能
地址参数
可能个数
说明
!
Dont
0,1,2
对匹配行以外的内容执行命令
{}
Group command
没有
对匹配行执行多个命令,这些命令用{}包含
:label
0,1,2
定义给命令用的label
b label
0,1,2
遇匹配时,跳到label,继续执行下命令
t label
遇匹配时,先执行一替换命令,成功则同b, 否则继续执行一命令
7). 其他命令:
Command
功能
地址参数
可能个数
说明
=
Line number
1
将匹配行的行数输出
q
Quit
1
遇到匹配时,结束sed
三. 常用操作举例
1. 将文件中所以小写变大写:
y/abcdefghijklmnopqrstuvwxyz/ABCDEFGHIJKLMNOPQRSTUVWXYZ/
2. 将包含"ERROR"的行, 替换为"This line has error"
sed -f script.sed file1 > file2
script.sed 内容:
/ERROR/c\
This line has error
3. 部分行的输出与删除
注意: SED本身不改变原文件内容, 删除仅指不输出该部分,重定向输出为文件时,与原文件比为删除
sed -n '2,5p' file1 : 仅输出文件file1的2-5行
sed -e '2,5d' file1 : 将文件file1的2-5行删除
sed -e '/^#/d' file1 : 将文件file1的以#开头的行删除
sed -ne '/HELLO/p' file1 : 仅输出file1中含HELLO的行
sed -ne '/BEGIN/,/END/p' file1 : 仅输出file1中BEGIN与END间的部分
首先,匹配含BEGIN的行作为块首, 然后向后以第一次匹配的含END的行为块尾,输出该块各行
如果, 没有匹配到BEGIN,则不输出; 如果只匹配到BEGIN,则输出从该行到文件尾的各行
在匹配到BEGIN的行后面,匹配到END的前面含有的BEGIN当作一般行,仍以第一个BEGIN为块首
一个文件中, 可能有好几个这样匹配的区域块,都要输出
4. 替换操作
sed -e 's/foo/bar/' file1 : 将file1中第一次出现的foo替换为bar
sed -e 's/foo/bar/g' file1 : 将file1中所有的foo替换为bar
sed -e '1,8s/foo/bar/g' file1 : 将file1的1-8行中所以的foo替换为bar
sed -e '/^$/,/^END/s/foo/bar/g' file1
首先匹配以空行为块首,END为行首的行为块尾的所有区域块,
然后将在这些区域块中出现的foo替换为bar
sed -e 's/<.*>//g' file1 : 将file1各行中,<>间的文字删除(最大)
is what meant ===> meant
sed -e 's/<[^>]*.//g' file1 : 将file1各行中,<>间的文字删除(最小)
is what meant ===> is what meant
注意: .*表示任意格式的任意字符 [^>]*表示任意个数的非>的字符
sed -e 's/girl/nice & hello/g' file1 : 将file1各行中的girl替换为nice girl hello
这里&表示前面匹配的内容,在要替换的文字里引用
更强的引用: 在匹配文字中用\(\)包含文字,在匹配文字中用\1到\9来引用
sed -e 's/\(boy\) loves \(girl\)/\2 A loves \1 B/g' file1
boy loves girl ===> girl A loves boy B'
5.对同一对象执行多个sed操作时的3种方法
1). sed -e 'command1;command2;command3' file1
三个sed命令依次作用到file1的各行
2). sed -e 'command1' -e 'command2 file1
跟1)类似,比1)跟保险,1)不能用的时候可以尝试
3). sed -f script_file file1
一些复杂命令,必须写到一个script 文件中