Sed

sed script 格式为：

[addresses] [!] command [arguments]

说明：[addresses]用来限制 sed command 应用于哪些行，如果省略[addresses]则表示没有限制，即选择所有的行。[addresses]后面的感叹号[!]表示对选定的范围取反。

如果要对[addresses]应用多个命令，除了用多个-e 外（sed -e 'addresses command1' -e 'addresses command2' file），还可用一对大括号把多个命令包围起来（最好把右边的大括号放到单独的一行中，这样兼容性更好）。

[addresses] [!] {
command1 [arguments]
command2 [arguments]
command3 [arguments]
}

对于每个命令还可以单独指定一个[addresses]，每个 command 的限定范围同时满足外层的[addresses]和内层[addresses]，如下所示：

[addresses] [!] {
[addresses] [!] command1 [arguments]
[addresses] [!] command2 [arguments]
[addresses] [!] command3 [arguments]
}

sed 工作流程如图 1 所示。

The "-n" option (-n is same as --quiet or --silent) will not print anything unless an explicit request (command p) to print is found.

下例中，PATTERN 所在行会被输出两次，其它行输出一次。

sed '/PATTERN/ p' file

下例中，只会输出 PATTERN 所在行（和 grep 类似）。

sed -n '/PATTERN/ p' file

在扩展的正则表达式中，?, +, {, |, (, )都是正则元字符，这样写书正则表达式更方便。
GNU sed 中，-r 选项表达使用扩展的正则表达式，在 Mac OS X 或 FreeBSD 中-E 选项表达使用扩展的正则表达式。

用扩展正则表达式（GNU sed）重写前面找重复单词的例子：

$ echo "abc abc" | sed -rn '/([a-z]+) \1/p'
abc abc

假设有个数据文件，我们希望当某行内容为 KEYWORD 时，在它前一行增加 ABCD（如果前一行是 ABCD 则不做改动）。

这个任务可用下面脚本（1.sh）完成：

#!/usr/bin/env sh
sed '
# 当前行不是KEYWORD时，备份到hold space
/KEYWORD/ !{
  h
}

# 当前行是KEYWORD时，检查上一行是否是ABCD，若不是则插入ABCD
/KEYWORD/ {
  # 交换pattern space和hold space
  # 即把之前备份的上一行放入到pattern space，把当前行备份到hold space
  x
  # 检查pattern space是不是ABCD，或不是则用i在Output Stream中插入ABCD
  /ABCD/ !{
i\
ABCD
}
  # 恢复当前行，下行不用x，用g也可以
  x
}
'

假设原数据文件为（data），有两个 KEYWORD 行前面没有 ABCD：

XYZ
KEYWORD

ABCD
KEYWORD
ABCD
KEYWORD

KEYWORD

用前面脚本处理这个文件（ sh 1.sh <data ），可得到下面结果（每个 KEYWORD 行前都有 ABCD 了）：

XYZ
ABCD
KEYWORD

ABCD
KEYWORD
ABCD
KEYWORD

ABCD
KEYWORD

假设有下面数据文件，如何让每行后面都有且仅有一个空行呢？

$ cat file
a
b
c


d

e

思路很简单，删除所有空行，再把每行后增加一个空行即可。

$ sed '/^$/d; G' file
a

b

c

d

e

The "n" command will print out the current pattern space (unless the "-n" flag is used), empty the current pattern space, and read in the next line of input. The "N" command does not print out the current pattern space and does not empty the pattern space. It reads in the next line, but appends a new line character along with the input line itself to the pattern space.

The "d" command deletes the current pattern space, reads in the next line, puts the new line into the pattern space, and aborts the current command, and starts execution at the first sed command. This is called starting a new "cycle." The "D" command deletes the first portion of the pattern space, up to the new line character, leaving the rest of the pattern alone.

The "p" command prints the entire pattern space. The "P" command only prints the first part of the pattern space, up to the NEWLINE character. Neither the "p" nor the "P" command changes the patterns space.

假设在下面数据文件，如何删除双引号之间（可能跨行）的内容呢？

$ cat file
Productivity
        Google Search\
        Tips
        "Web Based Time Tracking,
        Web Based Todo list and
        Reduce Key Stores etc"

下面脚本能完成这个任务：

#!/usr/bin/env sh
sed '{
:loop
$ ! {
# If its not the last line of file
# Append the next line with the pattern space delimited by \n.
# Jump to the loop again.
  N
  b loop
}
# Now all the lines will be available in pattern space delimited by newline.
# Substitute all the occurrence of data between "" with the empty.
  s/\"[^\"]*\"//g
}
' file

参考：http://www.thegeekstuff.com/2009/12/unix-sed-tutorial-6-examples-for-sed-branching-operation/

假设在下面数据文件，如何删除续行符\后合并下行到当前行？

$ cat file
Productivity
        Google Search\
        Tips
        "Web Based Time Tracking,
        Web Based Todo list and
        Reduce Key Stores etc"

下面脚本能完成这个任务：

#!/usr/bin/env sh
sed '{
:loop
# Check if the line ends with the backslash (/\\$/),
# if yes, read and append the next line to pattern space.
  /\\$/ N
# Substitute the \ at the end of the line and number of spaces
# followed by that, with the single space.
  s/\\\n */ /
# The branch will be executed only if substitution is success.
  t loop
}
' file

运行上面脚本后，可得到下面输出（Search Tips 已经在同一行了）：

Productivity
        Google Search Tips
        "Web Based Time Tracking,
        Web Based Todo list and
        Reduce Key Stores etc"

使用命令 a ，可以在某行之后增加一行。下面命令将在“ABCD”这行之后增加一行“NEW LINE”。

$ sed -i.bak "/ABCD/a NEW LINE" file.txt

如果我们想增加的行行首有空格，则需要在第一个空格前面使用反斜线“\”。如：

$ sed -i.bak "/ABCD/a     NEW LINE" file.txt   # 会增加一行，内容为"NEW LINE"（空格被忽略了）
$ sed -i.bak "/ABCD/a \    NEW LINE" file.txt  # 会增加一行，内容为"    NEW LINE"（空格被保留）

说明：在 posix 兼容的 sed（如 Mac 中默认的 sed）中， a 命令后面必需要有反斜线，而且反斜线后面必需是换行。即上面命令应该写为：

$ sed "/ABCD/a \
>     NEW LINE
> " file.txt

下面例子演示了如何使用 sed 注释某行或对某行取消注释（假定注释符号为#）：

$ sed -i '100,102 s/^/#/g' file        # 注释file的第100~102行
$ sed -i '100,102 s/^#//g' file        # 对file的第100~102行取消注释

Mac sed 中 \t 不是 tab，直接看下面例子。

Mac 中测试：

$ echo -e "a\tb" | sed 's/\t//'   # Mac中并不会删除a和b之间的tab，Mac中sed不支持\t
a	b

Linux 中测试：

$ echo -e "a\tb" | sed 's/\t//'   # Linux中会删除a和b之间的tab
ab

使用 bash 的 ANSI-C style quoting，可以使 \t 在 Mac sed 中有效。Mac/Linux 中测试：

$ echo -e "a\tb" | sed $'s/\t//'  # 使用ANSI-C style quoting，Mac/Linux都会删除a和b之间的tab
ab

参考：https://stackoverflow.com/questions/5398395/how-can-i-insert-a-tab-character-with-sed-on-os-x