bash、awk、sed、trで小文字・大文字に変換する方法とベンチマーク結果

bash、awk、sed、tr で小文字、大文字への変換方法と、それぞれのベンチマーク結果を紹介します。

検証環境⌗

検証した環境は以下のとおりです。

• OS
  • Ubuntu 20.04.1 LTS
• bash
  • GNU bash, version 5.0.17(1)-release (x86_64-pc-linux-gnu)
• gawk
  • GNU Awk 5.0.1, API: 2.0 (GNU MPFR 4.0.2, GNU MP 6.2.0)
• mawk
  • 1.3.4 20200120
• sed
  • sed (GNU sed) 4.7
• tr
  • tr (GNU coreutils) 8.30

bash⌗

ドキュメントに以下のように書かれています。

The ‘^’ operator converts lowercase letters matching pattern to uppercase; the ‘,’ operator converts matching uppercase letters to lowercase. The ‘^^’ and ‘,,’ expansions convert each matched character in the expanded value;

# to upper
$ val="AAA"
$ echo ${val,,}
aaa

# to lower
$ val="aaa"
$ echo ${val^^}
AAA

awk⌗

ドキュメントに tolower と toupper という関数があると書かれています。

# to lower
$ echo AAA | awk '{print tolower($0)}'
aaa

# to upper
$ echo aaa | awk '{print toupper($0)}'
AAA

sed⌗

ドキュメント に以下のように書かれています。

\L Turn the replacement to lowercase until a \U or \E is found,

\U Turn the replacement to uppercase until a \L or \E is found,

# to lower
$ echo AAA | sed -e 's/\(.*\)/\L\1/'
aaa

# to upper
$ echo aaa | sed -e 's/\(.*\)/\U\1/'
AAA

ただし、BSD sed では \L と \U は使えません。

tr⌗

ドキュメント に以下のように書かれています。

[:lower:] all lower case letters

[:upper:] all upper case letters

# to lower
$ echo AAA | tr '[:upper:]' '[:lower:]'
aaa

# to upper
$ echo aaa | tr '[:lower:]' '[:upper:]'
AAA

以上が、小文字、大文字への変換方法です。

ベンチマーク⌗

小文字、大文字への変換方法を紹介したので、次はそれぞれの実行速度をベンチマークします。ベンチマークには hyperfine を使います。

スクリプトの生成⌗

色々な長さの文字列に対して変換処理するために、以下のようなスクリプトを書いて任意の長さの文字列に対してコマンドを実行するスクリプトを生成します。

#!/bin/bash

n=${1}

str=$(perl -e "print 'a' x ${n}")

cat <<EOF > bash-n${n}.sh
v=${str}; echo \${v^^}
EOF

cat <<EOF > tr-n${n}.sh
echo ${str} | tr '[:lower:]' '[:upper:]'
EOF

cat <<EOF > sed-n${n}.sh
echo ${str} | sed -e 's/\(.*\)/\U\1/'
EOF

cat <<EOF > gawk-n${n}.sh
echo ${str} | gawk '{print toupper(\$0)}'
EOF

cat <<EOF > mawk-n${n}.sh
echo ${str} | mawk '{print toupper(\$0)}'
EOF

cat <<EOF > benchmark-n${n}.sh
hyperfine --warmup 3 --min-runs 1000 "bash bash-n${n}.sh" "bash tr-n${n}.sh" "bash sed-n${n}.sh" "bash gawk-n${n}.sh" "bash mawk-n${n}.sh" --export-markdown benchmark-result-n${1}.md
EOF

上記のスクリプトを gen-scripts.sh としたとき、gen-scripts.sh 10 のように実行すれば、aaaaaaaaaa(length = 10) に対してコマンドを実行するスクリプトと hyperhine でそれらをベンチマークするスクリプトを生成することができます。面倒 小文字への変換と大文字への変換で結果が変わることはないと思われるので、大文字への変換でのみベンチマークをします。

結果⌗

文字列の長さは 10、100、1,000、10,000、100,000、1000,000 でベンチマークしました。*-n10.sh は文字列の長さが 10、*-n100.sh は文字列の長さが 100、… となっています。ベンチマークは Ubuntu 20.04.1 で行いましたが、最初からインストールされている awk が mawk だったので、gawk でも計測しています。

結果をまとめると、

• 文字列の長さが 1,000 までは、bash の変数展開による変換が最も速い
• 文字列の長さが 10,000 になると、bash の変数展開、tr、mawk がほとんど同じ程度の速度になる
• 文字列の長さが 100,000 以上になると bash の変数展開が遅くなり、tr、mawk、gawk のほうが速くなる
• tr と mawk は常にほとんど同じ程度の速度になる
• sed はすべての結果において一番遅い
• 処理が単純だったからか、gawk と mawk での速度差はあまりなかった

まとめ⌗

コマンドで小文字、大文字に変換する方法とベンチマークの結果を紹介しました。 単純に速度で考えると、文字列の長さに関係なく一貫して速かった tr か mawk が良さそうですが、top と bottom で 2 倍程度の速度差しかないため、実行回数が多くなければ好きなコマンドを使うので問題ないと思います。また、hyperfine では　CPU とメモリ使用量は計測されないため、それらも含めて考えるとどれを選択するかが変わりそうです。