Skip to content

Latest commit

 

History

History
8049 lines (5680 loc) · 295 KB

perlre.pod

File metadata and controls

8049 lines (5680 loc) · 295 KB
Raw

NAME

perlre - Perl の正規表現

DESCRIPTION

このページでは Perl での正規表現の構文について説明します。

もしこれまでに正規表現を使ったことがないなら、 perlretut にチュートリアルがあります。 正規表現を少しだけ知っているなら、perlrequick に クイックスタートがあります。

"The Basics" 節を例外として、このページは、「パターン」とは何か、 それはどのような見た目のものか、基本的にどのようにして使われるか、といった 正規表現の基本に親しんでいることを仮定しています。 それらをどのように使うのかやそれに関する様々な例に 関しては、"Regexp Quote-Like Operators" in perlop にある m//, s///, qr//, "??" の説明を参照して下さい。

v5.22 から、use re 'strict' は、 正規表現パターンをコンパイルするときにその他よりもより厳しい規則を 適用します。 これは、正当ではあるけれども、意図していないかもしれないものを 見つけることができます。

The Basics

(基本)

正規表現とは、この文書と、この文書で参照される補助文書で記述されている、 特定の構文と意味を持つ文字列です。 この文字列は「パターン」と呼ばれます。 パターンは、「ターゲット」と呼ばれる他の文字列が、パターンで指定された 特性を持つ(または持たない)かどうかを判別するために使われます。 これをパターンに対するターゲット文字列の「マッチング」と呼びます。 通常、マッチングは、"Binding Operators" in perlop にリストされている 二つの二項演算子 =~ および !~ の一つの、ターゲットを 最初のオペランドにし、パターンを 2 番目のオペランドにすることによって 行われます; そしてパターンは次のように、"Regexp Quote-Like Operators" in perlop の 演算子の一つによって通常の文字列から変換されています。

$foo =~ m/abc/

これは、変数 $foo 内の文字列のどこかに文字並び "a", "b", "c" が 含まれている場合にのみ真と評価されます。 (マッチング演算子 =~ m は、"m/PATTERN/msixpodualngc" in perlop で 説明されています。)

何らかの変数にまだ格納されていないパターンは、両端が区切り文字で 区切られている必要があります。 これらは上の例のようにスラッシュであることが多く、文書中で パターンを記述する一般的な方法はこれらのスラッシュです。 ほとんどの場合、区切り文字は前と後で同じ文字ですが、文字が鏡像のように 見える場合がいくつかあります; 次のように、開くのが開始区切り文字で、閉じるのが終了区切り文字です:

$foo =~ m<abc>

ほとんどの場合、パターンはダブルクォート風コンテキストで評価されますが、 次のように区切り文字を選択してシングルクォート風を強制することもできます:

$foo =~ m'abc'

パターン内に区切り文字が含まれている場合は、その区切り文字を エスケープする必要があります。 逆スラッシュを前置すると (例えば、"/foo\/bar/")、この目的を 達成できます。

パターン中のすべての単一の文字は、その文字が個々でまたはこの文書で 説明されている特別な意味を持った メタ文字 である場合以外は、 ターゲット文字列内の同じ文字にマッチングします。 非メタ文字の並びは、前述の m/abc/ で見たように、 ターゲット文字列の同じ並びにマッチングします。

ほんのいくつかの文字 (全て ASCII の句読点文字) がメタ文字です。 もっとも一般的に使われるものはドット "." で、これは通常 (ドット自身を含む) ほとんどの文字にマッチングします。

文字は "\" で前置されることで通常はメタ文字としての機能を持っている文字を リテラルとして処理させられるようになります; パターンの区切り文字がパターンの中に現れる場合は エスケープされなければならないのと同様です。 従って、"\." は、通常の意味ではなく、 単にリテラルなドット "." にマッチングするようになります。 つまり、逆スラッシュもメタ文字なので、 "\\" は単一の "\" にマッチングするということです。 エスケープされたメタ文字を含む並びは、ターゲット文字列の中の 同じ並び(但しエスケープなし)にマッチングします。 それで、パターン /blur\\fl/ は 並び "blur\fl" を含むターゲット文字列にマッチングします。

メタ文字 "|" は二つのもののどちらかをマッチングするのに使われます。 従って:

$foo =~ m/this|that/

これは $foo に並び "this" または並び "that" のどちらかが 含まれている場合にのみ真になります。 全てのメタ文字と同様、"|" に逆スラッシュを前置すると普通の句読点文字、 この場合は VERTICAL LINE にマッチングします。

$foo =~ m/this\|that/

これは、$foo に "this|that" という並びを含んでいる場合にのみ 真になります。

単一の "|" だけに制限されません。

$foo =~ m/fee|fie|foe|fum/

これは、$foo に童話「ジャックとまめの木」から取った 四つの並びのいずれがを含んでいる場合にのみ真になります。

ここで見られるように、"|" は通常の文字の並びより弱く結びつけます。 これはグループ化メタ文字であるかっこ "(" と ")" を使って 上書きできます。

$foo =~ m/th(is|at) thing/

これは $foo に並び "this thing" または並び "that thing" のいずれかが含まれている場合にのみ TRUE が返されます。 かっこで囲まれたパターンの部分と一致する文字列の部分は、通常、後でパターン、 置換、プログラムで使用するために個別に使用できます。 これは「捕捉」(capturing)と呼ばれ、複雑になる場合があります。 "Capture groups" を参照してください。

最初の代替には最後のパターン区切り ("(", "(?:" (後述) など、または パターンの始まり)から最初の "|" までのすべてが含まれ、 最後の代替には最後の "|" から次の閉じパターン区切りまでが含まれます。 通常代替をかっこの中に入れるのは、その開始位置と終了位置が少しはわかりやすく なるようにです。

代替は左から右へと試されます、なので最初の代替がその完全な式で マッチングしたのならそれが選択されます。 これは代替は貪欲である必要はないということを意味します。 例えば: "barefoot" に対して foo|foot をマッチングさせると、 最初の代替から試されるので、"foo" の部分がマッチングし、 これは対象の文字列に対して成功でマッチングします。 (これは重要ではないでしょうが、かっこを使ってマッチングしたテキストを 捕捉しているときには重要でしょう。)

接頭辞付き逆スラッシュは、メタ文字の特殊な意味を取り除くだけでなく、 一部の文字や数字をそれ自体と一致させないように変更し、 代わりに特殊な意味を持つようにします。 これらは「エスケープシーケンス」と呼ばれ、perlrebackslash で 説明されています。 現在 Perl にとって特殊な意味を持たない (文字や数字の) 逆スラッシュシーケンスは、警告が有効になっている場合に警告を発します; これらは将来使用するために予約されているためです。

そのようなシーケンスのひとつは \b です; これはある種の境界にマッチします。 \b{wb} やその他のいくつかは特定の境界を与えます。 (これらはすべて "\b{}, \b, \B{}, \B" in perlrebackslash で詳細に 記述されています。) これらは文字ではなく、文字と文字の間のゼロ幅の スペースにマッチングすることに注意してください。 これらは ゼロ幅言明 の例です。 もう一度考えてみます:

$foo =~ m/fee|fie|foe|fum/

これは、これら四つの単語以外に、"feed", "field", "Defoe", "fume", その他多くのシーケンスのいずれかが $foo にある場合、TRUE と評価されます。 \b(または(自然言語を処理するように設計されているため) より良い \b{wb})を慎重に使用することで、 確実に巨人の単語だけが一致するようにできます。

$foo =~ m/\b(fee|fie|foe|fum)\b/
$foo =~ m/\b{wb}(fee|fie|foe|fum)\b{wb}/

最後の例は、文字 "{" と "}" がメタ文字であることを示しています。

エスケープシーケンスのもう一つの使用法は、文字通りに書くことができない (あるいは書きたくない)文字を指定することです。 これらについては "Character Escapes" in perlrebackslash で詳しく説明していますが、 次の三つの段落でその一部を簡単に説明します。

様々な制御文字は C 言語形式で書くことができます: "\n" は改行にマッチングし、"\t" はタブに、"\r" は復帰に、 "\f" はフォームフィードにといった具合にマッチングします。

より一般的に、\nnn (nnn は 3 桁の 8 進数字) は ネイティブな符号位置が nnn の文字にマッチングします。 正確に 3 桁以外の数字を使うと、簡単に困難に陥ります。 従って、常に 3 桁で使うか、Perl 5.14 以降なら、 任意の桁の 8 進数を使うために \o{...} を使えます。

同じように、\xnn (nn は16進数字) はネイティブな数値で nn に なる文字にマッチングします。 再び、正確に 2 桁以外の数字を使うのは災いの元ですが、 任意の桁の 16 進数を指定するために \x{...} を使えます。

メタ文字であることに加えて、"." は、特定の集合の任意の 1 文字に マッチングする「文字クラス」の例です。 この場合、集合ははほぼすべての可能な文字です。 Perlは "." 以外にもいくつかの文字クラスを事前定義しています; これらについては、perlrecharclass という別のリファレンスページが あります。

独自のカスタム文字クラスを定義するには、パターン内の適切な場所に、集合内に 必要なすべての文字のリストを配置します。 これを行うには、リストを [] 大かっこ文字で囲みます。 これらは、正確にであれば「大かっこ文字クラス」と呼ばれますが、 「大かっこ」という単語が削除されることがよくあります。 (通常は、これを削除しても混乱は生じません。) これは、"[" 文字はもう一つのメタ文字であることを意味します。 これ自身だけでは何にもマッチングしません; Perl に対して、後に続くものが大かっこ文字クラスであることを 伝えるためにのみ使用されます。 リテラルの左大かっこにマッチさせたい場合は、"\[" のように エスケープする必要があります。 一致する "]" もメタ文字です; ここでも何にもマッチしませんが、カスタムクラスの終わりを Perl に マークするだけです。 これは「時々メタ文字」の例です。 対応する "[" が存在しない場合はメタ文字ではなく、 リテラルにマッチングします。

print "]" =~ /]/;  # prints 1

文字クラスの中の文字のリストは、そのクラスがマッチングする 文字の集合を表しています。 "[abc]" は単一の "a" または "b" または "c" にマッチングします。. しかし、"[" の後の最初の文字が "^" だったときには、その文字クラスは リストの中にない任意の文字にマッチングします。 リストの中では、文字 "-" は文字の範囲を意味します; なので a-z は "a" と "z" を含めてそれらの間にあるすべての文字を表します。 文字クラスの要素として "-" または "]" 自身を使いたい時には、 リストの先頭に (あるいは "^" の後に) 置くか、逆スラッシュを使って エスケープします。 "-" はリストの終端、リストを閉じる "]" の直前にあったときも リテラルとして扱われます。 (次の例はすべて同じ3文字からなる文字クラスです: [-az], [az-], [a\-z]。 これらはすべて EBCDIC ベースの文字集合であっても26文字からなる文字集合 [a-z] とは異なります。)

大かっこ文字クラスにはもっと色々な要素があります; 完全な詳細は "Bracketed Character Classes" in perlrecharclass にあります。

Metacharacters

(メタ文字)

"The Basics" ではメタ文字の一部を導入しました。 この節ではその全てを示します。 そのほとんどは egrep コマンドと同じ意味を持ちます。

"\" のみが常にメタ文字です。 その他は時々にだけメタ文字です。 次の表は、すべてのメタ文字の一覧、使用方法の概要、 メタ文字になるコンテキストを示しています。 これらのコンテキスト以外では、または "\" で始まる場合は、 対応する句読点文字とマッチングします。 場合によっては、既定の動作を変更するさまざまなパターン修飾子によって 意味が異なります。 "Modifiers" を参照してください。

目的                                     場所
 \   次の文字をエスケープ                         もう一つの \ で
                                      エスケープしない限り常に
 ^   文字列(または /m が使われていれば行) の      [] の中以外
       先頭にマッチング
 ^   [] クラスの補集合                            [] の先頭
 .   改行以外の任意の 1 文字にマッチング          [] の中以外
       (/s の下では改行を含む)
 $   文字列の末尾にマッチング                     [] の中以外、しかし
       (または文字列の最後の改行の前;             スカラの変数展開を
       または /m が使われていれば改行の前)        意味する
 |   代替                                         [] の中以外
 ()  グループ化                                   [] の中以外
 [   大かっこ文字クラスの開始                     [] の中以外
 ]   大かっこ文字クラスの終了                     [] のみで先頭以外
 *   前にある要素に 0 回以上マッチング            [] の中以外
 +   前にある要素に 1 回以上マッチング            [] の中以外
 ?   前にある要素に 0 回または 1 回マッチング     [] の中以外
 {   前にある要素がマッチングする回数を指定する   [] の中以外
       並びの開始
 {   以下のいくつかのエスケープシーケンスで
       シーケンスの意味の修飾子の開始
 }   { で開始した並びの終わり
 -   範囲を示す                                   [] の内部のみ
 #   コメントの開始; 行末まで                     /x 修飾子のみ

ほとんどのメタ文字は、かっこで囲まれた文字クラス内で出現すると 特殊な意味を失うことに注意してください; ただし、"^" は、そのようなクラスの先頭では異なる意味を持ちます。 また、"-" と "]" は、かっこ弧で囲まれた文字クラス内の限定された 位置でだけメタ文字になります; 一方、"}" は、"{" によって開始された特殊な構造体を 閉じるときにのみメタ文字です。

ダブルクォート風のコンテキストでは、通常の場合と同様、 "$" とメタ文字でない "@" に注意する必要があります。 これらは変数を補完することができますが、それは 意図したものである場合とない場合があります。

これらの規則は、読みやすさや保守性ではなく、表現のコンパクトさを 考慮して設計されています。 "/x and /xx" パターン修飾子を使用すると、読みやすさを 向上させるために空白を挿入できます。 また、re 'strict' を使用すると、 意図しないものに暗黙的にコンパイルされる可能性のあるタイプミスを 捕捉するための追加チェックが追加されます。

デフォルトでは、文字 "^" は文字列の先頭にのみ、そして文字 "$" は 末尾(または末尾の改行の前)にのみマッチングすることを保証し、そして Perl は 文字列が 1 行のみを含んでいるという仮定でいくつかの最適化を行います。 埋め込まれている改行文字は "^" や "$" とはマッチングしません。 しかし文字列には複数行が格納されていて、"^" は任意の改行の後(但し 改行文字が文字列の最後の文字だった場合は除く)、そして "$" は任意の改行の 前でマッチングさせたいこともあるでしょう。 小さなオーバーヘッドはありますが、これはパターンマッチングで "/m" 修飾子を使うことで行うことができます。 (古いプログラムでは $* を設定することでこれを行っていましたが これは perl 5.10 では削除されています。)

複数行での利用を簡単にするために、文字 "." は /s 修飾子を 使って Perl に文字列を 1 行として処理すると Perl に伝えない限り、 改行にはマッチングしません。

Modifiers

(修飾子)

Overview

(概要)

マッチングのデフォルトの振る舞いは、様々な修飾子 (modifier) で 変更できます。 パターンの解釈に関連する修飾子は、直後に一覧にしています。 Perl がパターンを使う方法を変更する 修飾子は "Regexp Quote-Like Operators" in perlop 及び "Gory details of parsing quoted constructs" in perlop に 説明されています。 修飾子は動的に追加できます; 後述する "Extended Patterns" を 参照してください。

m

文字列を複数行としてマッチングするように扱います。 つまり、"^" 及び "$" は文字列の最初の行の先頭および最後の行の末尾に対する マッチングから、文字列中の各行の先頭と末尾に対するマッチングへと 変更されます。

s

文字列を 1 行として扱います。 つまり、"." は任意の 1 文字、通常はマッチングしない改行でさえも マッチングするように変更されます。

/ms として共に使うと、"^" 及び "$" はそれぞれ 文字列中の改行の直前及び直後のマッチングでありつつ、"." は任意の文字に マッチングするようになります。

i

大文字小文字を区別しないパターンマッチングを行います。 例えば、/i の下では "A" は "a" にマッチングします。

ロケールマッチングルールが有効になっている場合、符号位置 255 以下の場合は 現在のロケールから取られ、より大きい符号位置では Unicode ルールから 取られます。 しかし、Unicode ルールと非 Unicode ルールの境界(番号255/256) を またぐマッチングは、ロケールが UTF-8 のものでない限り成功しません。 perllocale を参照してください。

/i の基で複数の文字の並びにマッチングする Unicode 文字はたくさんあります。 例えば、LATIN SMALL LIGATURE FI は並び fi にマッチングするべきです。 複数の文字がパターン中にあってグループ化で分割されている場合、または どれかの文字に量指定子が付いている場合、Perl は今のところこれを行えません。 従って

"\N{LATIN SMALL LIGATURE FI}" =~ /fi/i;          # マッチング
"\N{LATIN SMALL LIGATURE FI}" =~ /[fi][fi]/i;    # マッチングしない!
"\N{LATIN SMALL LIGATURE FI}" =~ /fi*/i;         # マッチングしない!
# 次のものはマッチングしないし、もししたとしても $1 と $2 が何になるか
# はっきりしない!!
"\N{LATIN SMALL LIGATURE FI}" =~ /(f)(i)/i;      # マッチングしない!

Perl は、明示的にマッピングについて言及されていない限り、 大かっこ文字クラスの複数の文字にはマッチングしません; そして文字クラスが否定された場合はそれらには全くマッチングしません; さもなければとても混乱することがあるからです。 "Bracketed Character Classes" in perlrecharclass と "Negation" in perlrecharclass を参照して下さい。

x and xx

(x と xx)

空白やコメントを許可してパターンを読みやすくするように拡張します。 詳細は "/x and /xx" にあります。

p

${^PREMATCH}, ${^MATCH}, ${^POSTMATCH} といったマッチングされた 文字列をマッチングの後も使えるように維持します。

Perl 5.20 以降ではこれは無視されます。 新しいコピーオンライト機構により、 ${^PREMATCH}, ${^MATCH}, and ${^POSTMATCH} はこの修飾子に関わらず マッチングの後も利用可能です。

a, d, l, and u

(a, d, l, u)

5.14 から導入されたこれらの新しい修飾子は、どの文字集合規則 (Unicode など) が使われるかに影響を与えます; "Character set modifiers" で後述します。

n

グループ化メタ文字 () が捕捉しないようにします。 5.22 からのこの修飾子は、$1, $2 などを埋めるのを止めます。

"hello" =~ /(hi|hello)/;   # $1 is "hello"
"hello" =~ /(hi|hello)/n;  # $1 is undef

これは各捕捉グループの始めに ?: を置くのと等価です:

"hello" =~ /(?:hi|hello)/; # $1 is undef

/n はグループ単位で否定できます。 その代わりに、名前付き捕捉はまだ使えます。

"hello" =~ /(?-n:(hi|hello))/n;   # $1 is "hello"
"hello" =~ /(?<greet>hi|hello)/n; # $1 is "hello", $+{greet} is
                                  # "hello"
Other Modifiers

(その他の修飾子)

一般的な正規表現フラグ ではない ですが、マッチングや置換 (それぞれ m// や s///) のような操作が実行される時に適用される 多くのフラグが正規表現構文の末尾に見つけられます。

"Using regular expressions in Perl" in perlretut に さらに記述されているフラグは:

c  - keep the current position during repeated matching
g  - globally match the pattern repeatedly in the string

置換専用の修飾子で "s/PATTERN/REPLACEMENT/msixpodualngcer" in perlop に記述されているのは:

e  - evaluate the right-hand side as an expression
ee - evaluate the right side as a string then eval the result
o  - pretend to optimize your code, but actually introduce bugs
r  - perform non-destructive substitution and return the new value

正規表現修飾子は文書中では通常「/x 修飾子」のように記述され、 これは区切りが実際にはスラッシュでなくてもそう記述されます。 また、/imnsxadlup 修飾子は (?...) 構築子を使って正規表現内に 埋め込まれることもあります; 後述する "Extended Patterns" を 参照してください。

Details on some modifiers

(一部の修飾子の詳細)

修飾子の一部は前述の "Overview" よりもさらなる説明が必要です。

/x and /xx

(/x と /xx)

単一の /x は、逆スラッシュでエスケープされたり大かっこ文字クラスの中で あったり (?i: ... ) のような複数文字メタパターンの文字の中であったりしない ほとんどの空白を無視するように正規表現パーサに伝えます。 これは正規表現を読みやすく部分に分割するために使えます。 また "#" は、パターンの閉じ区切り文字まで、またはパターンが次の行に 続く場合は現在の行の末尾までのコメントを開始するメタ文字として扱われます。 従って、これは通常の Perl コードのコメントととても似ています。 (コメントの中の閉じ区切り文字は、逆スラッシュを前置した場合にのみ 含めることができます; 注意してください!)

/x の使用はまた、(/x の影響を受けない大かっこ文字クラス内以外で) パターン中に本当の空白や "#" 文字を使いたい場合は、(逆スラッシュや \Q...\E を使って) エスケープするか、8 進数、16 進数、\N{}, \p{name=...} エスケープの いずれかでエンコードする必要があると言うことです。 \n を逆スラッシュや \Q でエスケープすることで コメントを次の行まで続けようとしても無効です。

現在の行の末尾より早く修了するコメントを作るために "(?#text)" が使えますが、やはり text は逆スラッシュで エスケープされない限り閉じ区切り文字を含むことはできません。

よくある落とし穴は、(大かっこ文字クラスの外側の) "#" 文字は /x の下ではコメントを始めるので、 文字通りにマッチしないことを忘れてしまうことです。 特定の /x パターンが期待通りに動作しない理由を解明しようとするときには、 このことを念頭に置いてください。 大かっこ文字クラスの中では、"#" は特別でないリテラルな意味のままです。

Perl v5.26 以降では、修飾子に二つ目の "x" が含まれている場合、 一つの /x の効果が増加します。 唯一の違いは、大かっこ文字クラスの中では、(逆スラッシュによって) エスケープされていない SPACE および TAB 文字はクラスに追加されません; したがって、クラスをより読みやすくするためにこれらを挿入できます:

/ [d-e g-i 3-7]/xx
/[ ! @ " # $ % ^ & * () = ? <> ' ]/xx

これは、圧縮された同等物よりも掴みやすいかもしれません:

/[d-eg-i3-7]/
/[!@"#$%^&*()=?<>']/

残念ながら、これはあなたの大かっこクラスがコメントを含めたり 複数行に拡張できたりするということではないことに注意してください。 文字クラスの中の # はリテラルな # のままで、コメントを導入しません。 また、閉じ大かっこが開き大かっこと同じ行にない限り、 改行文字 (および ] で終端されるまでの次の行の全て) は、 \n を書いたのと同じように、クラスの一部になります。

まとめると、これらの機能は Perl の正規表現をより読みやすくするために 大きく役立ちます。 以下は例です:

# Delete (most) C comments.
$program =~ s {
        /\*     # Match the opening delimiter.
        .*?     # Match a minimal number of characters.
        \*/     # Match the closing delimiter.
} []gsx;

\Q...\E の内側のものは /x の影響を受けないことに注意してください。 例えば、(?:...) は "(", "?", ":" の間にスペースを含むことはできません。 このような構文の区切り文字の中では、スペースが許されるかどうかは /x に影響されず、構文自身に影響されます。 例えば、\x{...} のような、区切り文字として中かっこを使う全ての構文は、 中かっこの隣の内部ではスペース文字を置けますが、他の場所には置けず、 スペース以外の空白文字も置けません。 例外は、Unicode の規則に従っている Unicode 特性です; "Properties accessible through \p{} and \P{}" in perluniprops を 参照してください。

空白と見なされる文字の集合は、Unicode が "Pattern White Space" と 呼ぶもので、次のものです:

U+0009 CHARACTER TABULATION
U+000A LINE FEED
U+000B LINE TABULATION
U+000C FORM FEED
U+000D CARRIAGE RETURN
U+0020 SPACE
U+0085 NEXT LINE
U+200E LEFT-TO-RIGHT MARK
U+200F RIGHT-TO-LEFT MARK
U+2028 LINE SEPARATOR
U+2029 PARAGRAPH SEPARATOR

Character set modifiers

(文字集合修飾子)

5.14 から利用可能な /d, /u, /a, /l は文字集合修飾子と呼ばれます; これらは正規表現で使われる文字集合規則に影響を与えます。

/d, /u, /l 修飾子はよく使うことはないだろうものなので、 これらについてあまり心配する必要はありません。 これらは Perl の内部仕様のために存在しているので、 複雑な正規表現データ構造は自動的に直列化されて、その後全てのニュアンスを 含めて正確に再構成されます。

一方、/a 修飾子は有用かもしれません。 この目的は、Unicode に関して考慮する必要がないように、コードを ほとんど ASCII データとして動作するようにすることです。

簡単に言うと、/l は、文字集合をパターンマッチングの実行時に有効な ロケール(Locale)に設定します。

/u は文字集合を Unicode に設定します。

/a も文字コードを Unicode に設定しますが、 ASCII セーフなマッチングのためにいくつかの制限を加えます。

/d は古くて問題のある、5.14 以前のデフォルト(Default)文字集合の 振る舞いです。 これは古い振る舞いを強制するためだけに使います。

任意のある瞬間において、これらの修飾子の内正確に一つだけが有効になります。 これにより、 それが実際に実行されるときにどの規則が有効かに関わらず、 Perl が元々コンパイルされた正規表現の振る舞いを保存できるようにします。 そしてそれがより大きな正規表現に展開された場合、元の規則は その部分にだけ適用され続け、他の部分には影響を与えません。

/l と /u の修飾子は、様々なプラグマのスコープ内でコンパイルされた 正規表現で自動的に選択されます; 一般的にはこれらの修飾子を明示的に使うのではなく、これらのプラグマを 使うことを勧めます。 一例を挙げると、修飾子はパターンマッチングに対してのみ影響を与え、 置換には拡張されないことに注意してください; いっぽうプラグマを使うと、そのスコープ内の全ての適切な操作について 一貫した結果となります。 例えば:

s/foo/\Ubar/il

これは大文字小文字マッチングにロケールの規則を使って "foo" に マッチングしますが、/l は \U がどう処理を行うかに影響を与えません。 あなたはほぼ確実にこれら二つにロケールの規則を使うことを臨むはずです。 これをするためには、代わりに use locale のスコープ内で正規表現をコンパイルします。 これらは両方とも暗黙に /l を追加し、\U にロケールの規則を適用します。 ここで学ぶべきことは、use locale を使って、明示的に /l を 使わないことです。

同様に、Unicode の規則にするには次のようにする代わりに use feature 'unicode_strings' を使った方が良いです:

s/foo/\Lbar/iu

前者の \L (しかし後者は必要ではないです) も Unicode の規則を 使うからです。

それぞれの修飾子に関するさらなる詳細は後述します。 ほとんど確実にあなたは /l, /u, /d の詳細を知る必要はなく、 /a まで読み飛ばせます。

/l

これはパターンマッチングのときに現在のロケールの規則 (perllocale 参照) を 使うことを意味します。 例えば、\w はこのロケールの「単語」文字にマッチングし、 "/i" の大文字小文字マッチングは、現在のロケールの大文字小文字畳み込み規則に 従ってマッチングします。 使われるロケールはパターンマッチングが実行される時点で有効なものです。 これはコンパイル時のロケールと同じではないかもしれませんし、 setlocale() 関数 の呼び出しが間に入ると、呼び出し毎に異なることもあります。

v5.20 より前では、Perl は複数バイトロケールに対応していませんでした。 v5.20 から、UTF-8 ロケールに対応しました。 他の複数バイトロケールに対応することはおそらくありません。 しかし、全てのロケールで、255 を越える符号位置を保持することができ、 これはどのロケールが有効であるかに関わらず常に Unicode として扱われます。

Unicode の規則の基では、255/256 の境界をまたぐ大文字小文字を無視した マッチングがいくつかあります。 Perl v5.20 以降での UTF-8 ロケールを除いて、 これらは /l の基では認められません。 例えば、(ASCII プラットフォームで) 0xFF は 0x178, LATIN CAPITAL LETTER Y WITH DIAERESIS と大文字小文字を無視した マッチングをしません; なぜなら 0xFF は現在のロケールでは LATIN SMALL LETTER Y WITH DIAERESIS ではないかもしれず、Perl は このロケールでこの文字があるかどうかすら知る方法がなく、ましてや これがどの符号位置かを知る方法もないからです。

v5.20 以降の UTF-8 ロケールでは、 正規表現でのロケールと非ロケールの目に見える唯一の違いは、 perl が汚染チェックに対応している場合の汚染だけのはずです (perlsec 参照)。

この修飾子は use locale によってデフォルトで設定されますが、 "Which character set modifier is in effect?" を参照してください。

/u

これはパターンマッチングのときに Unicode の規則を使うことを意味します。 ASCII プラットフォームでは、これは符号位置 128 から 255 は Latin-1 (ISO-8859-1) という意味になります (これは Unicode と同じです)。 (さもなければ Perl はこれらの意味は未定義として扱います。) 従って、この修飾子の基では、ASCII プラットフォームは 事実上 Unicode プラットフォームになります; 従って、 例えば、\w は Unicode の 100,000 以上の単語文字のどれにも マッチングします。

特定の言語と国に固有であるほとんどのロケールと異なり、 Unicode は世界の どこか で字(letter)として扱われている全ての 文字(character)を \w に分類します。 例えば、あなたのロケールは (あなたがたまたまアイスランド語を話さない限り) LATIN SMALL LETTER ETH を字として考えないかもしれません。 同様に、世界のどこかで数字である全ての文字は \d にマッチングします; これは 10 ではなく 100 のマッチングの可能性があります。 さらにこれらの数字の一部は 10 の ASCII 数字と似ていますが、 異なる数字を意味するため、人間はその数字が実際と異なる量であると 簡単に考えてしまいます。 例えば、 BENGALI DIGIT FOUR (U+09EA) は ASCII DIGIT EIGHT (U+0038) に とてもよく似ていて、 LEPCHA DIGIT SIX (U+1C46) は ASCII DIGIT FIVE (U+0035) に とてもよく似ています。 \d+ は、異なる記法から混ぜた数字の文字列にマッチングするので、 セキュリティ上の問題を作ります。 例えば、詐欺サイトは、何か U+1C46 を使った価格を表示し、 何か 500 ユニットのコストであるかのようにユーザーに見えるけれども、 実際のコストは 600 にできます。 用字連続 ("Script Runs") を矯正するブラウザはこのような 詐欺的な表示を防ぎます。 これを整理するために "num()" in Unicode::UCD も使えます。 あるいは /a 修飾子は、\d が単に ASCII の 0 から 9 に マッチングすることを強制するために使えます。

また、この修飾子の基では、大文字小文字を無視したマッチングは Unicode の 完全な集合で動作します。 例えば KELVIN SIGN は "k" と "K" にマッチングします; LATIN SMALL LIGATURE FF は、準備していなければ 16 進数定数のように 見えるかもしれない並び "ff" にマッチングし、もう一つの潜在的な セキュリティ問題になります。 Unicode のセキュリティ問題に関する詳細な議論については https://unicode.org/reports/tr36 を参照してください。

この修飾子は use feature 'unicode_strings, use locale ':not_characters', use v5.12 (またはそれ以上) によってデフォルトに 設定されますが、"Which character set modifier is in effect?" を 参照してください。

/d

重要: この修飾子が引き起こす予測できない振る舞いのため、 おかしな後方互換性を維持するためだけに使ってください。 不注意でこの修飾子をデフォルトで有効にすることを避けるために、 新しいコードでは unicode_strings 機能を 使ってください。

この修飾子は何をするのでしょう? 「場合によります」!

この修飾子は、以下のように Unicode の規則が使われる場合を除いて、 プラットフォームにネイティブな規則を使うことを意味します:

  1. ターゲット文字列の UTF8 フラグ が 設定されている; または

  2. パターンの UTF8 フラグ が 設定されている; または

  3. パターンが、(\x{100} のような形で)255 を超える符号位置に明示的に 言及している; または

  4. パターンが Unicode 名 (\N{...}) を使っている; または

  5. パターンが Unicode 特性 (\p{...}) や \P{...}) を使っている; または

  6. パターンが Unicode 単語境界 (\b{...} または \B{...}) を使っている; または

  7. パターンが "(?[ ])" を使っている

  8. パターンが (*script_run: ...) を使っている

前述の "UTF8 フラグ" について: 通常 Perl のアプリケーションは このフラグについて考えるべきではありません。 これは Perl の内部の一部で、Perl が望むときはいつでも変更されます。 従って、/d は予測不能な結果になるかもしれません。 "The "Unicode Bug"" in perlunicode を参照してください。 このバグは、悪名高くなり、この修飾子のもう一つの(罵りのない) "Dicey" と "Dodgy" のような名前を引き起こしています。

以下は ASCII プラットフォームでどのように動作するかの例です:

$str =  "\xDF";        #
utf8::downgrade($str); # $str is not UTF8-flagged.
$str =~ /^\w/;         # No match, since no UTF8 flag.

$str .= "\x{0e0b}";    # Now $str is UTF8-flagged.
$str =~ /^\w/;         # Match! $str is now UTF8-flagged.
chop $str;
$str =~ /^\w/;         # Still a match! $str retains its UTF8 flag.

Perl のデフォルト設定では、この修飾子は他のものが指定されなかった場合に デフォルトとして自動的に選択されるので、これのもう一つの名前は (残念ながら) "Default" です。

使えるときはいつでも、代わりに がデフォルトになるように、 unicode_strings を 使ってください。

/a (and /aa)

(/a (と /aa))

この修飾子は ASCII 制限 (あるいは ASCII セーフ) を意味します。 この修飾子は、2 倍にすることで効果が増します。

これが単体で使われると、\d, \s, \w, Posix 文字クラスは ASCII の範囲のみにマッチングするようになります。 従って、これらは 5.6 以前の、Unicode 以前の意味に戻します。 /a の基では、\d は常に正確に数字 "0" から "9" を意味します; \s は [ \f\n\r\t] の 5 文字、および Perl v5.18 から垂直タブ、 を意味します; \w は [A-Za-z0-9_] の 63 文字を意味します; 同様に、[[:print:]] のような全ての Posix クラスは 適切な ASCII の範囲の文字にのみマッチングします。

この修飾子は、偶然 Unicode を使っている人々で、その複雑さと セキュリティの問題に関する重荷を背負いたくない人々にとっては有用です。

/a を使うと、ASCII 文字だけにマッチングすることに自信を持って 書くことができ、ASCII を超えてマッチングする必要が発生したときには、 代わりに \p{Digit} (または \w として \p{Word}) が使えます。 ASCII を超えたスペース ("Whitespace" in perlrecharclass を参照してください) と Posix クラス ("POSIX Character Classes" in perlrecharclass を 参照してください) の両方にマッチングする似たような \p{...} 構文があります。 従って、この修飾子は Unicode が使えなくなるということではなく、 Unicode のマッチングには明示的に Unicode を意味する構文 (\p{}, \P{}) を使わないといけないということです。

予想できるとおり、 この修飾子は、例えば、\D を [^0-9] と 同じことにします; 実際、全ての非 ASCII 文字は \D, \S, \W にマッチングします。 \b はまだ \w と \W の境界にマッチングします; これらのために (\B と同様) /a の定義を使います。

さもなければ、/a は /u 修飾子のように振る舞います; 大文字小文字を無視したマッチングには Unicode の規則を使います; 例えば、"k" は /i の基では \N{KELVIN SIGN} にマッチングし、 ASCII の範囲を超える Latin1 の範囲の符号位置は、大文字小文字を無視した マッチングで使われる場合は Unicode の規則を使います。

("k" と \N{KELVIN SIGN} のような) ASCII/非-ASCII マッチングを禁止するには、 /aai や /aia のように "a" を 2 回指定します。 (最初の "a" は \d などを制限し、2 番目は /i の制限を追加します。) しかし、 ASCII の範囲外の符号位置は /i マッチングに Unicode 規則を 使うので、この修飾子は実際には単に ASCII に制限するものではないことに 注意してください; これは単に ASCII と非 ASCII を混ぜることを禁止します。

まとめると、この修飾子は全ての Unicode に対して曝されることを望んでいない アプリケーションに対する保護を提供します。 2 回指定することで追加の保護を提供します。

この修飾子は use re '/a' または use re '/aa' でデフォルトに 設定されます。 そうすると、もし完全な Unicode 規則を使いたい正規表現がある場合は、 /u 修飾子を明示的に使う機会があるかもしれません (その場合でも、全てが "unicode_strings" の基なら、 use re '/aa' と共にするのが最良です)。 "Which character set modifier is in effect?" も参照してください。

Which character set modifier is in effect?

(どの文字集合修飾子が有効?)

ある正規表現のあるポイントでどの修飾子が有効かは、かなり複雑な相互作用に 依存します。 これらは、基本的にはあなたがこれらについて心配しなくて良いように 設計されています。 しかし、この節は詳細を記述します。 "Extended Patterns" で後述するとおり、正規表現の一部にだけ 適用する修飾子を明示的に指定することが可能です。 一番内側のものは常により外側のものより優先され、式全体に適用されるものは この節の残りで記述されるデフォルト設定より優先されます。

use re '/foo' プラグマは、 このスコープ内でコンパイルされる正規表現に対して(これらを含む) デフォルトの修飾子を設定するのに使えます。 このプラグマは、デフォルトを変更する後述するその他のプラグマに優先します。 /x 修飾子は split STR パターンに影響を与えないことに注意してください。

さもなければ、use locale はデフォルト修飾子を /l に 設定します; そして、use feature 'unicode_strings か use v5.12 (またはそれ以上) は、 同じスコープに use locale や use bytes が なければ、デフォルトを /u に設定します。 (use locale ':not_characters' はまた デフォルトを /u に設定し、普通の use locale を上書きします。) 前述した機構と異なり、これらは正規表現パターンマッチング以外の操作に 影響するので、置換での \U, \l を使うことを含むその他の操作と より一貫性のある結果になります。

前述のどれも適用されない場合、後方互換性のために、 /d 修飾子がデフォルトで有効になります。 これは想定外の結果になることがあるので、 その他の規則集合が使われるように指定するのが最良です。

Character set modifier behavior prior to Perl 5.14

(Perl 5.14 より前の文字集合修飾子の振る舞い)

5.14 より前では、明示的な修飾子はありませんが、 use locale のスコープ内でコンパイルされた正規表現に関しては /l が仮定され、さもなければ /d が仮定されます。 しかし、ある正規表現をより大きな正規表現に展開した場合、元のコンパイル時の 状況は、2 回目のコンパイル時点で有効なもので上書きされます。 /d 演算子には、不適切なときに Unicode 規則が使われる、あるいはその逆の 多くの非一貫性(バグ)があります。 \p{} および \N{} は 5.12 まで Unicode 規則を仮定していません。

Regular Expressions

(正規表現)

Quantifiers

(量指定子)

Quantifiers are used when a particular portion of a pattern needs to match a certain number (or numbers) of times. If there isn't a quantifier the number of times to match is exactly one. 以下の標準的な量指定子を使えます: 

*           0 回以上マッチング
+           1 回以上マッチング
?           0 回または 1 回マッチング
{n}         正確に n 回マッチング
{n,}        最低 n 回マッチング
{,n}        最大 n 回マッチング
{n,m}       n 回以上 m 回以下マッチング

(前述した量指定子の一つ以外のコンテキストでエスケープされない中かっこが 使われて、\x{...} のような逆スラッシュ付き並びの一部ではないときには、 普通の文字として扱われるか、致命的エラーになり、どちらでも 一般的には廃止予定警告が発生します。 これをエスケープするには、逆スラッシュを前置したり ("\{") 大かっこで囲んだり ("[{]") できます。 この変更により、(量指定子の加減をオプションにするような) 将来の 文法の拡張ができるようになり、量指定子のより良いエラーチェックが できるようになります。

"*" 量指定子は {0,} と、"+" 量指定子は {1,} と、 "?" 量指定子は {0,1} と等価です。 n と m は perl をビルドしたときに定義した既定の制限より小さな 非負整数回に制限されます。 これは大抵のプラットフォームでは 65534 回になっています。 実際の制限は次のようなコードを実行すると生成されるエラーメッセージで 見ることができます:

$_ **= $_ , / {$_} / for 2 .. 42;

デフォルトでは、パターンで行われる量指定は「貪欲」です; つまりそれはパターンの残りの部分が可能な範囲で、 (始めた地点から)可能な限り多くを先にあるパターンでマッチングさせます。 もし最小回数でのマッチングを行いたいのであれば、量指定子の後ろに "?" を続けます。 意味は変更されずに「貪欲さ」だけを変更できます: 

*?        0 回以上の貪欲でないマッチング
+?        1 回以上の貪欲でないマッチング
??        0 回または 1 回の貪欲でないマッチング
{n}?      ちょうど n 回の貪欲でないマッチング (冗長)
{n,}?     n 回以上の貪欲でないマッチング
{,n}?     最大 n 回の貪欲でないマッチング
{n,m}?    n 回以上 m 回以下の貪欲でないマッチング

通常、パターンのうちの量指定された一部によってパターン全体が マッチングに失敗したとき、Perl はバックトラックを行います。 しかしこの振る舞いは望まれないこともあります。 そのため、Perl は「絶対最大(possessive)」量指定形式も提供しています。

*+        0 回以上マッチングして何も返さない
++        1 回以上マッチングして何も返さない
?+        0 回または 1 回マッチングして何も返さない
{n}+      ちょうど n 回のマッチングして何も返さない (冗長)
{n,}+     n 回以上のマッチングして何も返さない
{,n}+     最大 n 回のマッチングして何も返さない
{n,m}+    n 回以上 m 回以下マッチングして何も返さない

例えば、

'aaaa' =~ /a++a/

は、a++ が文字列中の全ての "a" を飲み込んでしまい、 後に何も残さないためマッチングしません。 この機能はバックトラックするべきでない場所のヒントを perl に 与えるのに非常に便利です。 例えば、典型的な「ダブルクォート文字列のマッチング」問題で次のように 書くととても効率的になります:

/"(?:[^"\\]++|\\.)*+"/

見ての通り最後のクォートがマッチングしなかったとき、バックトラックは 役に立ちません。 詳細は独立したサブパターン "(?>pattern)" を参照してください; 絶対最大量指定子はまさにその構文糖です。 例えばこの例は次のようにも書けます:

/"(?>(?:(?>[^"\\]+)|\\.)*)"/

絶対最大量指定修飾子は非貪欲修飾子と結合できないことに注意してください。 これは無意味だからです。 次の等価性表を考慮してください:

Illegal         Legal
------------    ------
X??+            X{0}
X+?+            X{1}
X{min,max}?+    X{min}

Escape sequences

(エスケープシーケンス)

パターンはダブルクォート文字列として処理されるため、 以下のエスケープ文字も動作します: 

\t          タブ                  (水平タブ;HT、TAB)
\n          改行                  (LF、NL)
\r          復帰                  (CR)
\f          フォームフィード      (FF)
\a          アラーム (ベル)       (BEL)
\e          エスケープ (troff 的) (ESC)
\cK         制御文字              (例: VT)
\x{}, \x00  16 進数で番号指定された文字
\N{name}    名前付きユニコード文字または文字並び
\N{U+263D}  Unicode 文字          (例: FIRST QUARTER MOON)
\o{}, \000  8 進数で番号指定された文字
\l          次の文字を小文字に (vi 的)
\u          次の文字を大文字に (vi 的)
\L          \E まで小文字に (vi 的)
\U          \E まで大文字に (vi 的)
\Q          \E までパターンメタ文字の無効化(Quote)
\E          大文字小文字変更またはクォートの終端 (vi 的)

詳細は "Quote and Quote-like Operators" in perlop にあります。

Character Classes and other Special Escapes

(文字クラス及び他の特殊なエスケープ)

さらに、Perl は以下のものを定義します: 

Sequence   Note    Description
 [...]     [1]  "..." で定義された大かっこ文字クラスのルールに従う文字に
                  マッチング。
                  例: [a-z] は "a", "b", "c", ... "z" にマッチング。
 [[:...:]] [2]  外側の大かっこ文字クラスの内側の POSIX 文字クラスに
                  従う文字にマッチング。
                  例: [[:upper:]] は任意の大文字にマッチング。
 (?[...])  [8]  拡張大かっこ文字クラス
 \w        [3]  "単語" 文字にマッチング (英数字及び "_" に加えて、
                  その他の接続句読点文字と Unicode マークにマッチング)
 \W        [3]  非"単語"文字にマッチング
 \s        [3]  空白文字にマッチング
 \S        [3]  非空白文字にマッチング
 \d        [3]  10 進数字にマッチング
 \D        [3]  非数字にマッチング
 \pP       [3]  名前属性 P にマッチング. 長い名前であれば \p{Prop}
 \PP       [3]  P以外にマッチング
 \X        [4]  Unicode 拡張書記素クラスタ("eXtended grapheme cluster")にマッチング
 \1        [5]  指定した捕捉グループやバッファへの後方参照。
                '1' には正の整数を指定できます。
 \g1       [5]  指定したまたは前のグループへの後方参照
 \g{-1}    [5]  数値は相対的に前のグループを示す負の値にもできます、また
                任意で安全にパースするために波かっこで括ることもできます
 \g{name}  [5]  名前指定の後方参照
 \k<name>  [5]  名前指定の後方参照
 \k'name'  [5]  名前指定の後方参照
 \k{name}  [5]  名前指定の後方参照
 \K        [6]  \K の左にある物を保持、$& に含めない
 \N        [7]  \n 以外の任意の文字; /s 修飾子の影響は受けない
 \v        [3]  垂直空白
 \V        [3]  垂直空白以外
 \h        [3]  水平空白
 \H        [3]  水平空白以外
 \R        [4]  行区切り
[1]

詳しくは "Bracketed Character Classes" in perlrecharclass を参照してください。

[2]

詳しくは "POSIX Character Classes" in perlrecharclass を参照してください。

[3]

詳しくは "Unicode Character Properties" in perlunicode を参照してください。

[4]

詳しくは "Misc" in perlrebackslash を参照してください。

[5]

詳しくは以下の "Capture groups" を参照してください。

[6]

詳しくは以下のSee "Extended Patterns" を参照してください。

[7]

\N には二つの意味があることに注意してください。 \N{NAME} の形式では、これは名前が NAME の文字または文字の並びに マッチングします; 同様に、\N{U+wide hex char} の形式では、Unicode 符号位置が hex の文字にマッチングします。 そうでなければ、\n 以外の任意の文字にマッチングします。

[8]

詳しくは "Extended Bracketed Character Classes" in perlrecharclass を 参照してください。

Assertions

(言明)

"^" と "$" の他に、 Perl は以下のゼロ幅の言明を定義しています: 

\b{}   Match at Unicode boundary of specified type
\B{}   Match where corresponding \b{} doesn't match
\b     Match a \w\W or \W\w boundary
\B     Match except at a \w\W or \W\w boundary
\A     Match only at beginning of string
\Z     Match only at end of string, or before newline at the end
\z     Match only at end of string
\G     Match only at pos() (e.g. at the end-of-match position
       of prior m//g)

v5.22 から利用可能である Unicode 境界 (\b{}) は、 Unicode で定義されたある種の基準に一致した、 二つの文字の間か、文字列の最初の文字の前か、 文字列の最後の文字の後の地点です。 詳しくは "\b{}, \b, \B{}, \B" in perlrebackslash を参照してください。

単語境界(\b)は\W にマッチングする文字列の始まりと終わりを 連想するような、片側を \w、もう片側を \W で挟まれている点です。 (文字クラスにおいては \b は単語境界ではなくバックスペースを表します, ちょうどダブルクォート文字列と同じように。) \A 及び \Z は "^" 及び "$" と同様ですが、/m 修飾子が 指定されているときに "^" 及び "$" は全ての内部的な行境界に マッチングするのに対して \A 及び \Z は複数回のマッチングには なりません。 文字列の本当の末尾にマッチングさせ、省略可能である末尾の改行を 無視しないようにする \z を使います。

\G 言明はグローバルなマッチング(m//g)を連結するために使います; これは "Regexp Quote-Like Operators" in perlop にも説明されています。 これは文字列に対していくつかのパターンを次々にマッチングさせたいといった、 lex 風のスキャナを書きたいときにも便利です; 以前のリファレンスを 参照してください。 \G が実際にマッチングできる位置は pos() を左辺値として 使うことで変更できます: "pos" in perlfunc を参照してください。 ゼロ幅マッチング ("Repeated Patterns Matching a Zero-length Substring" を参照してください) のルールは少し変化することに注意してください、 \G の左にある内容はマッチングの長さを決定するときに 数えられません。 従って次のコードは永遠にマッチングしません: 

my $string = 'ABC';
pos($string) = 1;
while ($string =~ /(.\G)/g) {
    print $1;
}

これはゼロ幅へのマッチングと見なされ、'A' を出力し終了するので、 行の中で同じ場所に二度はマッチングしません。

適切に使われていない \G は無限ループとなり何の価値もありません。 代替(alternation; |)の中に \G を含んでいるパターンを使う際には 十分注意してください。

s/// は置換部の既に置き換えられた部分を上書きすることを拒否することにも 注意してください; 従って例えばこれは文字列の後ろ向きの反復中ではなく、 最初の反復の後に停止します:

$_ = "123456789";
pos = 6;
s/.(?=.\G)/X/g;
print;  # prints 1234X6789, not XXXXX6789

Capture groups

(捕捉グループ)

グループ化構文 ( ... ) は捕捉グループを作成します (そして捕捉バッファとして 参照します)。 同じパターンの中で、あるグループの現在の内容を後で参照するには、 最初のものには \g1 (または \g{1}) を、2 番目には \g2 (または \g{2}) を、以下同様のものを使います。 これを 後方参照 (backreference) と呼びます。 使う捕捉部分文字列の数に制限はありません。 グループはいちばん左の開きかっこを 1 番として番号付けされます。 グループがマッチングしなかった場合、対応する後方参照もマッチングしません。 (これはグループがオプションか、選択の異なる枝の場合に怒ることがあります。) "g" を省略して "\1" などと書くこともできますが、後で述べるように、 この形式にはいくらかの問題があります。

負数を使うことで捕捉グループを相対的に参照することもできます; \g-1 と \g{-1} は両方とも直前の捕捉グループを参照し、\g-2 と \g{-2} は 両方ともその前のグループを参照します。 例えば:

/
 (Y)            # group 1
 (              # group 2
    (X)         # group 3
    \g{-1}      # backref to group 3
    \g{-3}      # backref to group 1
 )
/x

は /(Y) ( (X) \g3 \g1 )/x と同じマッチングとなります。 これにより、正規表現をより大きな正規表現に挿入したときに、捕捉グループの 番号を振り直す心配をする必要がなくなります。

数値を全く使わずに、名前付き捕捉グループを作ることが出来ます。 記法は、宣言が (?<name>...)、参照が \g{name} です。 (.Net 正規表現との互換性のために、\g{name} は \k{name}, \k<name>, \k'name' とも書けます。) name は数字で始まってはならず、ハイフンを含んではなりません。 同じパターンの中に同じ名前の違うグループがある場合、 この名前での参照は一番左で定義されたものを仮定します。 名前付きグループも絶対や相対番号付けに含まれるので、 番号で参照することも出来ます。 ((??{}) が必要な場合でも名前付き捕捉グループを使うことが出来ます。)

捕捉グループの内容は動的スコープを持ち、パターンの外側でも現在のブロックの 末尾か同じスコープでの次のマッチングの成功のどちらか早いほうまで利用可能です。 さらなる詳細については "Compound Statements" in perlsyn と "Scoping Rules of Regex Variables" in perlvar を参照してください。

("\g1" などの代わりに "$1" を使って) 絶対値を使うか、 "$+{name}" を使って %+ 経由で名前を使うことで、 捕捉グループの内容にアクセスできます。

名前付き捕捉グループを参照するには中かっこが必要です; しかし、絶対数値や相対数値の場合はオプションです。 より小さい文字列を結合して正規表現を作る場合は中かっこを使う方が安全です。 例えば qr/$x$y/ で $x に "\g1" を含み、 $y に "37" を含んでいるとき、 結果は /\g137/ となりますが、おそらく望んでいたものではないでしょう。

中かっこを使うとき、\g{ -1 } や \k{ name } のように、 中かっこの隣の内部に任意の数のブランク (スペースまたはタブ) 文字を追加することもできます。

\g と \k の記法は Perl 5.10.0 で導入されました。 それより前には名前付きや相対数値指定の捕捉グループはありませんでした。 絶対数値指定のグループは \1, \2 などとして参照でき、この記法はまだ 受け付けられます (そしておそらくいつも受け付けられます)。 しかし、これは 9 を越える捕捉グループがあるとあいまいさがあります; \10 は 10 番目の捕捉グループとも、8 進数で 010 の文字(ASCII で バックスペース)とも解釈できます。 Perl はこのあいまいさを以下のように解決します; \10 の場合、これの前に少なくとも 10 の左かっこがある場合にのみ これを後方参照として解釈します。 同様に、\11 はその前に少なくとも 11 の左かっこがある場合にのみ これを後方参照として解釈します。 以下同様です。 \1 から \9 は常に後方参照として解釈されます。 これを図示するいくつかの例が後にあります。 捕捉グループを意味する場合は常に \g{} や \g を使うことで あいまいさを避けられます; そして 8 進定数については常に \o{} を使うか、\077 以下の場合は、 先頭に 0 を付けて 3 桁にします; なぜなら先頭に 0 が付くと 8 進定数を仮定するからです。

\digit 記法は、ある種の状況ではパターンの外側でも動作します。 詳しくは後述する "Warning on \1 Instead of $1" を参照して下さい。

例:

s/^([^ ]*) *([^ ]*)/$2 $1/;     # swap first two words

/(.)\g1/                        # find first doubled char
     and print "'$1' is the first doubled character\n";

/(?<char>.)\k<char>/            # ... a different way
     and print "'$+{char}' is the first doubled character\n";

/(?'char'.)\g1/                 # ... mix and match
     and print "'$1' is the first doubled character\n";

if (/Time: (..):(..):(..)/) {   # parse out values
    $hours = $1;
    $minutes = $2;
    $seconds = $3;
}

/(.)(.)(.)(.)(.)(.)(.)(.)(.)\g10/   # \g10 is a backreference
/(.)(.)(.)(.)(.)(.)(.)(.)(.)\10/    # \10 is octal
/((.)(.)(.)(.)(.)(.)(.)(.)(.))\10/  # \10 is a backreference
/((.)(.)(.)(.)(.)(.)(.)(.)(.))\010/ # \010 is octal

$x = '(.)\1';        # Creates problems when concatenated.
$y = '(.)\g{1}';     # Avoids the problems.
"aa" =~ /${x}/;      # True
"aa" =~ /${y}/;      # True
"aa0" =~ /${x}0/;    # False!
"aa0" =~ /${y}0/;    # True
"aa\x08" =~ /${x}0/;  # True!
"aa\x08" =~ /${y}0/;  # False

いくつかの特殊変数もまた以前のマッチングの一部を参照しています。 $+ は最後のマッチングしたブラケットマッチングを返します。 $& はマッチングした文字列全体を返します。 (一頃は $0 もそうでしたが、現在ではこれはプログラム名を返します。) $` はマッチングした文字列の前の全てを返します。 $' はマッチングした文字列の後の全てを返します。 そして $^N には一番最後に閉じたグループ(サブマッチング)に マッチングしたものを含んでいます。 $^N は例えばサブマッチングを変数に格納するため等に拡張パターンの中でも 利用できます(後述)。

%+ ハッシュのような特殊変数と、数値によるマッチング変数 ($1, $2, $3 など)はブロックの終端または次のマッチング 成功までのどちらか先に満たした方の、動的なスコープを持ちます。 ("Compound Statements" in perlsyn を参照してください。)

@{^CAPTURE} 配列は、いくつあるかを知ることなく、捕捉バッファの 全てに配列としてアクセスするために使えます。 例えば:

$string=~/$pattern/ and @captured = @{^CAPTURE};

これはそれぞれの捕捉変数 $1, $2 などのコピーを @captured 配列に 入れます。

@{^CAPTURE} の添え字を変数展開するときには、 中かっこで境界を定める記法を使わなければならないことに注意してください。

print "${^CAPTURE[0]}";

この記法についての詳細は "Demarcated variable names using braces" in perldata を参照してください。

補足: Perl において失敗したマッチングはマッチング変数をリセットしません; これはより特殊化させる一連のテストを書くことや、 最善のマッチングを書くことを容易にします。

警告: あなたのコードが Perl 5.16 以前で実行されるものの場合、 Perl は、一旦プログラム中のどこかで $&, $`, $' の いずれかを必要としていることを見つけると、全てのパターンマッチングで それらを提供しなければなあらないことに注意してください。 これはあなたのプログラムを大幅に遅くさせるでしょう。

Perl は $1, $2 等の生成にも同じメカニズムを使っているので、 キャプチャのかっこに含まれるそれぞれのパターンにも 同じ料金を払っています。 (グループ化の振る舞いを維持しつつこのコストを削減するには 拡張正規表現 (?: ... ) を代わりに使います (訳注:Perl拡張というだけで /x 修飾子は不要)。) ですが $&, $` または $' を一度も使わなければ、 キャプチャのかっこをもたないパターンではこの不利益はなくなります。 この為、可能であれば $&, $', 及び $` を削除しましょう: しかしそれができなかった(そしてそれらを 本当に理解しているアルゴリズムがあるのであれば)、一旦 それらを使った時点でそれ以降は自由にそれらを使うことができます; なぜならあなたは(一度使った時点で)既に代価を払っているので。

Perl 5.16 では、$`, $&, $' のそれぞれが現れるかどうかを 個別に記録するという少し効率的な機構が導入され、 従って文字列の一部分だけコピーするようになりました。 Perl 5.20 では、全く遅くならない遙かに効率的なコピーオンライト機構を 導入しました。

この問題に対するもう一つの解決策として、Perl 5.10.0 からは $`, $&, $' と 等価だけれども /p (preseve) 修飾子を伴って実行されたマッチングが 成功した後でのみ定義されることが保証される ${^PREMATCH}、 ${^MATCH} 及び ${^POSTMATCH} を導入しました。 これらの変数の使用は利用したいときに perl に伝える必要がある代わりに、 等価な記号変数とは違い全体的なパフォーマンスの低下を引き起こしません。

Quoting metacharacters

(メタ文字のクォート)

Perl において逆スラッシュで表現されるメタ文字は \b, \w, \n のように英数字です。 他の正規表現言語とは異なり、英数字でない逆スラッシュ付きシンボルは ありません。 なので \\, \(, \), \[, \], \{, or \} といったものは 全てメタ文字ではなくリテラル文字です。 これはパターンで使いたい文字列の中で正規表現のメタ文字としての特殊な意味を 無効化またはクォートするための一般的な指標として使われてきました。 「単語」でない全ての文字は単にクォートします:

$pattern =~ s/(\W)/\\$1/g;

(もし use locale が有効であれば、これは現在のロケールに依存します。) 今日では特殊な意味を持つメタ文字を全て無効にするためには次のように quotemeta() 関数か \Q メタクォート エスケープシーケンスを使うのがより一般的です:

/$unquoted\Q$quoted\E$unquoted/

\Q 及び \E の間でリテラルとして逆スラッシュをおくとき (埋め込んだ変数の中でではない)には、二重にクォートした逆スラッシュの 埋め込みは困惑した結果となるでしょう。 もし \Q...\E でリテラルとしての逆スラッシュを使う 必要がある のなら、 "Gory details of parsing quoted constructs" in perlop を参照してください。

quotemeta() と \Q は "quotemeta" in perlfunc に完全に記述されています。

Extended Patterns

(拡張パターン)

Perl は awk や lex といった標準的なツールでは見られない機能のための 拡張構文も定義しています。 これらのほとんどの構文は対のかっことかっこ内の最初に疑問符の形をとります。 疑問符の後の文字で拡張を区別します。

疑問符は 1) それが古い正規表現で使われることは稀であること、そして 2) それを見かけると何が行われるのか本当に「疑問に」思って止まることから、 これのためと最小マッチング構成子のために選ばれました。 これが心理学です…。

(?#text)

コメント。 text は無視されます。 Perl は ")" を見つけると直ぐにコメントを閉じる点に注意してください; この為リテラル ")" をコメント中におくことはできません。 パターンの閉じ区切り文字がコメントに見えるようなものなら、 逆スラッシュでエスケープしなければなりません。

パターンの中にコメントを入れるもう一つの方法については "/x" を参照してください。

コメントは、エスケープシーケンスの途中を除いて、 どこにでも入れることができることに注意してください。 例:

qr/foo(?#comment)bar/'  # Matches 'foobar'

# The pattern below matches 'abcd', 'abccd', or 'abcccd'
qr/abc(?#comment between literal and its quantifier){1,3}d/

# The pattern below generates a syntax error, because the '\p' must
# be followed immediately by a '{'.
qr/\p(?#comment between \p and its property name){Any}/

# The pattern below generates a syntax error, because the initial
# '\(' is a literal opening parenthesis, and so there is nothing
# for the  closing ')' to match
qr/\(?#the backslash means this isn't a comment)p{Any}/

# Comments can be used to fold long patterns into multiple lines
qr/First part of a long regex(?#
  )remaining part/
(?adlupimnsx-imnsx)
(?^alupimnsx)

ゼロ以上のパターンマッチング修飾子; パターンの残りまたは(もしあれば)包含しているパターングループの残りで 有効にする(または "-" が前置されていれば解除する)。

これは設定ファイルから読む、引数から取る、どこかのテーブルで 指定されている箇所から動的生成されたパターンを使うときに特に便利です。 パターンの一部では大文字小文字を区別したいけれども別の箇所では 区別しないといったケースを考えてみます: 区別をしない場所では 単にパターンの先頭に (?i) を含めるだけです。 例えば:

$pattern = "foobar";
if ( /$pattern/i ) { }

# more flexible:

$pattern = "(?i)foobar";
if ( /$pattern/ ) { }

これらの修飾子は包含しているグループの最後で復元(restore)されます。 例えば、

( (?i) blah ) \s+ \g1

は blah に大文字小文字の区別なくマッチングし、 いくつかの空白、そして前の単語その物(大文字小文字の区別まで含めて!)に 再度マッチングします; ここではこのグループの外側で /x 修飾子を持ち、 /i 修飾子を持たないものとします。

これらの修飾子は囲まれたグループで呼び出された名前付き部分パターンには 持ち越されません。 言い換えると、((?i)(?&NAME)) のようなパターンは、 NAME パターンが大文字小文字を認識するのを変更しません。

修飾子は、同じスコープ内で同じ修飾子を含む この構文が後に出現すると上書きされるので:

/((?im)foo(?-m)bar)/

は、foobar のすべてに大文字小文字を区別せずにマッチングしますが、 foo 部分のみに /m の規則を使います。 "a" フラグは aa も上書きします; 同様に、aa も "a"を上書きします。 同じことが "x" と xx についても当てはまります。 したがって:

/(?-x)foo/xx

/x と /xx は両方とも、foo のマッチング中はオフになります。 そして:

/(?x)foo/x

foo にマッチングする間、/xx ではなく /x がオンになります。 (内部 (?x) はすでに /x の範囲内にあるので、結果は実質的に それらの和になり、/xx が生成されると誤って考えるかもしれません。 そうはなりません。) 同様に、(?xx-x)foo のようなことをすると、foo とマッチングする間 "x" の動作がすべてオフになります; 二つの "x" から一つ引いて一つの "x" が残るということにはなりません。

それらの変更のどれもセットでき、use reのスコープ内でグローバルに 全てのコンパイルされた正規表現に適用されます。"'/flags' mode" in re を見てください。

Perl 5.14から、"^"(キャレットか曲折アクセント)が"?"のすぐ 後ろにつくと、d-imnsx と同じになります。フラグ("d"以外の) をキャレットに続けることで、上書きできます。 ですが、マイナス記号は一緒に使えません。

"a", "d", "l", "p", "u" 修飾子は有効にできるのみで、 無効にはできない点、 そして "a", "d", "l", "u" 修飾子は 互いに排他であるという点で特別です: 一つを指定すると他のものの指定を解除し、構文中に最大で一つ (または二つの "a") だけが現れます。 従って 例えば (?-p) は use warnings の下でコンパイルされると 警告を発します; (?-d:...) と (?dl:...) は致命的エラーです。

パターン中のどこにあってもグローバルな影響があるという意味で "p" 修飾子が特別であることにも注意してください。

修飾子がない場合、これは何もせず (なので、生成されたコードでない場合、 なぜこれを指定したのでしょう?)、v5.30 から、 use re 'strict' の警告が出ます。

(?:pattern)
(?adluimnsx-imnsx:pattern)
(?^aluimnsx:pattern)

これはキャプチャではなくクラスタです; これは "()" のように部分式を グループ化しますが "()" が行うような後方参照は行いません。 つまり、

@fields = split(/\b(?:a|b|c)\b/)

次と同じフィールド区切り文字にマッチングしますが:

@fields = split(/\b(a|b|c)\b/)

(例えそれが捕捉グループを含むときの "split" in perlfunc の振る舞いで あったとしても) 区切り文字自身を余計なフィールドとして引き出しません。 また不要であれば文字のキャプチャを行わないため低コストです。

"?" 及び ":" の間の文字は (?adluimnsx-imnsx) のような フラグ修飾子として動作します。 例えば、

/(?s-i:more.*than).*million/i

はより冗長に書けば以下と等価です

/(?:(?s-i)more.*than).*million/i

これの中の () 構文は、/n が有効でない限りまだ捕捉することに 注意してください。

"(?adlupimnsx-imnsx)" 構文と同様、xx と "x"と同様に、aa と "a" は互いに上書きします。 これらは加法的ではありません。 したがって、(?xx-x:foo) のようなことを行うと、 foo にマッチングする間、"x" の動作がすべてオフになります。

Perl 5.14 から、"^"(キャレットあるいは曲折アクセント)が "?" のすぐ 後ろにつくと、d-imnsx と同じになります。 どのような肯定のフラグ("d" 以外の)もキャレットに続けることができます; そのため、

(?^x:foo)

は、以下と同じになります。

(?x-imns:foo)

キャレットは、Perlにこのクラスターはパターンの周りのどのフラグも 引き継がずに、代わりに、システムのデフォルトのフラグ (d-imnsx) を使うことを教えます; 指定されている他のフラグによって変更されます。

キャレットはより簡単なコンパイルされた正規表現の文字列化をすることが できます。次のものは

(?^:pattern)

キャレットとコロンの間には、デフォルトでないフラグがありません。 このような文字列化を見るテストには、したがって、システムのデフォルトのフラグを その中にハードコードする必要はなく、ただキャレットを使います。新しいフラグが Perlに追加されたら、キャレットを展開した意味はそれらのフラグのためのデフォルトを 含むように変更されます; そのために、このテストは、それでも何も変えずに 動くでしょう。

キャレットの後ろに否定のフラグを付けると、余計なフラグであるとして、 エラーになります。

(?^...)の覚え方: 新鮮な開始; 通常のキャレットの使い方は文字列の開始の マッチなので。

(?|pattern)

これは各代替分岐において捕捉グループを同じ番号から始める特殊な 属性を持っている、「ブランチリセット(branch reset)」パターンです。 これは perl 5.10.0 から提供されています。

捕捉グループは左から右へと番号が振られますが、この構成子の内側では 各分岐毎に番号はリセットされます。

各分岐内での番号付けは通常通りに行われ、この構成子の後に続くグループは その中で捕捉グループが一番多かった分岐のみが 格納されていたかのように番号付けされていきます。

この構成子はいくつかの代替マッチングの1つを捕捉したいときに便利です。

以下のパターンを想像してみてください。 下側の番号は内容の格納されるグループを示します。

# before  ---------------branch-reset----------- after
/ ( a )  (?| x ( y ) z | (p (q) r) | (t) u (v) ) ( z ) /x
# 1            2         2  3        2     3     4

名前付き捕捉と枝リセットパターンを組み合わせて使うときには注意してください。 名前付き捕捉は捕捉を保持している番号付きグループへの別名として 実装されていて、枝リセットパターンの実装を妨害します。 枝リセットパターンで名前付き捕捉を使うときは、それぞれの代替で 同じ名前を同じ順番で使うのが最良です:

/(?|  (?<a> x ) (?<b> y )
   |  (?<a> z ) (?<b> w )) /x

そうしないと驚くことになります:

"12" =~ /(?| (?<a> \d+ ) | (?<b> \D+))/x;
say $+{a};    # Prints '12'
say $+{b};    # *Also* prints '12'.

ここでの問題は、a という名前のグループと b という名前の が両方ともグループ $1 への別名であることです。

Lookaround Assertions

先読み及び後読みの言明(assertion)は $& の中に 含めない特定のパターンにマッチングするゼロ幅のパターンです。 正の言明はその部分パターンがマッチングしたときにマッチングし、 負の言明はその部分パターンが失敗したときにマッチングします。 後読みのマッチングは今のマッチング位置までのテキストにマッチングし、 先読みの言明は今のマッチング位置の先にあるテキストにマッチングします。

(?=pattern)
(*pla:pattern)
(*positive_lookahead:pattern)

ゼロ幅の正の先読み言明。 例えば、/\w+(?=\t)/ はタブが続く単語にマッチングしますが、タブは $& に含まれません。

(?!pattern)
(*nla:pattern)
(*negative_lookahead:pattern)

ゼロ幅の負の先読み言明。 例えば /foo(?!bar)/ は "bar" が続かない全ての "foo" にマッチングします。 しかしながら先読みと後読みは同じ物では ない点に注意してください。 これを後読みに使うことはできません。

もし "foo" が前にない "bar" を探しているのなら、 /(?!foo)bar/ では欲しい物にはなりません。 なぜなら (?!foo) は次のものが "foo" ではないとだけいっているのです -- そしてそうではなく、そこには "bar" があるので、"foobar" はマッチングします。 (後述の) 後方参照を使ってください。

(?<=pattern)
\K
(*plb:pattern)
(*positive_lookbehind:pattern)

ゼロ幅の正の後読みの言明。 例えば、/(?<=\t)\w+/ は タブに続く単語にマッチングしますが、タブは $& に 含まれません。

Perl 5.30 より前では、固定幅の後読みのみが動作しますが、このリリースからは、 実験的な機能として 1 から 255 文字の可変長を処理できます。 可変長の正の後読みの言明を使用すると、この機能は自動的に有効になります。

Perl 5.35.10 から、この構文の実験性は縮小され、実験的警告は この構文が捕捉かっこを含んでいる場合にのみ出力されます。 experimental::vlb カテゴリでオフにしない限り、パターンのコンパイル時に 警告が表示されます。 これは、可変長の正の後読みでの捕捉バッファの正確な内容はよく 定義されておらず、将来のリリースの perl で変更されるかもしれないことを 警告するものです。

現在の所、正の可変長後読みの内部で捕捉バッファを使うと、 結果は最長で、従って可能な一番左側のマッチングになります。 つまり:

"aax" =~ /(?=x)(?<=(a|aa))/
"aax" =~ /(?=x)(?<=(aa|a))/
"aax" =~ /(?=x)(?<=(a{1,2}?)/
"aax" =~ /(?=x)(?<=(a{1,2})/

これらは全て $1 に "aa" が入ることになります。 将来のリリースの perl でこの振る舞いは変わる可能性があります。

(Perl 5.10.0 から利用可能な) \K というこの構成子の特殊な形式もあります; これは正規表現エンジンに対してそれが \K までにマッチングした すべてのものを"取っておいて"、$& には含めないようにさせます。 これは事実上実験的でない任意の長さの可変長の後読みを提供します。

そして、以前のリリースや、255 文字より長い可変長後ろ読みを扱うのに使える テクニックがあります。 これは http://www.drregex.com/2019/02/variable-length-lookbehinds-actually.html に 記述されています。

/i の下では、いくつかの単一の文字が 2 または 3 の他の文字に マッチングすることに注意してください。 これは後読みを可変長にし、長さ 255 はマッチングの中の文字の最大数に 適用されます。 例えば、qr/\N{LATIN SMALL LETTER SHARP S}/i は並び "ss" に マッチングします。 あなたの後読み言明は /i の下で 127 個の Sharp S 文字を含むことは できますが、128 個目を追加するとコンパイルエラーが生成されます; これは 256 個連続した "s" 文字にマッチングすることがあるからです。

他の先読み及び後読みの言明の中での利用も可能ですが、その振る舞いは 今のところあまり定義されていません。

いくつかの理由から、\K は等価な (?<=...) 構成子より非常に効率的で、文字列の中で何かに続いている何かを効率的に 取り除きたいようなシチュエーションで効果的に役立ちます。 例えば

s/(foo)bar/$1/g;

次のようにより効率的に書き直せます

s/foo\Kbar//g;

非貪欲修飾子 "?" の使用は、この構文の中の捕捉グループの中では 想定される結果にならないかもしれません。

(?<!pattern)
(*nlb:pattern)
(*negative_lookbehind:pattern)

ゼロ幅の負の後読みの言明。 例えば /(?<!bar)foo/ は "bar" に続いていない任意の "foo" に マッチングします。

Perl 5.30 より前では、固定幅の後読みのみが動作しますが、このリリースからは、 実験的な機能として 1 から 255 文字の可変長を処理できます。 可変長の負の後読みの言明を使用すると、この機能は自動的に有効になります。

Perl 5.35.10 から、この構文の実験性は縮小され、実験的警告は この構文が捕捉かっこを含んでいる場合にのみ出力されます。 experimental::vlb カテゴリでオフにしない限り、パターンのコンパイル時に 警告が表示されます。 これは、可変長の負の後読みでの捕捉バッファの正確な内容はよく 定義されておらず、将来のリリースの perl で変更されるかもしれないことを 警告するものです。

現在のところ、負の可変長後読みの内部で捕捉バッファを使うと、 結果は想定したものではないかもしれません; 例えば:

say "axfoo"=~/(?=foo)(?<!(a|ax)(?{ say $1 }))/ ? "y" : "n";

これは次のものを出力します:

a
no

これはつじつまが合っていません; "a" が正しい位置にないので "ax" が 出力されるべきだからです。 もう一つの例としては:

say "yes: '$1-$2'" if "aayfoo"=~/(?=foo)(?<!(a|aa)(a|aa)x)/;

これは次のものを出力します:

yes: 'aa-a'

これらの例の両方がより妥当な出力をするように 将来のリリースの perl でこの振る舞いを変える可能性があります。

この構文がパターンを適切にマッチングまたは拒否していることには 自信があるので、未定義の振る舞いは厳密にマッチング中またはその後の 捕捉バッファの値に関連するもののみであるということに注意してください。

以前のリリースや、255 文字より長い可変長後ろ読みを扱うのに使える テクニックがあります。 これは http://www.drregex.com/2019/02/variable-length-lookbehinds-actually.html に 記述されています。

/i の下では、いくつかの単一の文字が 2 または 3 の他の文字に マッチングすることに注意してください。 これは後読みを可変長にし、長さ 255 はマッチングの中の文字の最大数に 適用されます。 例えば、qr/\N{LATIN SMALL LETTER SHARP S}/i は並び "ss" に マッチングします。 あなたの後読み言明は /i の下で 127 個の Sharp S 文字を含むことは できますが、128 個目を追加するとコンパイルエラーが生成されます; これは 256 個連続した "s" 文字にマッチングすることがあるからです。

非貪欲修飾子 "?" の使用は、この構文の中の捕捉グループの中では 想定される結果にならないかもしれません。

(?<NAME>pattern)
(?'NAME'pattern)

名前付の捕捉グループ。 通常のキャプチャかっこ () と同様ですがそれに加えて、 グループは(\g{NAME} のように) 様々な正規表現構文で名前で参照でき、 マッチングに成功したあと %+ を %- を使って名前によって アクセスできます。 %+ 及び %- ハッシュに関する詳細は perlvar を 参照してください。

複数の異なる捕捉グループが同じ名前を持っていたときには $+{NAME} はマッチングの中で一番左で定義されたグループを参照します。

二つの形式 (?'NAME'pattern) と (?<NAME>pattern) は 等価です。

補足: これを構成する記法は 類似していている .NET での正規表現と 同じですが、振る舞いは異なります。 Perl ではグループは名前がついているかどうかにかかわらず順番に番号が 振られます。 従って次のパターンにおいて

/(x)(?<foo>y)(z)/

$+{foo} は $2 と同じであり、$3 には .NET 正規表現に 慣れた人が予測するのとは異なり 'z' が含まれます。

現在のところ NAME はシンプルな識別子のみに制限されています。 言い換えると、/^[_A-Za-z][_A-Za-z0-9]*\z/ または その Unicode 拡張にマッチングしなければなりません (utf8 も参照); しかしロケールでは拡張されません (perllocale 参照)。

補足: Python や PCRE 正規表現エンジンになれたプログラマが 楽になるように、(?<NAME>pattern) の代わりに (?P<NAME>pattern) のパターンを使うことも できます; しかしこの形式は名前のデリミタとして シングルクォートの使用はサポートされていません。

\k<NAME>
\k'NAME'
\k{NAME}

名前による後方参照。 数値によってではなく名前によってグループを指定する点を除いて、名前による 後方参照と似ています。 もし同じ名前の複数のグループがあったときには現在のマッチングで 一番左に定義されているグループを参照します。

パターン内で (?<NAME>) によって定義されていない名前を 参照するとエラーになります。

三つの形式はどれも等価ですが、 \k{ NAME } では、前述の通り、 中かっこの隣の内部に空白を使うことができます。

補足: Python や PCRE 正規表現エンジンになれたプログラマが楽に なるように、\k<NAME> の代わりに (?P=NAME) のパターンを使うこともできます。

(?{ code })

警告: この機能を安全に使うには、その制限について理解することが必要です。 副作用を持つコードの実行は今後の正規表現エンジンの最適化の影響で バージョン間で必ずしも同じになるとは限らないでしょう。 これに関するさらなる情報については、"Embedded Code Execution Frequency" を 参照してください。

このゼロ幅の言明は埋め込まれた任意の Perl コードを実行します。 これは常に(正規表現として)成功し、返り値は $^R に設定されます。

リテラルなパターンでは、このコードは周りのコードと同時にパースされます。 このパターンの中では、 論理的にバランスが取れる閉じかっこが現れるまで、 制御文字は一時的に perl パーサーに渡されます。 これはリテラル文字列の中の配列添字表現の扱われ方と似ています; 例えば:

"abc$array[ 1 + f('[') + g()]def"

特に、中かっこはバランスが取れている必要はありません:

s/abc(?{ f('{'); })/def/

実行時に展開されてコンパイルされるパターンの中であっても、 リテラルなコードブロックは perl のコンパイル時に一度だけコンパイルされます; 次のものは "ABCD" と表示されます:

print "D";
my $qr = qr/(?{ BEGIN { print "A" } })/;
my $foo = "foo";
/$foo$qr(?{ BEGIN { print "B" } })/;
BEGIN { print "C" }

コードのテキストがソースコードの /pattern/ としてリテラルに現れるのではなく、 実行時の情報から派生したものであるパターンでは、 コードはパターンがコンパイルされるのと同時にコンパイルされ、 セキュリティー上の理由により、use re 'eval' が スコープ内になければなりません。 これは、実行可能なコード片を含む、ユーザーが提供したパターンを止めるためです。

use re 'eval' でこれを有効にする必要がある場合、 perl が対応しているなら、汚染チェックも有効にするべきです。 出来れば、Safe 区画の中で注意深く制限された評価を使ってください。 これら両方の機構に関する詳細については perlsec を参照してください。

パース、レキシカル変数スコープ、クロージャの観点から、

/AAA(?{ BBB })CCC/

はおよそ次のように振る舞います:

/AAA/ && do { BBB } && /CCC/

同様に、

qr/AAA(?{ BBB })CCC/

はおよそ次のように振る舞います:

sub { /AAA/ && do { BBB } && /CCC/ }

特に:

{ my $i = 1; $r = qr/(?{ print $i })/ }
my $i = 2;
/$r/; # prints "1"

(?{...}) ブロックの中では $_ は正規表現をマッチングさせている文字列を 参照します。 pos() を使ってこの文字列で現在のマッチング位置を知ることもできます。

コードブロックは、local や同様のローカル化の振る舞いの観点 ではなく レキシカル変数宣言の観点での新しいスコープを導入します。 従って、同じパターンで後に出てくるコードブロックは 前に出てきたローカル化された値が見えるままです。 これらの蓄積されたローカル化は、マッチングが成功するか、 言明がバックトラックした時点で巻き戻されます ("Backtracking" と比較してください)。 例えば:

$_ = 'a' x 8;
m<
   (?{ $cnt = 0 })               # Initialize $cnt.
   (
     a
     (?{
         local $cnt = $cnt + 1;  # Update $cnt,
                                 # backtracking-safe.
     })
   )*
   aaaa
   (?{ $res = $cnt })            # On success copy to
                                 # non-localized location.
 >x;

これはまず $cnt は 8 までインクリメントされます; それからバックトラックの間に、この値は 4 まで巻き戻され、 その値が $res に代入されます。 正規表現実行の最後では、$cnt は初期値である 0 に巻き戻ります。

この言明は条件として:

(?(condition)yes-pattern|no-pattern)

スイッチとして使われるかもしれません。 この方法で使われなかったのなら、code の評価結果は特殊変数 $^R に おかれます。 これはすぐに行われるので $^R は同じ正規表現内の他の ?{ code }) 言明で使うことができます。

この $^R への設定は適切にlocal化されるため、$^R の古い値は バックトラックしたときには復元されます; "Backtracking" を 見てください。

特殊変数 $^N は、一緒にネストしたかっこの数を数えずに一つ前の マッチング結果を捕捉するコードブロックで特に有用です。 例えば:

$_ = "The brown fox jumps over the lazy dog";
/the (\S+)(?{ $color = $^N }) (\S+)(?{ $animal = $^N })/i;
print "color = $color, animal = $animal\n";

この構文を使うと、グローバルにパターンの一部の最適化を無効化し、 結果としてパターンの実行は遙かに遅くなることがあります。 この構文の楽観的形式を作るために ? ブロックではなく * ブロックを使ってください。 (*{ ... }) はどの最適化も無効化しません。

(*{ code })

これは、正規表現エンジンの どの 最適化も全く無効化しないことを除けば、 (?{ code }) と正確に同じです。 これがどれくらいの頻度で実行されるかは perl リリースによって異なります。 マッチングに失敗した場合は、全く実行されないこともあります。

(??{ code })

警告: この機能を安全に使うには、その制限について理解することが必要です。 副作用を持つコードの実行は今後の正規表現エンジンの最適化の影響で バージョン間で必ずしも同じになるとは限らないでしょう。 これに関するさらなる情報については、"Embedded Code Execution Frequency" を 参照してください。

これは「先送りされた」正規部分表現です。 これは上述の (?{ code }) コードブロックと 正確に 同じように 振る舞いますが、その返り値は、$^R に代入されるのではなく、 パターンとして扱われ、 それが文字列の場合はコンパイルされ(あるいは qr// オブジェクトの場合は そのまま使われ)、それからこの構文の代わりに挿入されていたかのように マッチングします。

副パターンのマッチングの間、副マッチングの間有効な独自の捕捉グループを 持ちますが、一旦制御が主パターンに戻ると捨てられます。 例えば、次のマッチングは、内側のパターンで "B" と "BB" にマッチングし、 一方外側のパターンは "A" を捕捉します;

my $inner = '(.)\1';
"ABBA" =~ /^(.)(??{ $inner })\1/;
print $1; # prints "A";

内側のパターンが外側で定義された捕捉グループを参照する方法は ないことに注意してください。 (コードブロック自体は、内側のパターンの捕捉グループを参照するために $1 などを使えます。) 従って:

('a' x 100)=~/(??{'(.)' x 100})/

これはマッチング します が、終了時に $1 は設定 されません。

次のパターンはかっこで囲まれたグループにマッチングします:

$re = qr{
           \(
           (?:
              (?> [^()]+ )  # Non-parens without backtracking
            |
              (??{ $re })   # Group with matching parens
           )*
           \)
        }x;

同じタスクを行う別の、より効率的な方法として (?PARNO) も 参照してください。

入力を消費しない多すぎる先送りされた正規表現を実行するのも 致命的なエラーとなります。 これが起きる深度は perl にコンパイルされているので、カスタムビルドで これを変更できます。

この構文を使うと、グローバルにパターンの一部の最適化を無効化し、 結果としてパターンの実行は遙かに遅くなることがあります。

(?PARNO) (?-PARNO) (?+PARNO) (?R) (?0)

再帰部分パターン。 現在のパターンの与えられた捕捉バッファの内容を独立した 部分パターンとして扱って、 文字列の現在の位置でマッチングしようとします。 後方参照のような呼び出し元からの捕捉状態に関する情報は 部分パターンで利用可能ですが、 部分パターンで設定された捕捉バッファは呼び出し元には見えません。

(??{ code }) と似ていますが、 コードの実行を伴なわず、返されたパターン文字列をコンパイルもしません; その代わりに、指定された捕捉グループに含まれる現在のパターンの一部を、 現在の位置でマッチングすべき独立したパターンとして扱います。 また、捕捉バッファの扱いも異なります; (??{ code }) と異なり、再帰パターンはその呼び出し元のマッチング 状態にアクセスすることが出来るので、安全に後方参照を使えます。

PARNO はその値が再帰させる捕捉グループのかっこ番号を反映する一連の 数字からなります(そして 0 からは始まりません)。 (?R) はパターン全体の最初から再帰します。 (?0) は (?R) の別の構文です。 PARNO の前に正符号または負符号がついていた場合には相対的な位置として 使われます; 負数であれば前の捕捉グループを、正数であれば続く 捕捉グループを示します。 従って (?-1) は一番最近宣言されたグループを参照し、(?+1) は次に 宣言されるグループを参照します。 相対再帰の数え方は相対後方参照とは違って、グループに閉じていない再帰は 含まれることに注意してください,

以下のパターンは引数にバランスのとれたかっこを含んでいるかもしれない関数 foo() にマッチングします。

$re = qr{ (                   # paren group 1 (full function)
            foo
            (                 # paren group 2 (parens)
              \(
                (             # paren group 3 (contents of parens)
                (?:
                 (?> [^()]+ ) # Non-parens without backtracking
                |
                 (?2)         # Recurse to start of paren group 2
                )*
                )
              \)
            )
          )
        }x;

このパターンを以下のように使うと,

'foo(bar(baz)+baz(bop))'=~/$re/
    and print "\$1 = $1\n",
              "\$2 = $2\n",
              "\$3 = $3\n";

次のように出力されます:

$1 = foo(bar(baz)+baz(bop))
$2 = (bar(baz)+baz(bop))
$3 = bar(baz)+baz(bop)

もし対応する捕捉グループが定義されていなかったときには致命的な エラーとなります。 入力を消費しない深い再帰も致命的なエラーとなります。 これが起きる深度は perl にコンパイルされているので、カスタムビルドで これを変更できます。

以下に後で使うパターンのために、qr// 構成子内で再帰を埋め込むのに 負数の参照を使うとどのように容易になるかを示します:

my $parens = qr/(\((?:[^()]++|(?-1))*+\))/;
if (/foo $parens \s+ \+ \s+ bar $parens/x) {
   # do something here...
}

補足 このパターンは PCRE や Python での等価な形式の構成子と同じように 振る舞うわけではありません。 Perl においては再帰グループの中にバックトラックできますが、PCRE や Python ではグループへの再帰はアトミックに扱われます。 また、修飾子はコンパイル時に解決されるので、(?i:(?1)) や (?:(?i)(?1)) といった構成子はサブパターンがどのように処理されたかに 影響されません。

(?&NAME)

名前付きサブパターンへの再帰。 再帰するかっこが名前によって決定される点以外は (?PARNO) と等価です。 もし複数のかっこで同じ名前を持っていた場合には一番左のものに再帰します。

パターンのどこでも宣言されていない名前の参照はエラーになります。

補足: Python または PCRE 正規表現エンジンに慣れているプログラマが 簡単になるように (?&NAME) の代わりに (?P>NAME) を 使うこともできます。

(?(condition)yes-pattern|no-pattern)
(?(condition)yes-pattern)

条件付き式。 condition が真なら yes-pattern にマッチングし、さもなければ no-pattern にマッチングします。 パターンがなければ常にマッチングします。

(condition) は次のいずれかです:

an integer in parentheses

(かっこでくるまれた数値)

(対応するかっこ対がマッチングしたときに有効);

a lookahead/lookbehind/evaluate zero-width assertion;

(先読み/後読み/ゼロ幅で評価される言明)

a name in angle brackets or single quotes

(角かっこもしくはシングルクォートでくるまれた名前)

(その名前のグループがマッチングしたときに有効);

the special symbol (R)

(特殊なシンボル (R))

(再帰または eval 内で評価されているときに真)。 加えて "R" には数字(対応するグループ内で再帰しているときに真)、もしくは &NAME、こちらの時はその名前のグループで再帰している時にのみ真、を 続けることもできます。

可能な述語の要約を次に示します:

(1) (2) ...

その番号の捕捉グループが何かにマッチングしたかどうかを調べます。 完全な文法: (?(1)then|else)

(<NAME>) ('NAME')

その名前のグループが何かにマッチングしたかどうかを調べます。 完全な文法: (?(<name>)then|else)

(?=...) (?!...) (?<=...) (?<!...)

パターンがマッチングするか (あるいは "!" 版はマッチングしないか) を チェックします。 完全な文法: (?(?=lookahead)then|else)

(?{ CODE })

コードブロックの返り値を条件として扱います。 完全な文法: (?(?{ CODE })then|else)

この構文を使うと、グローバルなパターンマッチングの性能に影響を与えます。 (*{ CODE }) を使うことを考慮してください。

(*{ CODE })

コードブロックの返り値を条件として扱います。 完全な構文: (?(*{ CODE })then|else)

(R)

式が再帰の中で評価されているかどうかを調べます。 完全な文法: (?(R)then|else)

(R1) (R2) ...

式がその n 番目の捕捉グループのすぐ内側で実行されているかどうかを調べます。 これは次のものと等価な正規表現です

if ((caller(0))[3] eq 'subname') { ... }

言い換えると、これは完全な再帰スタックを調べるわけではありません。

完全な文法: (?(R1)then|else)

(R&NAME)

(R1) と似ていて、この述語はその名前のつけられている一番左のグループの すぐ内側で実行されているかどうかをしらべます(一番左は (?&NAME) と 同じロジックです）。 これは完全なスタックを調べずに、一番内部のアクティブな再帰の名前だけを 調べます。 完全な文法: (?(R&name)then|else)

(DEFINE)

この場合において、yes-pattern は直接は実行されず、no-pattern は 許可されていません。 (?{0}) と似ていますがより効率的です。 詳細は次のようになります。 完全な文法: (?(DEFINE)definitions...)

例:

m{ ( \( )?
   [^()]+
   (?(1) \) )
 }x

これはかっこ以外からなる固まりかかっこの中にあるそれらにマッチングします。

(DEFINE) は特殊な形式で、これはその yes-pattern を直接は実行せず、 no-pattern も許可していません。 これは再帰メカニズムの中で利用することでのみ実行されるサブパターンの 定義を許可します。 これによって、選んだパターンと一緒に正規表現ルールを定義できます。

この使い方において、DEFINE ブロックはパターンの最後におくこと、 そしてそこで定義する全てのサブパターンに名前をつけることが 推奨されています。

また、この方法によって定義されるパターンはその処理に関してそんなに 賢い訳ではないので効率的でないことに価値は何もないでしょう。

これをどのように使うかの例を次に示します:

/(?<NAME>(?&NAME_PAT))(?<ADDR>(?&ADDRESS_PAT))
 (?(DEFINE)
   (?<NAME_PAT>....)
   (?<ADDRESS_PAT>....)
 )/x

再帰の内側でマッチングした捕捉グループは再帰から戻った後には アクセスできないため、余分な捕捉グループの レイヤは必要な点に注意してください。 従って $+{NAME} が定義されていても $+{NAME_PAT} は定義されません。

最後に、DEFINE ブロックの内側で作られた副パターンは捕捉の絶対及び 相対番号で数えることに注意してください; 従ってこうすると:

my @captures = "a" =~ /(.)                  # First capture
                       (?(DEFINE)
                           (?<EXAMPLE> 1 )  # Second capture
                       )/x;
say scalar @captures;

1 ではなく 2 を出力します。 これは、qr// 演算子で定義をコンパイルして、 後で他のパターンの中で展開することを意図している場合に特に重要です。

(?>pattern)
(*atomic:pattern)

「独立した」部分式、スタンドアロンの pattern がその場所に 固定されてマッチングする部分文字列にマッチングし、 その文字列以外にはなにもマッチングしません。 この構成子は他の"外部"マッチングになる最適化に便利です; なぜならこれはバックトラックしないためです("Backtracking" 参照)。 これは "できる限りを取り込んで、後は戻らない"セマンティクスが 必要な場所でも便利です。

例: ^(?>a*)ab は何もマッチングしません、 なぜなら (?>a*) (前述のように、文字列の開始で固定されます)は 文字列のはじめにある全ての文字 "a" にマッチングし、 ab のマッチングのための "a" を残さないためです。 対照的に、a*ab は a+b と同じようにマッチングします、 これはサブグループ a* のマッチングは次のグループ ab の影響を 受けるためです ("Backtracking" 参照)。 特に、a*ab の中の a* は単独の a* より短い文字にマッチングします; これによって最後のマッチングが行えるようになります。

(?>pattern) は、一旦マッチングしたら、全くバックトラックを 無効にしません。 未だこの構文の前までバックトラックする可能性はありますが、構文の中に バックトラックすることはありません。 従って ((?>a*)|(?>b*))ar は "bar" にマッチングするままです。

(?>pattern) と似た効果は (?=(pattern))\g{-1} でも達成できます。 これは単独の a+ と同じ部分文字列にマッチングし、それに続く \g{-1} が マッチングした文字列を消費します; これはゼロ幅の言明が (?>...) の類似を作るためです。 (この2つの構成子は後者はグループをキャプチャするため、 それに続く正規表現の残りで後方参照の順序をずらす点で違いがあります。)

次のパターンを考えてみてください:

m{ \(
      (
        [^()]+           # x+
      |
        \( [^()]* \)
      )+
   \)
 }x

これは 2 段階までのかっこでくるまれた空でないグループに効率的に マッチングします。 しかしながら、これはマッチングするグループがなかったときに長い 文字列においてはほとんど永遠に戻りません。 これは長い文字列をいくつかの部分文字列に分解する方法がいくつもあるためです。 これは (.+)+ が行うことでもあり、(.+)+ は このパターンの 部分パターンと似ています。 このパターンが ((()aaaaaaaaaaaaaaaaaa にはマッチングしないことを どうやって検出するかを少し考えてみましょう、 しかしここでは余計な文字を2倍にしてみます。 この指数的なパフォーマンスはプログラムのハングアップとして表面化します。 しかしながら、このパターンに小さな変更をいれてみます,

m{ \(
      (
        (?> [^()]+ )        # change x+ above to (?> x+ )
      |
        \( [^()]* \)
      )+
   \)
 }x

これは上で行っているように (?>...) マッチングを 使っています(これは自身で確認してみるとよいでしょう)が、 しかし 1000000 個の "a" からなる似た文字列を使ってみると、4 分の 1 の 時間で完了します。 しかしながら、この構文は量指定子が引き続くと現在のところ use warnings プラグマまたは -w スイッチの影響下では "matches null string many times in regex" (正規表現において空文字列に何回もマッチングしました) という警告を 発するでしょう。

パターン (?> [^()]+ ) のような簡単なグループでは、 比較できる影響は [^()]+ (?! [^()] ) のように負の先読みの 言明で達することができます。 これは 1000000 個の "a" からなる文字列において 4 倍だけ遅くなります。

最初の ()* のような正しい解法となる多くの状況において 「できる限りを取り込んで、後は戻らない」セマンティクスが望まれるものです。 任意で(水平)空白の続く "#" によって区切られるコメントのついたテキストの パースを考えてみます。 その出現と対比して、#[ \t]* はコメント区切りにマッチングする 正しい部分式ではありません; なぜならパターンの残りがそれのマッチングを 作ることができるのならそれはいくつかの空白を「あきらめてしまう」ためです。 正しい回答は以下のいずれかです:

(?>#[ \t]*)
#[ \t]*(?![ \t])

例えば空でないコメントを $1 に取り込むためには次のいずれかを使います:

/ (?> \# [ \t]* ) (        .+ ) /x;
/     \# [ \t]*   ( [^ \t] .* ) /x;

選んだ方はコメントの仕様をより適切に反映した式に依存します。

いくつかの書籍においてこの構成子は「アトミックなマッチング」 または「絶対最大マッチング(possessive matching)」と呼ばれます。

絶対最大量指定子はそれが適用されている項目をこれらの構成子の中に置くことと 等価です。 以下の等式が適用されます:

Quantifier Form     Bracketing Form
---------------     ---------------
PAT*+               (?>PAT*)
PAT++               (?>PAT+)
PAT?+               (?>PAT?)
PAT{min,max}+       (?>PAT{min,max})

ネストした (?>...) 構文は、 たとえ一見何もしないように見えても、何もしないものではありません。 これは、ネストした (?>...) は、なければ起きるかもしれない 内部バックトラックを制限するからです。 例えば:

"abc" =~ /(?>a[bc]*c)/

これはマッチングしますが:

"abc" =~ /(?>a(?>[bc]*)c)/

これはマッチングしません。

(?[ ])

"Extended Bracketed Character Classes" in perlrecharclass を参照してください。

Backtracking

(バックトラック)

補足: このセクションでは正規表現の振る舞いに関する抽象的な概要を 説明します。 可能な代替におけるマッチングの選択におけるルールの厳密な(そして複雑な) 説明は "Combining RE Pieces" を参照してください。

正規表現マッチングの基本的な機能には最近(必要であれば)すべての強欲でない 正規表現量指定子、つまり、 "*", *?, "+", +?, {n,m}, {n,m}? で 使われる バックトラッキング と呼ばれる概念が含まれています。 バックトラックはしばしば内部で最適化されますが、ここで概説する一般的な 原則は妥当です。

正規表現がマッチングする時、その正規表現の一部ではなく、 全体 がマッチングしなければなりません。 そのためもしパターンの前半にパターンの後半部分を失敗させてしまう 量指定子が含まれているのなら、マッチングングエンジンはいったん戻って 開始位置を再計算します -- これがバックトラッキングと呼ばれる所以です。

バックトラッキングの例をあげてみます: "Food is on the foo table." という 文字列の中で "foo" に続く単語を取り出してください:

$_ = "Food is on the foo table.";
if ( /\b(foo)\s+(\w+)/i ) {
    print "$2 follows $1.\n";
}

マッチングが実行される時、正規表現の最初の部分 (\b(foo)) は開始文字列の 右側で可能なマッチングを探します; そして $1 に "Foo" をロードします。 しかし、すぐにマッチングエンジンは $1 に保存した "Foo" の後に空白が 無いことを見つけ、それが失敗だったことを検出して仮にマッチングさせた 場所の 1 文字後から開始します。 この時次の "foo" の出現まで進みます。 この時に正規表現は完全にマッチングし、予測した出力 "table follows foo." を 得ます。

最小マッチングが役立つこともあります。 "foo" と "bar" の間の全てにマッチングしたいと考えてください。 最初に、次のように書くかもしれません:

$_ =  "The food is under the bar in the barn.";
if ( /foo(.*)bar/ ) {
    print "got <$1>\n";
}

しかしこれは考えたのと違う結果となるでしょう:

got <d is under the bar in the >

これは .* が貪欲であり、そのために 最初の "foo" と 最後の "bar" の間にある全てを取り出してしまいます。 次に "foo" とその後の最初の "bar" の間にあるテキストを取り出す 最小マッチングを使ったもっと効率的な方法を示します:

if ( /foo(.*?)bar/ ) { print "got <$1>\n" }
  got <d is under the >

別の例も出してみます。 文字列の最後にある数字にマッチングさせて、そのマッチングの前の部分も 保持させてみましょう。 そしてあなたは次のように書くかもしれません。

$_ = "I have 2 numbers: 53147";
if ( /(.*)(\d*)/ ) {                                # Wrong!
    print "Beginning is <$1>, number is <$2>.\n";
}

これは全く動作しません、なぜなら .* は貪欲であり文字列全体を 飲み込んでしまいます。 \d* は空の文字列にマッチングできるので正規表現は完全に正常に マッチングします。

Beginning is <I have 2 numbers: 53147>, number is <>.

動作しない主なバリエーションをあげておきます:

$_ = "I have 2 numbers: 53147";
@pats = qw{
    (.*)(\d*)
    (.*)(\d+)
    (.*?)(\d*)
    (.*?)(\d+)
    (.*)(\d+)$
    (.*?)(\d+)$
    (.*)\b(\d+)$
    (.*\D)(\d+)$
};

for $pat (@pats) {
    printf "%-12s ", $pat;
    if ( /$pat/ ) {
        print "<$1> <$2>\n";
    } else {
        print "FAIL\n";
    }
}

これらの結果は次のようになります:

(.*)(\d*)    <I have 2 numbers: 53147> <>
(.*)(\d+)    <I have 2 numbers: 5314> <7>
(.*?)(\d*)   <> <>
(.*?)(\d+)   <I have > <2>
(.*)(\d+)$   <I have 2 numbers: 5314> <7>
(.*?)(\d+)$  <I have 2 numbers: > <53147>
(.*)\b(\d+)$ <I have 2 numbers: > <53147>
(.*\D)(\d+)$ <I have 2 numbers: > <53147>

このように、これは幾分トリッキーです。 重要なのは正規表現は成功の定義を定める主張の集合にすぎないことを 認識することです。 特定の文字列で成功となる定義には 0, 1 または複数の違ったやり方が存在します。 そしてもし成功する複数の方法が存在するのなら成功したうちのどれが目的と するものなのかを知るためにバックトラッキングを理解しておく必要があります。

先読みの言明及び否定を使っている時にはこれはますますトリッキーになります。 "123" が後ろに続かない数字以外の列を探したいと考えてみてください。 あなたは次のように書くかもしれません。

$_ = "ABC123";
if ( /^\D*(?!123)/ ) {                # Wrong!
    print "Yup, no 123 in $_\n";
}

ですがこれはマッチングしません; 少なくともなってほしかったようには。 これは文字列の中に 123 がないことを要求します。 よくある予想と比較してなぜパターンがマッチングするのかのわかりやすい 説明を次に示します:

$x = 'ABC123';
$y = 'ABC445';

print "1: got $1\n" if $x =~ /^(ABC)(?!123)/;
print "2: got $1\n" if $y =~ /^(ABC)(?!123)/;

print "3: got $1\n" if $x =~ /^(\D*)(?!123)/;
print "4: got $1\n" if $y =~ /^(\D*)(?!123)/;

これは次の出力となります

2: got ABC
3: got AB
4: got ABC

テスト 3 はテスト 1 のより一般的なバージョンなのでそれが失敗すると 考えたかもしれません。 この 2 つの重要な違いは、テスト 3 には量指定子(\D*)が含まれているので テスト1ではできなかったバックトラッキングを行うことが できるところにあります。 ここであなたは「$x のはじめで 0 個以上の非数字があるから 123 ではない 何かを得られるんじゃないの？」と聞くでしょう。 このパターンマッチングが \D* を "ABC" に展開させると これはパターン全体を失敗させることになります。

探索エンジンは最初に \D* を "ABC" にマッチングさせます。 そして (?!123) を "123" にマッチングさせ、これは失敗します。 けれども量指定子 (\D*) が正規表現の中で使われているので、探索エンジンは バックトラックしてこの正規表現全体をマッチングさせるように異なるマッチングを 行うことができます。

このパターンは本当に、本当に 成功したいので、これは標準的なパターンの 後退再試行を行い、この時に \D* を "AB" のみに展開させます。 そして確かに "AB" の後ろは "123" ではありません。 "C123" は十分満たしています。

これは言明と否定の両方を使うことで処理することができます。 $1 の最初の部分は数字が続きかつそれは "123" ではないことを宣言します。 先読みはゼロ幅の式なのでそれがマッチングした文字列を全く消費しないことを 思い出してください。 そしてこれを必要なものを生成するように書き換えます; つまり、5 のケースでは失敗し、6 のケースは成功します:

print "5: got $1\n" if $x =~ /^(\D*)(?=\d)(?!123)/;
print "6: got $1\n" if $y =~ /^(\D*)(?=\d)(?!123)/;

6: got ABC

言い換えると、このそれぞれの次にある2つのゼロ幅の言明はちょうど何か組み込みの 言明を使ったかのようにそれらがともに AND されているかのように動作します: /^$/ は行の始まりで且つ同時に行の終了でる時にのみマッチングします。 もっと深部での真実は、併記された正規表現は垂直線を使って明示的に OR を 書いたとき以外は常に AND を意味します。 /ab/ は、"a" がゼロ幅の言明ではなく 1 文字幅の言明なので異なる場所で マッチングが行われはしますが、 "a" にマッチング且つ(そして) "b" に マッチングということを意味します。

警告: 特にコンパイルされた正規表現はマッチングのために できる限りのバックトラックを非常に多くの回数行うので 解くために指数的な時間を必要とすることがあります。 例えば、正規表現エンジンの内部で行われる最適化がなかったときには、次の評価は 尋常じゃないくらい長時間かかります:

'aaaaaaaaaaaa' =~ /((a{0,5}){0,5})*[c]/

そしてもし内側のグループで 0 から 5 回にマッチングを制限する代わりに "*" を使うと、永久に、またはスタックを使い果たすまで 実行し続けることになります。 その上、これらの最適化は常にできるわけではありません。 例えば、外側のグループで "*" の代わりに {0,5} を使ったときに、現在の 最適化は適用されません; そしてマッチングが終わるまでの長い時間が 必要になります。

そのような野獣のような最適化のためのパワフルなツールとして 知られているものに、「独立グループ」があります; これはバックトラックを 行いません ("(?>pattern)" を参照)。 ゼロ幅の先読み/後読みの言明も「論理的な」文脈なので末尾のマッチングを バックトラックしません: マッチングが関連して考慮されるかどうかだけです。 先読みの言明の副作用がそれに続くマッチングに影響する かもしれない 例は、 "(?>pattern)" を参照してください。

Script Runs

(用字並び)

用字連続は基本的には、ラテン文字やギリシャ文字のような、 全て同じ Unicode 用字 ("Scripts" in perlunicode 参照) からの文字の並びです。 ほとんどの場所では、なりすまし攻撃でない限り、一つの単語は決して複数の用字で 書かれることはありません。 悪名高い例は次のものです:

paypal.com

これらの文字は全て (直前のように) ラテン文字かもしれませんし、 (ドットを除いて) 全てキリル文字かもしれませんし、二つの混合かも しれません。 インターネットアドレスの場合、.com はラテン文字で、 キリル文字は混合となり用字連続ではありません。 誰かがこのようなリンクをクリックすると、本当の Paypal ウェブサイトに 移動せず、攻撃者がその人から機微情報を集めようとするために 見た目が似たものを細工するかもしれません。

Perl 5.28 から、用字連続でない文字列を簡単に検出できるようになりました。 単にパターンを次のどちらかのような形で囲みます:

(*script_run:pattern)
(*sr:pattern)

pattern がマッチングした後に次のことが起きます; その中の全ての文字が同じ用字であるという追加の条件が課されます (後述する例外参照)。 これが真でない場合、全て同じ用字でマッチングする何かが見つかるか、 全ての可能性がなくなるまで、バックトラッキングが発生します。 これは多くのバックトラッキングを引き起こしますが、一般的に、 悪意のある入力だけがこれを引き起こします; しかし、この速度低下はサービス不能攻撃を引き起こすかもしれません。 事情が許すなら、バックトラッキングの量を減らすためにパターンを アトミックに書くのが最善です。 これはおそらくあなたが求めているものなので、次のように書く代わりに:

(*script_run:(?>pattern))

次のどちらかのように書けます:

(*atomic_script_run:pattern)
(*asr:pattern)

("(?>pattern)" を参照してください。)

台湾、日本、韓国では、独自の用字からの文字と中国語を基にした文字が 混合している文章は一般的です。 Perl はこのような混合を許すために Unicode の UTS 39 (https://unicode.org/reports/tr39/) Unicode Security Mechanisms に 従います。 例えば、日本語用字のカタカナとひらがなは実際には一部の中国語文字と共に 混合しているのが一般的なので、Perl によって単一の用字連続として 扱われます。

10 進数字とマッチングするために使われる規則は少し厳密になります。 多くの用字は、西洋の 0 から 9 と等価な独自の数字の集合を持ちます。 アラビア文字のように、複数の集合を持つものもあります。 用字連続が考慮される文字列については、全ての数字は、遭遇した 最初の数字で決定されるものと同じ集合でなければなりません。 例えば:

qr/(*script_run: \d+ \b )/x

これはマッチングした数字が全て同じ集合の 10 文字からであることを保証します。 見た目と異なる値を持つ、異なる用字からの数字に見えるものを得ることは ありません。

Unicode には特別に扱われる三つの疑似用字があります。

"Unknown" は、意味がまだ決定されていない符号位置に適用されます。 Perl は現在の所それらのうちの一つの符号位置からなる 1 文字文字列を 用字連続としてマッチングします。 しかし、それらの一つを含む 2 符号位置以上の文字列は用字連続として 扱われません。

"Inherited" は、一部のアクセントのように、他のものを変更する文字に 適用されます。 これらは元の文字の用字として扱われるので、 マッチングしない用字連続になることはありません。

もう一つは "Common" です。 これはほとんど句読点、絵文字、数学と音楽で使われる文字、 ASCII の数字 0 から 9、およびそれらの全角版 で構成されます。 これらの文字は世界中の多くの用字の文章で混ぜられて現れます。 これらもまた、マッチングしない用字連続にはなりません。 しかし他の幼児と同様、連続の中の全ての数字は 10 の同じ集合からの ものでなければなりません。

この構文は捕捉しません。 捕捉したい場合は、その pattern にかっこを追加できます。 "(*ACCEPT) (*ACCEPT:arg)" を使う予定で、用字連続チェックを 迂回しない場合は、こうすることが必要でしょう。

この機能の基礎としては、UTS 39 (https://unicode.org/reports/tr39/) によって 修正された Script_Extensions 特性が使われます。

まとめると:

  • 全ての長さ 0 または長さ 1 の並びは用字連続です。

  • より長い並びは、以下の条件の 全て に合致した場合にのみ用字連続です:

    1. 並びの中に Script_Extension 特性が Unknown の符号位置がない。

      これは現在の所、並びの中の全ての符号位置は、私用領域やサロゲート 符号位置でない、文字として Unicode によって割り当てられていることを 意味します。

    2. 並びの全ての文字は、Common 用字と Inherited 用字とその他の単一の用字の いずれかである。

      文字の用字は、前述の UTS 39 (https://unicode.org/reports/tr39/) で 修正された Script_Extensions 特性によって決定されます。

    3. 並びの全ての 10 進数字は 10 の連続した数字の同じブロックからの ものである。

Special Backtracking Control Verbs

(特殊なバックトラック制御記号)

これらの特殊なパターンは (*VERB:arg) という一般形式を持っています。 特に記されていない限り、arg はオプションです; 一部の場合では、 これは必須です。

引数を許可する特殊バックトラック制御記号を含んでいる全てのパターンは、 それが実行されると現在のパッケージの $REGERROR 及び $REGMARK 変数を 設定する特殊な振る舞いを持っています。 これが行われる時以下の手順が適用されます。

失敗時には $REGERROR 変数には、記号がマッチングの失敗の中で 使われていたのならその記号パターンの arg の値がセットされます。 もしパターンの arg 部分が省略されていたときには、$REGERROR には 最後に実行された (*MARK:NAME) パターンの名前、またはそれもなければ 真に設定されます。 また、$REGMARK 変数は偽に設定されます。

マッチングの成功時には、$REGERROR 変数は偽に設定され、$REGMARK 変数には 最後に実行された (*MARK:NAME) パターンの名前が設定されます。 詳細は (*MARK:NAME) 記号の説明を参照してください。

補足: $REGERROR 及び $REGMARK は $1 や他の多くの 正規表現関連の変数のようにマジック変数ではありません。 それらはスコープ内にローカルにならず、読み込み専用でもありませんが、 $AUTOLOAD と似た揮発するパッケージ変数です。 これらには正規表現が 実行される コードを含むパッケージが設定されます (コンパイルされるコードではありません; これは異なることがあります)。 必要な場合は、正規表現を実行する前に これらの変数の変更を特定のスコープ内に留めるために local を使えます。

もしパターンが引数を許可する特殊バックトラック記号を含んでなかった場合には、 $REGERROR 及び $REGMARK は全く触られません。

Verbs

(動詞)

(*PRUNE) (*PRUNE:NAME)

このゼロ幅のパターンは失敗でバックトラックしてきたときに現在の位置で バックトラックツリーを刈り取ります。 /A (*PRUNE) B/ というパターンで A も B も複雑なパターンである時を 考えてみます。 (*PRUNE) に達するまでは、A はマッチングに必要であれば バックトラックしていきます。 しかし一旦そこに達して B に続くと、そこでも必要に応じてバックトラックします; しかしながら、B がマッチングしなかったときにはそれ以上のバックトラックは 行われず、現在の開始位置でのマッチングはすぐに失敗します。

次の例ではパターンに対してマッチングできるすべての文字列を(実際には マッチングさせずに)数えます。

'aaab' =~ /a+b?(?{print "$&\n"; $count++})(*FAIL)/;
print "Count=$count\n";

この出力:

aaab
aaa
aa
a
aab
aa
a
ab
a
Count=9

次のように数える前に (*PRUNE) を加えると

'aaab' =~ /a+b?(*PRUNE)(?{print "$&\n"; $count++})(*FAIL)/;
print "Count=$count\n";

バックトラックを妨げ次のように各開始位置での一番長いマッチング文字列を 数えるようになります:

aaab
aab
ab
Count=3

1つのパターン内で (*PRUNE) 言明はいくつでも使えます。

バックトラックを制御する他の方法として "(?>pattern)" 及び絶対最大量指定子も参照してください。 幾つかのケースにおいては (*PRUNE) の利用は機能的な違いなしに (?>pattern) で置き換えることができます; しかしながら (*PRUNE) は (?>pattern) 単独では表現できないケースを扱うために使えます。

(*SKIP) (*SKIP:NAME)

このゼロ幅のパターンは *PRUNE と似ていますが、実行されている (*SKIP) パターンまでにマッチングしたテキストはこのパターンの どのマッチングの一部にもならないことを示します。 これは正規表現エンジンがこの位置まで失敗として「スキップ」して(マッチングに 十分な空間があれば)再びマッチングを試みることを効率的に意味します。

(*SKIP:NAME) パターンの名前部分には特別な意味があります。 もしマッチングにおいて (*MARK:NAME) に遭遇すると、それは「スキップ 位置」として使われる位置になります。 その名前の (*MARK) と東宮していなければ、(*SKIP) 操作は効果を 持ちません。 名前がなければ「スキップ位置」は (*SKIP) パターンの実行されたときに マッチングポイントが使われます。

以下の例を (*PRUNE) と比べてみてください; 文字列が2倍になってることに注意してください:

'aaabaaab' =~ /a+b?(*SKIP)(?{print "$&\n"; $count++})(*FAIL)/;
print "Count=$count\n";

これの出力は

aaab
aaab
Count=2

いったん文字列の最初の 'aaab' がマッチングして、(*SKIP) が実行されると、 次の開始位置は (*SKIP) が実行されたときのカーソルがいた位置になります。

(*MARK:NAME) (*:NAME)

このゼロ幅のマッチングはパターン内の特定の箇所がマッチングに成功したときに、 文字列の中で達した位置を記録するために使われます。 このマークには名前をつけることもできます。 後者の (*SKIP) パターンは失敗時でバックトラックしたときにその箇所まで スキップします。 (*MARK) パターンはいくつでも使うことができて、NAME 部分は 重複することもあります。

(*SKIP) パターンとの相互動作に加えて、(*MARK:NAME) はパターン分岐の 「ラベル」としても使うことができます; このためマッチングの後で、プログラムは そのマッチングにおいてパターンのどの分岐が使われたのかを知ることができます。

マッチングの成功時に、$REGMARK 変数はマッチングの中で一番最近に 実行された (*MARK:NAME) の名前を設定します。

これは書く分岐で別々の捕捉グループを使うことなしにパターンのどの分岐が マッチングしたのかを知るために使うことができます; これは perl は /(?:(x)|(y)|(z))/ を /(?:x(*MARK:x)|y(*MARK:y)|z(*MARK:z))/ 程度に 効率的には最適化できないためパフォーマンスの向上をもたらします。

マッチングが失敗して、そして他の記号がマッチングの失敗で行われずかつ名前を 持っているというのでなければ、$REGERROR 変数には一番最近に実行された (*MARK:NAME) の名前が設定されます。

詳細は "(*SKIP)" を参照してください。

(*MARK:NAME) の短縮形として (*:NAME) とも記述できます。

(*THEN) (*THEN:NAME)

これは Raku の "cut group" 演算子 :: と似ています。 (*PRUNE) のように、この記号は常にマッチングし、そして失敗で バックトラックした時に正規表現エンジンに、代替のある一番内側で閉じている グループ(キャプチャでもそうでなくとも)で次の代替を試みるようにさせます。 (*THEN) が有効である限り、 (?(condition)yes-pattern|no-pattern) の二つの枝は代替とは 扱われません。

この名前は代替演算子 ("|") と連結されたこの演算子で本質的にパターンベースの if/then/else ブロックとなるものを作るために使うことが できることからきています:

( COND (*THEN) FOO | COND2 (*THEN) BAR | COND3 (*THEN) BAZ )

この演算子が使われていてそしてそれが代替の内側ではなければ これはちょうど (*PRUNE) 演算子のように動作します。

/ A (*PRUNE) B /

は次と同じです

/ A (*THEN) B /

しかし

/ ( A (*THEN) B | C ) /

は次と同じではありません

/ ( A (*PRUNE) B | C ) /

A にマッチングしたけれど B に失敗した後 (*THEN) 記号は バックトラックして C を試みます; しかし (*PRUNE) 記号であれば 単純に失敗します。

(*COMMIT) (*COMMIT:arg)

これは Raku の"コミットパターン" <commit> または ::: です。 これは (*SKIP) と似たゼロ幅のパターンですが、失敗でバックトラックした 際にマッチングがすぐに失敗する点で異なります。 それ以降で開始位置を進めて有効なマッチングを探す試行は行われません。 例えば、

'aaabaaab' =~ /a+b?(*COMMIT)(?{print "$&\n"; $count++})(*FAIL)/;
print "Count=$count\n";

これの出力は

aaab
Count=1

言い換えると、いったん (*COMMIT) に入った後に、そのパターンが マッチングしなかったのなら、正規表現エンジンは文字列の残りに対して それ以上のマッチングを試みません。

(*FAIL) (*F) (*FAIL:arg)

このパターンは何にもマッチングせず常に失敗します。 これはエンジンを強制的にバックトラックさせるために使えます。 これは (?!) と等価ですが、より読みやすくなっています。 実際、(?!) は内部的には (*FAIL) に最適化されます。 この FAIL 指示子によってマッチングが失敗したときに $REGERROR から得られる、引数を指定できます。

これはおそらく (?{}) または (??{}) と組み合わせた時にだけ 役に立つでしょう。

(*ACCEPT) (*ACCEPT:arg)

このパターンマッチングは何もせず (*ACCEPT) パターンと遭遇した場所で 文字列の中で実際にもっとマッチングするものがあるかどうかにかかわらず 成功のマッチングを終了させます。 再帰、または (??{}) といったネストしたパターンの内側では、一番内側の パターンのみがすぐに終了します。

(*ACCEPT) が捕捉グループの内側で使われた場合捕捉グループは (*ACCEPT) と遭遇した位置で終了とマークされます。 例えば:

'AB' =~ /(A (A|B(*ACCEPT)|C) D)(E)/x;

はマッチングし、$1 は AB になり、$2 は "B" に、そして $3 は設定されません。 'ACDE' のようにかっこの内側で他の分岐がマッチングしたのなら、 "D" と "E" もマッチングします。

マッチングが成功した後に $REGMARK 変数で利用可能な引数を指定できます。

Warning on \1 Instead of $1

($1 ではなく \1 だったときの警告)

次のように書くことになれている人も中にはいるでしょう:

$pattern =~ s/(\W)/\\\1/g;

(\1 から \9 については) sed 中毒な人をびっくりさせないための RHS 置換の 祖先ですが、しかしこれは汚らしい癖です。 Perl においては、s/// の右側はダブルクォートされた文字列と 考えられるためです。 通常のダブルクォートされた文字列の中では \1 は control-A を意味します。 \1 の Unix での習慣的な意味は s/// だけのその場しのぎです。 しかしながら、この癖に漬かっていると /e 修飾子を使ったときに トラブルとなるでしょう。

s/(\d+)/ \1 + 1 /eg;            # causes warning under -w

または次のようにするかもしれません

s/(\d+)/\1000/;

これを解消するために \{1}000 としないでください; ここでは ${1}000 とするべきです。 埋め込みの処理は後方参照にマッチングさせる操作より混乱は少ないでしょう。 特に s/// の 左 側では2つの異なった意味になります。

Repeated Patterns Matching a Zero-length Substring

(ゼロ幅の部分文字列にマッチングするパターンの繰り返し)

警告: この先には難しい(そして無味乾燥な)内容があります。 このセクションは書き直す必要があるでしょう。

正規表現は簡潔でパワフルなプログラミング言語を提供します。 他の多くの強力なツールとともに、力は破壊の源にもなります。

この力のよくある乱用は無害な何かとともに、正規表現使った 無限ループとなります。

'foo' =~ m{ ( o? )* }x;

o? は "foo" の始まりにマッチングし、文字列中での位置はこの マッチングでは動かないので、o? は "*" 量指定子によって何回も マッチングします。 同じような繰り返しを作るもう一つのよくある形として /g 修飾子を使った ループがあります:

@matches = ( 'foo' =~ m{ o? }xg );

または

print "match: <$&>\n" while 'foo' =~ m{ o? }xg;

または split() による暗黙のループ。

しかしながら、長きにわたる経験からいくつかのプログラミングタスクは ゼロ幅の部分文字列に対するマッチングを行う部分式の繰り返しで大幅に 単純にできることがわかりました。 簡単な例を挙げてみます:

@chars = split //, $string;           # // is not magic in split
($whitewashed = $string) =~ s/()/ /g; # parens avoid magic s// /

このように Perl は 強制的に無限ループを砕く ことによってこういった構築を 可能にしています。 このためのルールは貪欲な量指定子 *+{} によって与えられる 低レベルなループとも、/g 修飾子や split() 演算子による 高レベルなループとも異なります。

低レベルなループは Perl がゼロ幅の部分文字列に対してマッチングする式が 繰り返されたことを検出すると 中断 されます (つまり、ループは壊されます)。 従って

m{ (?: NON_ZERO_LENGTH | ZERO_LENGTH )* }x;

は次と等価にされます

m{ (?: NON_ZERO_LENGTH )* (?: ZERO_LENGTH )? }x;

例えば、以下のプログラムは

#!perl -l
"aaaaab" =~ /
  (?:
     a                 # non-zero
     |                 # or
    (?{print "hello"}) # print hello whenever this
                       #    branch is tried
    (?=(b))            # zero-width assertion
  )*  # any number of times
 /x;
print $&;
print $1;

以下を表示します

hello
aaaaa
b

"hello" は一度だけ表示されることに注目して下さい; Perl は 一番外側の (?:)* の 6 回目の繰り返しがゼロ長文字列にマッチングするのを 見るので、"*" を止めます。

高レベルのループは各繰り返しの間に最後のマッチングがゼロ幅だったかどうかを 追加で保持しています。 ループを終えるために、ゼロ幅のマッチングの後のマッチングはゼロ幅と なることを拒否します。 この禁則処理はバックトラックと相互に動作し("Backtracking" 参照)、そして ベストな マッチングがゼロ幅だったのなら 2 番目にベストな マッチングが選択されます。

例:

$_ = 'bar';
s/\w??/<$&>/g;

これは <><b><><a><><r><> となります。 文字列の各位置に於いて、貪欲でない ?? によって得られるベストな マッチングはゼロ幅のマッチングです、 そして 2 番目にベストなマッチングは \w によってマッチングするものです。 従ってゼロ幅のマッチングは 1 文字幅のマッチングの代替となります。

同じように、m/()/g の繰り返しでは文字列中の境界一つ遠い位置に 2 番目に ベストなマッチングがマッチングします。

ゼロ幅にマッチングしている という追加の状態はマッチングした文字列に 関連づけられていて、pos() に対する割り当てによってリセットされます。 前のマッチングの終端でのゼロ幅のマッチングは split の間は無視されます。

Combining RE Pieces

(RE の欠片の結合)

これまでに説明された (ab や \Z といった) 正規表現の基本的な欠片 それぞれは、入力文字列上の与えられた位置で多くとも1つの部分文字列に マッチングします。 しかしながら、典型的な正規表現ではこれらの基本的な欠片は結合演算 ST、S|T、S* 等(ここで "S" や "T" は正規表現の部分式)を使って より複雑なパターンへと合成することができます。

このような合成には選択の問題を導くために代替を含めることができます: 正規表現 a|ab を "abc" に対してマッチングさせようとしたとき、これは "a" と "ab" のどちらにマッチングするのか? 実際にどちらがマッチングするのかを説明する1つの方法として、 バックトラッキングのコンセプトがあります("Backtracking" 参照)。 しかしながら、この説明は低レベルすぎて特定の実装を考えなければなりません。

もう一つの説明は"より良い"/"より悪い"の考え方で始めます。 与えられた正規表現にマッチングするすべての部分文字列は「最良の」 マッチングから「最悪の」マッチングへとソートすることができます; そして 「最良の」マッチングが選択されます。 これは「どれが選ばれるのか?」という問いかけを「どのマッチングがより良くて、 それがより悪いのか?」という問いかけに置き換えることができます。

そして、基本的な要素ではそういった問いかけはありません; なぜならこれらは与えられた位置で可能なマッチングは多くとも1つだからです。 このセクションでは結合演算のより良い/より悪いの考え方で説明していきます。 以下の説明では "S" 及び "T" は正規表現の部分式です。

ST

2つの可能なマッチング、AB 及び A'B' を考えます; ここで "A" 及び A' は "S" にマッチングする部分文字列、 そして "B" 及び B' は "T" にマッチングする部分文字列とします。

もし "A" が "S" に対して A' よりも良いマッチングであれば、 AB は A'B' よりも良いマッチングです。

もし "A" と A' が同じであれば: "B" が "T" に対して B' よりも 良いマッチングであれば AB は AB' よりも良いマッチングです。

S|T

"S" がマッチングできる時は "T" のみがマッチングするよりも良い マッチングです。

"S" に対する2つのマッチングの順序は "S" と同じです。 "T" に対する2つのマッチングも同様です。

S{REPEAT_COUNT}

SSS...S (必要なだけ繰り返し)としてマッチングします。

S{min,max}

S{max}|S{max-1}|...|S{min+1}|S{min} としてマッチングします。

S{min,max}?

S{min}|S{min+1}|...|S{max-1}|S{max} としてマッチングします。

S?, S*, S+

それぞれ S{0,1}, S{0,BIG_NUMBER}, S{1,BIG_NUMBER} と同じです。

S??, S*?, S+?

それぞれ S{0,1}?, S{0,BIG_NUMBER}?, S{1,BIG_NUMBER}? と同じです。

(?>S)

"S" の最良のみマッチングします。

(?=S), (?<=S)

"S" の最良のマッチングのみが考慮されます。 (これは "S" がキャプチャかっこを持っていて、そして正規表現全体の どこかで後方参照が使われている時のみ重要です.)

(?!S), (?<!S)

このグループ演算子では、"S" がマッチングできるかどうかのみが重要なので、 順序についての説明は必要ありません。

(??{ EXPR }), (?PARNO)

順序は EXPR の結果の正規表現、または捕捉グループ PARNO に含まれている パターンと同じです。

(?(condition)yes-pattern|no-pattern)

既に決定している yes-pattern または no-pattern を実際に マッチングさせます。 マッチングの順序は選択された部分式と同じです。

ここにあげたレシピは与えられた位置でのマッチングの順序について 説明しています。 正規表現全体でマッチングがどのように決定されるかを理解するためには もう少しルールが必要です: より若い位置でのマッチングは後ろの方でのマッチングよりもより良いです。

Creating Custom RE Engines

(カスタム RE エンジンの作成)

Perl 5.10.0 から、誰でもカスタム正規表現エンジンを作成できます。 これは気弱な人向けではありません; C レベルでプラグインする必要があるからです。 さらなる詳細については perlreapi を参照して下さい。

代替案として、オーバーロードされた定数(overload 参照)は あるパターンを別のパターンに置き換えることで、RE エンジンの機能を 拡張する簡単な方法を提供します。

新しい正規表現エスケープシーケンス、空白文字と非空白文字との 境界にマッチングする \Y| を作ってみることにします。 この位置には実際には (?=\S)(?<!\S)|(?!\S)(?<=\S) がマッチングするので、 この複雑なバージョンを \Y| で置き換えたいとします。 このために customre モジュールを作ります:

package customre;
use overload;

sub import {
  shift;
  die "No argument to customre::import allowed" if @_;
  overload::constant 'qr' => \&convert;
}

sub invalid { die "/$_[0]/: invalid escape '\\$_[1]'"}

# We must also take care of not escaping the legitimate \\Y|
# sequence, hence the presence of '\\' in the conversion rules.
my %rules = ( '\\' => '\\\\',
              'Y|' => qr/(?=\S)(?<!\S)|(?!\S)(?<=\S)/ );
sub convert {
  my $re = shift;
  $re =~ s{
            \\ ( \\ | Y . )
          }
          { $rules{$1} or invalid($re,$1) }sgex;
  return $re;
}

これで use customre することで正規表現定数の中で新しいエスケープを 使うことが出来ます; すなわち、これには何の実行時変数の埋め込みもいりません。 overload に書かれているように、この変換は正規表現のリテラル部分にのみ 動作します。 \Y|$re\Y| であればこの正規表現の変数部分は明示的に変換する 必要があります(とはいえ $re の中でも \Y| を有効にしたい時のみ)。

use customre;
$re = <>;
chomp $re;
$re = customre::convert $re;
/\Y|$re\Y|/;

Embedded Code Execution Frequency

(組み込みコードの実行頻度)

パターン中で (?{}) と (??{}) がどれくらいの頻度で実行されるかの 正確な規則は未規定で、これは (*{}) ですら真です。 マッチングが成功した場合、それらは DWIM を行い、 他のメタパターンと同様、 パターンの受け入れられたパスの中で左から右の順序で適切な回数 実行されることを仮定できます。 受け入れられなかったパスとマッチングの失敗がどれくらいパターンの実行回数に 影響を与えるかは明確に非規定で、 パターンにどの最適化が適用できるかに依存し、バージョン毎に 変わる可能性が高いです。

例えば:

"aaabcdeeeee"=~/a(?{print "a"})b(?{print "b"})cde/;

失敗時に "a" や "b" が何回表示されるかは未規定ですが、 マッチングに成功したときに少なくとも 1 回表示されることは仮定でき、 さらに "b" が表示されるとき、その前には少なくとも 1 回 "a" が 表示されることも仮定できます。

次のような分岐構文の場合:

/a(b|(?{ print "a" }))c(?{ print "c" })/;

入力が "ac" なら出力は "ac"、入力が "abc" なら出力は "c" だけと仮定できます。

組み込みコードが量指定された場合、マッチングに成功すると 量指定子のそれぞれのマッチングした反復毎に 1 回コードを呼び出します。 例えば:

"good" =~ /g(?:o(?{print "o"}))*d/;

これは "o" を 2 回出力します。

歴史的および一貫性の理由により、パターン中のどこかで通常の コードブロックを使うと、一部の最適化が無効化されます。 5.37.7 以降、これらの最適化が無効化されるのを望まない場合、 (?{ ... }) の代わりに「楽観的」コードブロックである (*{ ... }) を使えます。 これにより、楽観的でない場合より、コードブロックが呼び出される頻度が 少なくなるかもしれません。

PCRE/Python Support

(PCRE/Python サポート)

Perl 5.10.0 時点では Perl は幾つかの Python/PCRE 的な正規表現構文拡張を サポートします。 Perl プログラマはこれらの Perl としての構文を推奨しますが、以下のものも 受理されます:

(?P<NAME>pattern)

名前付の捕捉グループの定義。 (?<NAME>pattern) と等価。

(?P=NAME)

名前付捕捉グループへの後方参照。 \g{NAME} と等価。

(?P>NAME)

名前付き捕捉グループへの関数呼び出し。 (?&NAME) と等価。

BUGS

Unicode ルールでの大文字小文字を無視したマッチングには多くの問題が あります。 上述の "Modifiers" の "i" を参照してください。

この文書は、理解が困難なところから、完全かつ徹底的に不明瞭なところまで さまざまです。 jargon に満ちたとりとめのない散文は幾つかの箇所で理解するのに 難儀ではあるでしょう。

この文書はリファレンス的な内容からチュートリアル的な内容を分離して 書き直す必要があります。

SEE ALSO

Perl のパターンマッチングで使われる文法は、 the Bell Labs Research Unix 8th Edition (Version 8) 正規表現ルーチンで 提供されているものからの派生です。 (コードは実際には Henry Spencer の自由に再配布可能な V8 ルーチンの再実装から (遠く)派生しています)。

perlrequick.

perlretut.

"Regexp Quote-Like Operators" in perlop.

"Gory details of parsing quoted constructs" in perlop.

perlfaq6.

"pos" in perlfunc.

perllocale.

perlebcdic.

O'Reilly and Associates から出版されている、Jeffrey Friedl による Mastering Regular Expressions (詳説 正規表現)