ゼロ幅文字を削除し、禁止文字をチェック・削除するスクリプトを追加 #1487

Author: faithandbrave

.github/workflows/script/check.py

@@ -1,6 +1,7 @@
 import sys
 import code_qualify_check
 import display_error_check
+import forbidden_character_check
 import global_qualify_check
 import link_check
 import meta_header_check
@@ -13,6 +14,9 @@
     if not display_error_check.check():
         print("display_error_check failed")
         sys.exit(1)
+    if not forbidden_character_check.check():
+        print("forbidden_character_check failed")
+        sys.exit(1)
     if not global_qualify_check.check():
         print("global_qualify_check failed")
         sys.exit(1)

.github/workflows/script/forbidden_character_check.py

@@ -0,0 +1,37 @@
+import glob
+import os
+import sys
+import re
+import unicodedata
+
+FORBIDDEN_CHARACTERS = [
+    '\u00ad',  # Soft hyphen (ソフトハイフン)
+    '\u200b',  # Zero width space (ゼロ幅スペース)
+]
+
+def check_forbidden_character(text: str, filename: str) -> bool:
+    found_error: bool = False
+
+    for char in FORBIDDEN_CHARACTERS:
+        m = re.search(char, text)
+        if m:
+            code_point = ord(char)
+            name = unicodedata.name(chr(code_point))
+            print("{}: the file includes forbidden character \"U+{:X}\" ({}).".format(filename, code_point, name))
+            found_error = True
+    return not found_error
+
+def check() -> bool:
+    found_error = False
+    for p in sorted(list(glob.glob("**/*.md", recursive=True))):
+        with open(p) as f:
+            text = f.read()
+
+        if not check_forbidden_character(text, p):
+            found_error = True
+
+    return not found_error
+
+if __name__ == '__main__':
+    if not check():
+        sys.exit(1)

.github/workflows/script/remove_forbidden_character.py

@@ -0,0 +1,37 @@
+# 禁止された不可視文字を削除するスクリプト。
+# トップディレクトリで以下を実行する：
+# python3 .github/workflows/script/remove_forbidden_character.py
+
+import os
+import glob
+
+FORBIDDEN_CHARACTERS = [
+    '\u00ad',  # Soft hyphen (ソフトハイフン)
+    '\u200b',  # Zero width space (ゼロ幅スペース)
+]
+
+def remove_forbidden_characters(p) -> bool:
+    try:
+        with open(p, 'r', encoding='utf-8') as f:
+            content = f.read()
+        
+        original_content = content
+        for char in FORBIDDEN_CHARACTERS:
+            content = content.replace(char, '')
+
+        if content != original_content:
+            with open(p, 'w', encoding='utf-8') as f:
+                f.write(content)
+            return True
+        
+        return False
+        
+    except Exception as e:
+        print(f"Error processing {file_path}: {e}")
+        return False
+
+if __name__ == '__main__':
+    for p in sorted(list(glob.glob("**/*.md", recursive=True))):
+        if remove_forbidden_characters(p):
+            print(f"{p} -> Modified")
+

reference/spanstream/basic_ispanstream/op_constructor.md

@@ -29,13 +29,13 @@ explicit basic_ispanstream(ROS&& s);                  // (4)
 
 
 ## テンプレートパラメータ制約
-- (4) : `ROS` が [`ranges​::​borrowed_range`](/reference/ranges/borrowed_range.md) の要求を満たすこと (`(!convertible_to<ROS, std​::​span<charT>>) && convertible_to<ROS, std​::​span<const charT>>`が`true`であること)。
+- (4) : `ROS` が [`ranges::borrowed_range`](/reference/ranges/borrowed_range.md) の要求を満たすこと (`(!convertible_to<ROS, std::span<charT>>) && convertible_to<ROS, std::span<const charT>>`が`true`であること)。
 
 ## 効果
-- (1) : 内部で保持している [`basic_spanbuf<charT, traits>`](/reference/spanstream/basic_spanbuf.md) 型の固定長バッファを `sb` とすると、ベースクラスを `basic_istream<charT, traits>(addressof(sb))` で構築し、さらに `sb` を `basic_spanbuf<charT, traits>(s, which | ios_base​::​in)` で初期化する
+- (1) : 内部で保持している [`basic_spanbuf<charT, traits>`](/reference/spanstream/basic_spanbuf.md) 型の固定長バッファを `sb` とすると、ベースクラスを `basic_istream<charT, traits>(addressof(sb))` で構築し、さらに `sb` を `basic_spanbuf<charT, traits>(s, which | ios_base::in)` で初期化する
 - (2) : （削除）
-- (3) : 内部で保持している [`basic_spanbuf<charT, traits>`](/reference/spanstream/basic_spanbuf.md) 型の固定長バッファを `sb` とすると、ベースクラスを `std​::​move(rhs)` で構築し、さらに `sb` を `std​::​move(rhs.sb)` で初期化する。続いて、`basic_istream<charT, traits>​::​set_rdbuf(addressof(sb))` を呼び、[`basic_spanbuf`](/reference/spanstream/basic_spanbuf.md) を設定する。
-- (4) : `std​::​span<const charT>(std​::​forward<ROS>(s))` を `sp` とした時、`basic_ispanstream(std::span<charT>(const_cast<charT*>(sp.data()), sp.size()))` と同等
+- (3) : 内部で保持している [`basic_spanbuf<charT, traits>`](/reference/spanstream/basic_spanbuf.md) 型の固定長バッファを `sb` とすると、ベースクラスを `std::move(rhs)` で構築し、さらに `sb` を `std::move(rhs.sb)` で初期化する。続いて、`basic_istream<charT, traits>::set_rdbuf(addressof(sb))` を呼び、[`basic_spanbuf`](/reference/spanstream/basic_spanbuf.md) を設定する。
+- (4) : `std::span<const charT>(std::forward<ROS>(s))` を `sp` とした時、`basic_ispanstream(std::span<charT>(const_cast<charT*>(sp.data()), sp.size()))` と同等
 
 
 ## 例

reference/spanstream/basic_ispanstream/span.md

@@ -23,13 +23,13 @@ void span(ROS&& s) noexcept;                  // (3)
 
 
 ## テンプレートパラメータ制約
-- (3) : `ROS` が [`ranges​::​borrowed_range`](/reference/ranges/borrowed_range.md) の要求を満たすこと (`(!convertible_to<ROS, std​::​span<charT>>) && convertible_to<ROS, std​::​span<const charT>>`が`true`であること)。
+- (3) : `ROS` が [`ranges::borrowed_range`](/reference/ranges/borrowed_range.md) の要求を満たすこと (`(!convertible_to<ROS, std::span<charT>>) && convertible_to<ROS, std::span<const charT>>`が`true`であること)。
 
 
 ## 効果
 - (1) : `return rdbuf()->span();` と同等
 - (2) : `rdbuf()->span(s)` と同等
-- (3) : `std​::​span<const charT>(std​::​forward<ROS>(s))` を `sp` とした時、`this->span(std::span<charT>(const_cast<charT*>(sp.data()), sp.size()))` と同等
+- (3) : `std::span<const charT>(std::forward<ROS>(s))` を `sp` とした時、`this->span(std::span<charT>(const_cast<charT*>(sp.data()), sp.size()))` と同等
 
 ## 例
 ```cpp example

reference/spanstream/basic_ospanstream/op_constructor.md

@@ -24,9 +24,9 @@ basic_ospanstream(basic_ospanstream&& rhs);           // (3)
 - (3) : ムーブコンストラクタ
 
 ## 効果
-- (1) : 内部で保持している [`basic_spanbuf<charT, traits>`](/reference/spanstream/basic_spanbuf.md) 型の固定長バッファを `sb` とすると、ベースクラスを `basic_ostream<charT, traits>(addressof(sb))` で構築し、さらに `sb` を `basic_spanbuf<charT, traits>(s, which | ios_base​::​out)` で初期化する
+- (1) : 内部で保持している [`basic_spanbuf<charT, traits>`](/reference/spanstream/basic_spanbuf.md) 型の固定長バッファを `sb` とすると、ベースクラスを `basic_ostream<charT, traits>(addressof(sb))` で構築し、さらに `sb` を `basic_spanbuf<charT, traits>(s, which | ios_base::out)` で初期化する
 - (2) : （削除）
-- (3) : 内部で保持している [`basic_spanbuf<charT, traits>`](/reference/spanstream/basic_spanbuf.md) 型の固定長バッファを `sb` とすると、ベースクラスを `std​::​move(rhs)` で構築し、さらに `sb` を `std​::​move(rhs.sb)` で初期化する。続いて、`basic_ostream<charT, traits>​::​set_rdbuf(addressof(sb))` を呼び、[`basic_spanbuf`](/reference/spanstream/basic_spanbuf.md) を設定する。
+- (3) : 内部で保持している [`basic_spanbuf<charT, traits>`](/reference/spanstream/basic_spanbuf.md) 型の固定長バッファを `sb` とすると、ベースクラスを `std::move(rhs)` で構築し、さらに `sb` を `std::move(rhs.sb)` で初期化する。続いて、`basic_ostream<charT, traits>::set_rdbuf(addressof(sb))` を呼び、[`basic_spanbuf`](/reference/spanstream/basic_spanbuf.md) を設定する。
 
 
 ## 例

reference/spanstream/basic_spanstream/op_constructor.md

@@ -28,7 +28,7 @@ basic_spanstream(basic_spanstream&& rhs);                   // (3)
 ## 効果
 - (1) : 内部で保持している [`basic_spanbuf<charT, traits>`](/reference/spanstream/basic_spanbuf.md) 型の固定長バッファを `sb` とすると、ベースクラスを `basic_iostream<charT, traits>(addressof(sb))` で構築し、さらに `sb` を `basic_spanbuf<charT, traits>(s, which)` で初期化する
 - (2) : （削除）
-- (3) : 内部で保持している [`basic_spanbuf<charT, traits>`](/reference/spanstream/basic_spanbuf.md) 型の固定長バッファを `sb` とすると、ベースクラスを `std​::​move(rhs)` で構築し、さらに `sb` を `std​::​move(rhs.sb)` で初期化する。続いて、`basic_ostream<charT, traits>​::​set_rdbuf(addressof(sb))` を呼び、[`basic_spanbuf`](/reference/spanstream/basic_spanbuf.md) を設定する。
+- (3) : 内部で保持している [`basic_spanbuf<charT, traits>`](/reference/spanstream/basic_spanbuf.md) 型の固定長バッファを `sb` とすると、ベースクラスを `std::move(rhs)` で構築し、さらに `sb` を `std::move(rhs.sb)` で初期化する。続いて、`basic_ostream<charT, traits>::set_rdbuf(addressof(sb))` を呼び、[`basic_spanbuf`](/reference/spanstream/basic_spanbuf.md) を設定する。
 
 
 ## 例