Error due to lack of resources

[new-village]

enrich_kana 関数を実行すると下記のエラーが発生して処理が完了しない。

Traceback (most recent call last):
File "/usr/lib/python3.10/multiprocessing/pool.py", line 131, in worker
put((job, i, result))
File "/usr/lib/python3.10/multiprocessing/queues.py", line 377, in put
self._writer.send_bytes(obj)
File "/usr/lib/python3.10/multiprocessing/connection.py", line 200, in send_bytes
self._send_bytes(m[offset:offset + size])
File "/usr/lib/python3.10/multiprocessing/connection.py", line 404, in _send_bytes
self._send(header)
File "/usr/lib/python3.10/multiprocessing/connection.py", line 368, in _send
n = write(self._handle, buf)
BrokenPipeError: [Errno 32] Broken pipe

[new-village]

マルチプロセスからシングルプロセスに処理を変更

    for func in selected_functions:
        df = func(df)

enrich_kana の実行時間をベンチマークしたところ、エラーは発生せず、下記の時間で実行完了した。

read_csv: 73.20 sec
enrich_kana: 4004.94 sec

[new-village]

'pd.read_csv'の引数にengine="pyarrow"を追記。また、enrich_kana 関数の変換処理部分をコメントアウトして実行したところ、大幅にパフォーマンスが改善。

df['std_furigana'] = df['furigana'].where(df['furigana'].notna(), df['name'])
# df['std_furigana'] = df['std_furigana'].apply(_normalize_and_convert_kana)

read_csv: 19.92 sec
enrich_kana: 0.44 sec

[new-village]

pykakasi のインスタンス化をグローバル変数化して、関数実行毎にインスタンス化しないように変更。

read_csv: 19.83 sec
enrich_kana: 1130.26 sec

[new-village]

既にフリガナになっている値については、pykakasiによる処理をスキップさせることで高速化を図る。

    if re.fullmatch(r"[ァ-ヴー]+", cleaned_text):
        return cleaned_text
    else:
        return "".join(item['kana'] for item in kks.convert(cleaned_text))

50%くらいの処理時間に短縮

read_csv: 37.41 sec
enrich_kana: 588.81 sec

[new-village]

pandarallelを使ったapply関数のマルチプロセス化を実施。

 df['std_furigana'] = df['std_furigana'].parallel_apply(_normalize_and_convert_kana)

AMD Ryzen 7 7735U (8 cores) で、実行時間が1/5に。

read_csv: 31.25 sec
enrich_kana: 115.97 sec

[new-village]

Summary