add furigana enrichment function

[new-village]

フリガナの項目に欠損値が多いため、nameを機械変換して補完するenrich_furigana関数を追加する。

TODO

• pd.from_pandas(pandas.Dataframe)を使ってfireducks.dataframeに変換（参考）
• furigana列を std_furigana列にコピー
• Vectorized を使ってstd_furiganaがNaNの場合は、nameを入れる
• 文字列の標準化
• std_furiganaから法人格を削除
• 漢字名称のフリガナ変換：pykakasi を使った漢字のカタカナ変換を行う
• アルファベットのフリガナ変換：Bilingual Emacspeak Project の辞書ファイルをベースに置換を行う。
• to_pandasを使ってpandas.dataframeに変換

[new-village]

想定される企業のパターン

最低でも下記のパターンについては変換することを考慮したロジックを作成する。

• すべて漢字：島田商事株式会社
• 英単語：株式会社ｓｏｕｖｅｎｉｒ
• 漢字と英単語のミックス：有限会社ＨＡＰ観光
• カタカナとアルファベット記号のミックス：株式会社Ｔ＆Ｍコンサルティング
• 複数の英単語（スペースなし）：株式会社ＯｃｅａｎｓＣｒｅａｔｉｖｅ
• 複数の英単語（スペースあり）：株式会社Ｃｏｐｅｌ　ｄｉｒｅｃｔｉｏｎ
• 漢字と英単語のミックス（複数）：株式会社ＮｅｗホテルＣｅｎｔｕｒｙ

[new-village]

Bilingual Emacspeak Project(BEP)辞書は、正確な発音表現となっており、Address アドゥレス といったカタカナ変換が多くみられるが、フリガナとしては不適当なのでインポート時に補正をかける必要あり。

下記に別言語ながら正規表現で変換しているパターンがあった。
https://gist.github.com/ikegami-yukino/2213879

[new-village]

Bilingual Emacspeak Project(BEP)辞書のライセンスは GPL （ファイルの冒頭に記載あり）。
READMEへの追記も忘れずに。

Copyrights
アルファベット文字列とカタカナを変換する辞書は、Bilingual Emacspeak Projectのbep-eng.dicのデータを利用しています。
Bilingual Emacspeak Project (c) 1999-2002 Bilingual Emacspeak Project

[new-village]

Benchmark Task

df['std_furigana'] = df['std_furigana'].apply(function)をpandas dataframeで実行した場合と、fireduck dataframeで実行した場合の時間を計測する

[new-village]

Benchmark Task

df['std_furigana'] = df['std_furigana'].apply(function)をpandas dataframeで実行した場合と、fireduck dataframeで実行した場合の時間を計測する

fireducksはapplyをサポートしていない（2024年5月16日現在）。このため、マルチプロセスを活用する。