置賜方言における共通語への機械翻訳と性能評価

目次

• はじめに
• 関連記事
• 卒業論文

はじめに

こんにちは、このレポジトリは、卒業論文を公開するやつです。 卒業論文の公開と他の地域にて方言の機械翻訳システムを研究する学生が形態素解析器Sudachiを使って開発する際に助けとなることを目的に立てました。 自分の所属している山形大学工学部には、自然言語処理専門で研究をやっている教授が居ないこともあり、基本的に独学で行い、これは卒業論文でありますので、査読もされていないので、「え？」と思う箇所があるかと思います。しかし、今後Sudachiを使って方言翻訳を行い人が訪れたときのために、ここに記録しておくことにしました。（指導教官の許可は得ております。） 作成したアノテーション済みコーパスは一部のみ一般公開します。

ps. 卒業研究　優秀発表賞いただけました！嬉しい！わーい！　

関連記事

zennにてちょいと記事を書きました。

• https://zenn.dev/2timesbottle/articles/4c0f3a4ce26797
• https://zenn.dev/2timesbottle/articles/3349b79e827983

友人も記事を書いてました https://zenn.dev/murakamixi/articles/2064967364fc81

メイン

• 予稿　https://github.com/nihei1206/oitama_trans/blob/main/%E4%BA%88%E7%A8%BF_0213_%E6%8F%90%E5%87%BA%E7%89%88.pdf
• 本稿 https://github.com/nihei1206/oitama_trans/blob/main/%E5%8D%92%E8%AB%96_Last1.1.pdf

使い方

準備するもの

1. 方言に品詞情報をアノテーションしたコーパス(翻訳用)
2. 評価するための入力文と正解文(評価用)

1. 方言に品詞情報をアノテーションしたコーパス

Sudachiのユーザー辞書の作成方法で作成をする。 mecab-unidic 2.1.2を参考にCSVを作る。

2. 評価するための入力文と正解文(評価用)

分割性能評価(F-score)と、翻訳性能評価(Fscore,BLEU-score)を行うことができる。

実行方法

後輩向けに書いた引き継ぎ資料を載せたので、使う人は私のスパゲッティコードを解読して参考にする程度にしてください https://github.com/nihei1206/oitama_trans/blob/main/%E4%BD%BF%E3%81%84%E6%96%B9.pdf