OCR2GPT

Power Apps キャンバスアプリのAI Builder テキスト認識エンジン(OCR) とGPT でテキストを作成する アクションを組み合わせたドキュメントOCRソリューションです。

Note

AI Builder AI プロンプトとして、GPT の機能が日本でも利用できるようになりましたので、AI Builder AI プロンプトのバージョンにアプリを更新しました。 日本でのAI プロンプトの利用は地域間のデータ移動を有効化する必要があります。 また、動いたよ、できたよという結果は是非、 ギークフジワラのXアカウント までメンションしてご報告ください！！

参考

ブログ

YouTubeチャンネル

X

アプリの概要

以下の3オブジェクトで構成されています。

flowchart TD
    GeekOCR2GPT --> プロンプトテンプレート

Loading

用意されている機能

• AI Builder テキスト認識エンジンによるOCR でドキュメントの全文テキスト化
• AI Builder 'formatGPT' でテキストから必要なデータを抽出またはフォーマットに変換
• プロンプトテンプレートのデータ登録、更新

サンプルで用意されているプロンプトテンプレート

プロンプトを変更することで任意のフォーマットに対応することができます。

サンプルのプロンプトとして以下の5件が用意されています。

Note

こちらを参考に他のドキュメントにも適用してみてください。 他のフォーマットにも対応できた結果についても是非、 ギークフジワラのXアカウント までメンションしてご報告ください！！

ガソリン給油レシート

ガソリンの給油レシートから必要な情報を抽出します。

家系図提案

戸籍謄本から家系図の提案を行います。

NDA

機密保持契約書から保持期間などの契約情報を抽出します。

請求書

請求書から明細も含めて必要な情報を抽出します。

検査成績表

仕入先から届いた検査成績表から必要な情報を抽出します。

JSON 形式に出力

それぞれの出力結果は、プロンプトにjsonと加えるだけでjson形式に出力することができます。

Note

下流の連携先システムに対して構造化したデータとして利用することができます。

英語のドキュメントも日本語で回答

英語のドキュメントなど他言語であっても取り込みが可能

ソリューションのインポート方法

前提条件

ソリューションはリリースからダウンロードできます。

インポート方法

公式ドキュメントを参考にZIPファイル形式のままソリューションをインポートしてください。

インポート後の警告

この警告は表示言語に関するものです。表示された場合でも基本的にはこのまま利用することができます。

データインポート

ソリューションをインポートした時点ではオブジェクトのみが環境に展開されます。

Note

アプリを開くことはできますが、ソリューションをインポートしただけではプロンプトテンプレートテーブルにはデータが含まれていません。

データは移行されませんので、データのインポートを行う必要があります。

以下よりプロンプトのサンプルデータをダウンロードしてください。

mskk_prompttemplates.xlsx

テーブルを開きます。

「Excel からデータをインポートする」を選択します。

サンプルデータをアップロードします。

正常にマッピングが完了したら右上のインポートボタンを押します。

完了しますと以下のようになります。右上のXボタンから閉じます。

データのインポート確認のため、ブラウザを一度更新します。

プロンプト名、プロンプトテンプレートを表示します。

マウスオーバーして以下のように表示されていたらデータのインポートに成功しています。

アプリの実行

キャンバスアプリを開きます。

プロンプトテンプレートのデータがインポートされていることがわかります。

Note

ガソリン給油レシートの場合は以下のように選択できます。

テストドキュメントの読み込み

レシートから情報を取得してみます。

以上、ご参考になれば幸いです。