No description, website, or topics provided.
Switch branches/tags
Nothing to show
Clone or download
Fetching latest commit…
Cannot retrieve the latest commit at this time.
Permalink
Failed to load latest commit information.
app
docs
gradle/wrapper
img
LICENSE
README.md
build.gradle
gradle.properties
settings.gradle

README.md

Grandea ~広げるアイデア~

Mobile App : https://github.com/jphacks/FK_1703

Server : https://github.com/jphacks/FK_1703_2

Grandea

【祝】Google Play Store リリース!

Google Play Store ダウンロードはこちらから

製品概要

話し合っている内容を認識してアイデア出しをサポートするモバイルアプリケーション

Idea × Tech

背景(製品開発のきっかけ、課題等)

アイデア出しって楽しいけど難しい、、、。
アイデア出しと言うと堅苦しく感じますが、近年、新規企画やハッカソンなどのイベント、
また旅行の計画などの日常の中にもアイデア出しは行われています。
そんな頻繁に行われているアイデア出しを楽しく・円滑に行いたい!
そうした思いから今回の開発に至りました。

製品説明(具体的な製品の説明)

Grandeaは、アイデア出しをする際のミーティング中に起動しておくだけで、アイデア出しのサポートを行ってくれるモバイルアプリケーションです。また、話した内容・要約・ミーティングのキーワードをまとめた議事録も作成してくれます。
このアプリケーションには、主に以下の3つの機能があります。

1. アイデアマップ

モバイルアプリケーション内で音声認識を行い、その結果をサーバに送ります。
送られてきた文章のキーワードを抽出し、そのキーワードに関連するキーワードを取得します。
その取得したキーワードをモバイルアプリケーションに送り、アイデアマップ上に表示します。
アイデアマップ上のキーワードをタップすると、そのキーワードに関連するワードを3つ表示します。
また、アイデアマップには、自分でキーワードを追加し、その関連するキーワードを表示することもできます。
アイデアマップ上で表示したキーワードは、まとめて見ることもできるため、関連性が低いキーワード同士からもアイデアを考えることができます。

2. アイデア出しのサポート

モバイルアプリケーション内で音声認識を行い、その結果をサーバに送ります。
送られてきた文章を繋ぎ合わせていき、ミーティングが終わってSTOPボタンが押されると、繋ぎ合わせていた文章の要約とキーワードを取得します。
その取得したデータと話した内容を議事録として表示します。

3. 自動議事録作成

Speech Recognizerにより音声認識を行い、録音終了後に議事録作成ボタンを押すと、音声を認識し文字に起こし、キーワードと要約を抽出します。そして、議事録形式に整形します。また、英語版の議事録に変換することも可能です。議事録をPDFに変換し、SNSに作成した議事録をシェアすることができます。

アイデアマップ1 アイデアマップ2 議事録 システムフロー

特長

1. 沈黙を検知しアイデアの提供

2. こだわりのアイデアマップ

3. 自動で議事録作成

解決出来ること

  • アイデア出しの停滞防止
    話し合っている内容に関連するキーワードを提供することにより、アイデア出しの停滞を防ぎます。
  • 共通認識の欠如防止
    話し合っている内容やキーワードを示すことにより、共通認識を持てます。
  • 議事録作成の手間の削減
    話し合った内容を認識し、自動で議事録を作成することにより、議事録作成の手間を削減します。

今後の展望

  • WebRTCによるオンラインミーティング上での実装
  • 音声データから特徴量を抽出し、話者識別をするニューラルネットモデルの作成
  • 音声認識した文章の補完
  • Raspberry Piを用いてアプリのガジェット化
  • 高集音性マイクを用いて集音性の向上

開発内容・開発技術

活用した技術

API・データ

  • Google Knowledge Graph Search API
  • Google Suggest API
  • gooラボ キーワード抽出API
  • 自動要約API
  • Translation API

フレームワーク・ライブラリ・モジュール

  • Android Studio
  • XAMPP
  • CherryPy
  • BubblePicker
  • PulseView
  • Gson
  • Speech Recognizer
  • AudioRecord
  • MediaRecorder
  • Amazon Web Services
  • さくらのレンタルサーバ

デバイス

  • Android(Android 4.1以上)

独自開発技術(Hack Dayで開発したもの)

2日間に開発した独自の機能・技術

  • 音声認識とサーバへのHTTP通信の並列スレッド処理 (Code)
  • 独自アイデアマップの作成 (Code)
  • 文章のキーワードを取得し、そのキーワードから2つのAPIを用いての関連キーワード取得 (Code)