Required Dependencies: Python: pandas sklearn gensim Mysqldb flask
Mecab:
オークションデータの分析と落札価格予測
目的： オークションの落札価格予測は難しいとされているが、予測には需要がある。既存の手法は時系列解析など統計的な手法に基づいているため、価格変動の時系列データを必要となる。本プロジェクトでは、データを制限せず、オークションの説明文と基本データから、オークションの分類を行うことによってデータの構造の解明を試みる。さらにその構造に基づき、集団学習による予測のアプリケーションを開発する。
手法： 全体のシステム構成： データベース：自作のクローラによってヤフーオークションからデータを定期的に収集し、整形した後にMySQLのデータベースへ保存した。さらに入札中のデータについては毎日データの更新を行った。 サーバー：AWSの仮想マシンで、 Pythonのflaskによるサーバー側を構成し、サーバー上では下記の落札価格予測機を構築した。さらに、新たに収集されたデータについては定期的に予測機に取り込んで更新し、常に最新のオークションに対応するようになっている。 クライアント：ユーザーはウェブページを通じ、予測したいオークションのIDを入力することによって予測機に問い合わせする。
メインのアプリケーション： 複数の弱学習機による強学習機を構成する集団学習という機械学習の設計手法を利用し、データのそれぞれの違う側面に注目した３つのクラスタリング手法と、SVMと時系列解析による回帰手法を用いて、５つの学習機による強い学習機を設計し、それぞれのモデルとアルゴリズムをPythonおよびNumpyを用いて実装した。その中、特にLDAモデルの特徴を活かし、オンライン学習のモデルを実装し、新しいデータ来るたびに随時更新することが可能になった。
結果： データ：クローラを通じて定期的にデータを収集し、自動整形した後にデータベースへ登録した。公開まではノートパソコン類についてデータを2000個以上集めた。 システム：データベース、サーバー、クライアント側を構築し、上記の機械学習手法に従い、５つの小さな学習機をまとめた落札値段予測のアプリケーションを実装した。プロジェクト結果としてリリースし、短時間でテスト公開した。 学習機：機械学習による予測機の性能について、36%のテストデータでは予測価格と終了価格の相対誤差が25%以下であった。さらに67%以上のテストデータについて終了価格が予測した範囲に入った。