제한된 볼츠만 머신(Restricted Boltzmann Machine)을 기반으로 하는 심층 신뢰 신경망인 MobiDeep
엔진의 사용을 돕기 위한 헬퍼 모듈
Source --> Reader --> Partitioner --> Transformer --> Writer -> Destination
- Reader
- 특정 소스로부터 데이터를 읽는 역할 수행
- 리스트를 반환해야 함
- Partitioner
- Reader로부터 데이터를 전달받아 해당 데이터를 적절히 나누어주는 역할
- 데이터를 특정 기준으로 분리시키기 위함
- Transformer
- Partitioner가 파티셔닝된 데이터를 전달하면, 적절히 변환하는 역할 수행
- Text파일을 바이너리로 만들거나, 기타 변환 작업을 수행
- Writer
- 최종 데이터를 전달하면 저장하는 역할 수행
$ python setup.py sdist
dist
디렉토리 밑의 모듈을 배포 후, 아래와 같이 설치
$ pip install mobideep_helper-0.0.2.tar.gz
$ pip uninstall mobideep_helper
$ mobideep_run -h
usage: mobideep_run [-h] [--config CONFIG] source
positional arguments:
source data source
optional arguments:
-h, --help show this help message and exit
--config CONFIG mobideep_helper config file
- source
- 헬퍼로 전달할 데이터소스
- 현재는 파일을 지원하나, Connector 및 Reader의 구현을 통해 HDFS, FTP등을 지원 예정
- config
- Mobideep Helper의 설정파일
- 기본으로 File로부터 읽고 쓰는 설정이 적용됨
$ cat etc/example.yml
mobideep_helper:
reader:
cls: 'mobideep_helper.reader.slide.SlidingFileReader'
header: true
window_size: 14
writer:
cls: 'mobideep_helper.writer.file.FileWriter'
option: 'a'
destination: '/tmp/mobideep/data'
prefix: 'mobideep_helper'
partition_dir: true
partitioner:
cls: 'mobideep_helper.partitioner.fibo.FibonacciPartitioner'
fibonacci_length: 6
transformer:
cls: 'mobideep_helper.transformer.ade.TextToBinaryTransformer'
semcode_size: 16
vector_max_size: 16