읽거나📖 보고🔍, 아는 것만 답변하는 지혜로운 기영이봇🤓

1. Introduction

Team KiYOUNG2

"Korean is all YOU Need for dialoGuE"

🔅 Members

김대웅	김채은	김태욱	유영재	이하람	진명훈	허진규
Github	Github	Github	Github	Github	Github	Github

🔅 Contribution

• 진명훈   PM • Retro Reader
• 김대웅   Visual Question Answering
• 김태욱   Open-Domain Question Answering • Dialog
• 허진규   Visual Question Answering • Video Question Answering
• 이하람   Frontend • Backend
• 김채은   Frontend • Backend
• 유영재   Open-Domain Question Answering • Dialog

2. Project Outline

프로젝트 목표

• 목적
  • Boostcamp 학습 내용 최종 정리
  • 다양한 형태(텍스트, 이미지)의 입력 정보에 대한 질의응답 서비스 제공
• 주요 기능
  • 일반 상식에 대한 질의응답
  • 사용자 입력 문서, 또는 이미지에 대한 질의응답

프로젝트 전체 구조

3. Demo

📖 ODQA 예시

👀 VQA 예시

4. How to Use

.
├── frontend
│   ├── ...
│   └── dist
├── odqa
│   ├── ...
│   └── inference.py
├── vqa
│   ├── ...
│   └── ban_kvqa.py
├── .gitignore
├── .gitmodules
├── LICENSE
├── README.md
├── app.py
├── constants.py
├── init.sh
├── model.py
├── poetry.lock
├── pyproject.toml
└── version.py

아래 명령어로 실행 가능합니다.

# 프로젝트 다운로드
git clone https://github.com/boostcampaitech2/final-project-level3-nlp-14.git --recursive
cd final-project-level3-nlp-14
git submodule update --recursive
# 프론트엔드 환경설정
cd frontend
npm install
npm run build
cd ..
# 백엔드 환경설정
poetry shell
poetry install
poe force-cuda11
poe init-vqa
python app.py

5. References

Datasets

• KorQuAD v2.0
  • 라이센스 : CC BY-ND 2.0 KR
• KLUE - MRC
  • 라이센스 : CC BY-SA 4.0
• KVQA(Korean Visual Question Answering)
  • 라이센스 : Korean VQA License
• AI HUB 개방 데이터
  • 라이센스 : https://aihub.or.kr/intro/policy

Paper

• Antol, Stanislaw, et al. "Vqa: Visual question answering." Proceedings of the IEEE international conference on computer vision. 2015
• Yang, Zichao, et al. "Stacked attention networks for image question answering." Proceedings of the IEEE conference on computer vision and pattern recognition. 2016
• Jin-Hwa Kim, Jaehyun Jun, and Byoung-Tak Zhang. "Bilinear attention networks." Advances in Neural Information Processing Systems 31. 2018
• Jin-Hwa Kim, Soohyun Lim, et al. "Korean Localization of Visual Question Answering for Blind People." AI for Social Good workshop at NeurIPS. 2019
• Anderson, Peter, et al. "Bottom-up and top-down attention for image captioning and visual question answering." Proceedings of the IEEE conference on computer vision and pattern recognition. 2018.
• Xu et al., Curriculum Learning for Natural Language Understanding, ACL 2020
• ZHANG, Zhuosheng; YANG, Junjie; ZHAO, Hai. Retrospective reader for machine reading comprehension. arXiv preprint arXiv:2001.09694, 2020.

Software

Open-Domain Question Answering - Reader

• monologg/koelectra-small-v3-discriminator
• huggingface/datasets
• huggingface/transformers
• retro reader

Open-Domain Question Answering - Retrieval

• elastricsearch

Visual Question Answering

• MILVLG/bottom-up-attention
• Shivanshu-Gupta/Stacked Attention Network
• SKTBrain/BAN-KVQA

Web Frameworks

• Vuejs/Vuetify
• FastAPI
• Stremlit