README.md

🤗 KoAirBERT ✈️

항공 안전 도메인에 특화된 한국어 BERT 모델

How to use

🤗 Huggingface Hub에 업로드 된 모델을 바로 사용할 수 있습니다 :)

# Load model directly
from transformers import AutoTokenizer, AutoModelForPreTraining

tokenizer = AutoTokenizer.from_pretrained("oneonlee/KoAirBERT")
model = AutoModelForPreTraining.from_pretrained("oneonlee/KoAirBERT")

Post-training

KoAirBERT는 klue/bert-base 모델에 MLM 및 NSP 방식의 Post-training을 추가로 수행한 모델입니다.
학습에는 직접 구축한 한국어 항공안전 도메인 데이터셋을 사용했고, NVIDIA RTX A6000 48GB 1장을 사용하여 약 40분 소요되었습니다.
학습 세팅은 아래와 같습니다.

Params	Initial learning rate	Batch Size	Epochs	Max length*	Weight decay
111M	5e-5	8	3	512	0.01

Dataset Info.

데이터 명	데이터 건 수	문장 수	단어 수
안전장애 보고 데이터	684	10,018	69,472
고장 보고 데이터	1,771	10,480	85,165
항공철도사고조사위원회 사고·준사고보고서	54	1,850	33,935
항공안전문화지표 분석 데이터	1,055	3,652	244,032
GYRO 항공 안전 자율 보고서 – 본문 증강 데이터	6,776	66,848	1,214,061
항공정보포털시스템 항공 용어사전	4,961	15,312	167,295
항공위키	4,314	38,927	766,214
-----------------------------------------------	--------------	--------	----------
누적	19,615	147,087	2,580,174

Download Dataset

• OneDrive
• Google Drive

Reference

• BERT
• klue/bert-base
• huggingface/transformers - pytorch language-modeling examples
• 항공 안전 정보지 (GYRO)
• 항공철도사고조사위원회 사고·준사고보고서
• 항공위키
• 항공정보포털시스템 항공 용어사전
• 항공안전 자율보고 백서(2021)

Citation

이 코드를 연구용으로 사용하는 경우 아래와 같이 인용해주세요.

@software{lee_2023_10158254,
  author       = {Lee, DongGeon},
  title        = {KoAirBERT: Korean BERT Model Specialized for Aviation Safety Domain},
  month        = nov,
  year         = 2023,
  publisher    = {Zenodo},
  version      = {v1.0.1},
  doi          = {10.5281/zenodo.10171038},
  url          = {https://doi.org/10.5281/zenodo.10171038}
}

License

KoAirBERT는 AGPL-3.0 라이선스 하에 공개되어 있습니다. 모델 및 코드를 사용할 경우 라이선스 내용을 준수해주세요. 라이선스 전문은 LICENSE 파일에서 확인하실 수 있습니다.