Easy Finetuner

Easy Finetuner는 llama2 계열 모델의 쉬운 fine-tune 방법을 설명하기 위해서 제작하였습니다.

Custom Dataset 추가방법

사용자 개인의 Dataset을 example-datasets 아래에 huggingface의 datasets 형식으로 저장시키면 dataset load가 쉽게 적용이 가능합니다.
자세한 방법은 위의 colab을 참고해 주세요.

git clone https://github.com/choijhyeok/easy_finetuner.git
cd easy_finetuner
pip install -r requirements.txt

모든 Parameter는 colab T4 GPU에 최적화 되도록 설정했습니다. (만약 다른 GPU를 사용하고 싶다면 confing.py에서 fb16, bf16 을 사용하고자 하는 GPU에 맞게 변경해 주세요)
huggingface의 PEFT 패키지의 SFTTrainer, lora를 사용합니다.
현재는 llama2 기반의 모델에만 적용가능하게 설정했습니다. (fine-tune, load, inference 모두)

Name		Name	Last commit message	Last commit date
Latest commit History 26 Commits
example-datasets		example-datasets
README.md		README.md
app.py		app.py
config.py		config.py
custom.css		custom.css
requirements.txt		requirements.txt
trainer.py		trainer.py
개인_데이터셋을_통한_llama2_fine_tune.ipynb		개인_데이터셋을_통한_llama2_fine_tune.ipynb