[2024/07/19/금] 미영언니 요청에 대한 답 + 방향성에 대한 의견

[zlwmxkdla]

🔶<미영언니 요청에 대한 답>

일단 미영언니가 요청한 코드 코랩 유료에서 돌아가는지 확인했습니다.

음..허깅페이스 토큰에서는 문제 없고 모델 용량이 커서 에러 발생한 거 같습니다. 아무래도 안 돌아가는 것 같아요ㅜ

🔶<깃허브 model 레퍼지토리에 작성해놓았는데 다른 분들 확인 안 하시는 것 같아서 여기에도 작성합니다>

지금 저희가 사용하는 base model이 2가지입니다. (basae model이란 파인튜닝 수행하기 전 가져다 쓰는 기본 모델을 의미합니다. )

• meta-llama-instruct 모델 : 챗봇에 특화되어 있는 모델입니다.
• llama-3-open-KO-8B 모델 : 가장 최근에 발표된 한국어 기반 라마3 모델입니다.

저희 허깅페이스에 meta라는 이름이 붙어서 저장된 모델이 meta-llama-instruct 모델로 파인튜닝된 모델입니다.
0707이라는 이름이 붙어서 저장된 모델은 llama-3-open-KO-8B 모델로 파인튜닝된 모델입니다.(모델이 두개 될지 모르고 날짜로 저장했는데 이름 바꾸는게 안 되서 찾아보고 바꿀 수 있으면 바꿔 놓을게요)
-> 따라서 해당 모델들 사용할 때 참고 바랍니다.

---

🔶< 방안에 대한 의견 >

일단 코랩 유료 환경에서는 16G의 모델로 불러오고 테스트하는 과정 진행 중에 있습니다.
근데 제 생각엔 LM Studio 쓰는 게 좋을 거 같긴 합니다.

[ 그렇게 생각한 이유 ]

• 코랩에서 모델 불러오긴 하는데 문제점이 이게 코랩이 한 번 할 때마다 저장되는게 아니라서 새로 파일을 작동시킬 때마다 모델 불러오는 작업을 계속 진행하고 이 과정이 시간이 좀 소요되다 보니 컴퓨팅 단위도 불필요하게 사용됩니다.
• 저번 이슈에서도 언급했는데 아직 이 부분이 해결되지는 않았는데 가끔 모델이 응답을 생성할 때 너무 많은 답변을 생성해냅니다. 미영언니가 구동시킨 LM Studio 결과 보면 그러지는 않은 거 같아서 답변 출력하는 부분에 있어서도 코랩보다는 LM studio가 더 적합해보여요

🔶여러 모델 사용에 대한 의견

그리고 역할놀이마다 여러 모델 사용하는 거에 대해 생각해보았는데
모델은 하나만 사용하고 역할놀이 상황에 따라 프롬프트를 변경하는 방식은 어떨까요? 이건 그냥 의견 제시이고 한 번 참고 해달라는 의미로 제시합니다.

🔶프롬프트 엔지니어링으로 인한 방향성

또한 기존에는 그냥 역할 지정하지 않고 사용자가 처음 내뱉는 말에 따라 어짜피 모델이 응답 생성해내니까 자동적으로 사용자와 모델(ai)의 역할이 구분되어서 진행될 거라 생각했습니다.

근데 프롬프트 엔지니어링 수행하면 각각의 역할을 부여하는게 프롬프트 엔지니어링이니까 역할 선택에 따른 프롬프트 변경도 구현해야 할 것 같습니다!