LLM(LargeLanguageModel)

2023년 기준 NLP(Natural Language Process) 모델의 거의 대부분은 Tranformer 아키텍처를 기반으로 하며, 모델의 용도에 따라 트랜스포머의 Encoder, Decoder를 개별 또는 통합 사용하는 추세

Transformer Architecture

• Encoder : 말을 잘 이해하게 하는 부분
• Decoder : 말을 잘 하게 하는 부분

LLM Evolution

Closed-Source vs Open-Source

• Closed
  • Good : 뛰어난 성능, API 방식의 편리한 사용성
  • Bad : 보장할 수 없는 보안, API 호출 비용
• Open
  • Good : Closed 못지 않는 성능, 높은 보안성, 낮은 비용
  • Bad : 개발 난이도 높음, 사용 위한 GPU 서버 필요 (비용 발생 요인)

구분	개발사	모델
Closed	OpenAI	GPT-3, GPT-3.5, GPT-4
Closed	Google	PALM, LaMDA, Bard
Open	Meta	LLaMA, LLaMA2
Open	Upstage	upstage-llama2
Oepn	MosaicML	MPT-7B

References

1. 유튜브 모두의AI - 'Langchain 강의 - LLM 초간단 설명'