Feat/#18 multi prompt and inference notebooks

[ohilikeit]

Overview

• [FEAT] langchain retrieval의 input, output key 변경가능해짐에 따른 prompter.py와 템플릿 수정 #18 이슈 반영

Change Log

• 학습시킨 모델과 대화를 통해 생성결과를 확인해볼 수 있는 주피터 노트북 추가
• multi.json과 prompter.py를 적절히 수정

To Reviewer

• 학습을 해보신 분들은 노트북 코드를 통해 대화해보세요.
• openai api key와 huggingface token을 .env 파일에 넣어놔야합니다.

Issue Tags

• Closed | Fixed: [FEAT] langchain retrieval의 input, output key 변경가능해짐에 따른 prompter.py와 템플릿 수정 #18
• See also: [FEAT] 싱글 턴, 멀티 턴 대화 프롬프트 템플릿 #7 [EXP] Vector store-backed memory #8

[ohilikeit]

pipeline에서 generation config를 설정할 때 repetition_penalty=1.05로 1에 가깝게 주는 게 좀 더 일관성있게 사용자의 발화에 대한 질문을 하는 답을 생성합니다.

pipe = pipeline(
    'text-generation',
    model = model,
    tokenizer = tokenizer,
    device=0,
    min_new_tokens=20,
    max_new_tokens=256,
    early_stopping=True,
    do_sample=True,
    eos_token_id=2,
    no_repeat_ngram_size=2,
    repetition_penalty=1.05,
    temperature=0.7,
    top_k=20,
    top_p=0.95,
)
이 부분의 인자를 조절해보는 실험도 진행해주십시오.