어떤 chain, method를 사용할 것인가

[guesung]

'어떤 chain, method를 사용할 것인가'에 대한 토론

[guesung]

1. chain>Index Related Chains>Document QA - MemoryVectorStore

[guesung]

embeddings를 사용해야함 -> embeddings 만드는데 약 30초 소요 -> 시간 너무 오래 걸림 -> 매우 좋지 않은 UX

[guesung]

  const runRefineDocumentsChain = async () => {
    const { data: docs } = await axios.get("/api/conversation");

    console.log(docs);

    const model = new OpenAI({ temperature: 0, openAIApiKey: OPENAI_API_KEY });

    const chain = loadQARefineChain(model);
    const store = await MemoryVectorStore.fromDocuments(
      docs,
      new OpenAIEmbeddings({ openAIApiKey: OPENAI_API_KEY })
    );
    const question = "아세티론정이라는 약물의 유의사항에 대해 알려줘";
    const relevantDocs = await store.similaritySearch(question);
    const res = await chain.call(
      {
        input_documents: relevantDocs,
        question,
      },
      [
        {
          handleLLMNewToken: async (token: any) =>
            setBotMessage((message) => message + token),
        },
      ]
    );
    console.log({ res });
  };

[guesung]

2. chain>Index Related Chains>Document QA - loadQAMapReduceChain

[guesung]

embeddings 사용 안함 -> 속도 빠름

[guesung]

[
    new Document({ pageContent: "Harrison went to Harvard." }),
    new Document({ pageContent: "Ankush went to Princeton." }),
  ]

에는 적용이 되지만, Next.js API를 이용하여 불러온 docs에서는 적용이 안됨

[guesung]

  const runQAMapReduceChain = async () => {
    // const { data: docs } = await axios.get("/api/conversation");
    const docs = [
      new Document({ pageContent: "아세티론정은 뇌에 좋은 약이아" }),
      new Document({ pageContent: "아세티론정을 먹을 때는 밤에 먹으면 안돼" }),
    ];
    const chain = loadQAMapReduceChain(model);
    const res = await chain.call(
      {
        input_documents: docs,
        question: "아세티론정이라는 약물의 유의사항에 대해 알려줘",
      },
      [
        {
          handleLLMNewToken: async (token: any) =>
            setBotMessage((message) => message + token),
        },
      ]
    );
    console.log({ res });
  };

LLM이기 때문에 handleLLMNewToken메소드를 사용하여 실제 chatGPT처럼 빠르게 바로바로 메시지를 전달할 수 있다.

요청할 때마다 답하는 메시지가 다르고, 내가 입력한 정보 외에는 답변하지 않는 것을 확인할 수 있다.

[guesung]

에이서캡슐의 유의사항에 대해 알려줘. 그리고 . 이 약은 한 번에 몇 알씩 먹어야 하는 지도 알려줘라고 질문하였다.

[guesung]

그런데, 데이터 요청이 한 번만 이루어지는 것이 아니고 상당히 많이 이루어졌다. 이 때문에 #12
비용이 그렇게 많이 들었나보다.

[guesung]

치킨에 대해 알려줘라고 질문하였다.

데이터에 없는 정보는 알려주지 않는다. 굿굿