Lanchain chain.run() 결괏값 느리게 오는 문제

[dasd412]

가끔 langchain <-> openai api 사이에서 엄청나게 늦게 결과가 오는 경우가 있다...
이경우 timeout 정한 후, 다시 retry 하는 등 연구가 필요하다.
run()이 동기 메서드인지도 확인 필요...

[dasd412]

Retrying langchain.chat_models.openai.ChatOpenAI.completion_with_retry.._completion_with_retry in 1.0 seconds as it raised Timeout: Request timed out: HTTPSConnectionPool(host='api.openai.com', port=443): Read timed out. (read timeout=600).

[dasd412]

위 에러 같은 경우, 실제로 타임아웃 에러가 발생한 것이다. 조치가 필요함...

[dasd412]

타임 아웃을 아무리 느려도 5초안에는 해야 되지 않을까 싶다.

[westreed]

생성이 오래 걸리는 경우에는 5초를 가뿐히 넘길 수도 있을 것 같아요. ㄷㄷ;

[westreed]

Retrying langchain.chat_models.openai.ChatOpenAI.completion_with_retry.<locals>._completion_with_retry in 1.0 seconds as it raised Timeout: Request timed out: HTTPSConnectionPool(host='[api.openai.com](http://api.openai.com/)', port=443): Read timed out. (read timeout=600).

10분 대기상황일 때 서버쪽 메시지.

[westreed]

langchain-ai/langchain#3005

llm = ChatOpenAI(temperature=0, model_name=model, request_timeout=120)

llm_factory.py에서 request_timeout을 수정해주면 잘 반영이 되는지 확인하기

[dasd412]

langchain 걷어내고 openai로 바꿨으므로 해결됨.