WebGLM: Towards An Efficient Web-Enhanced Question Answering System with Human Preferences, Xiao Liu+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs//2306.07906

Affiliations

• Xiao Liu, N/A
• Hanyu Lai, N/A
• Hao Yu, N/A
• Yifan Xu, N/A
• Aohan Zeng, N/A
• Zhengxiao Du, N/A
• Peng Zhang, N/A
• Yuxiao Dong, N/A
• Jie Tang, N/A

Abstract

• We present WebGLM, a web-enhanced question-answering system based on theGeneral Language Model (GLM). Its goal is to augment a pre-trained largelanguage model (LLM) with web search and retrieval capabilities while beingefficient for real-world deployments. To achieve this, we develop WebGLM withstrategies for the LLM-augmented retriever, bootstrapped generator, and humanpreference-aware scorer. Specifically, we identify and address the limitationsof WebGPT (OpenAI), through which WebGLM is enabled with accuracy, efficiency,and cost-effectiveness advantages. In addition, we propose systematic criteriafor evaluating web-enhanced QA systems. We conduct multi-dimensional humanevaluation and quantitative ablation studies, which suggest the outperformanceof the proposed WebGLM designs over existing systems. WebGLM with the10-billion-parameter GLM (10B) is shown to perform better than thesimilar-sized WebGPT (13B) and even comparably to WebGPT (175B) in humanevaluation. The code, demo, and data are at\url{https://github.com/THUDM/WebGLM}.

Translation (by gpt-3.5-turbo)

• WebGLMは、一般言語モデル（GLM）に基づくWeb拡張型質問応答システムであり、実世界の展開に効率的であることを目的としています。事前にトレーニングされた大規模言語モデル（LLM）にWeb検索と検索機能を付加するための戦略を開発し、LLMによるリトリーバー、ブートストラップされたジェネレーター、および人間の嗜好に配慮したスコアラーを実現します。具体的には、WebGLMが有効になるOpenAIのWebGPTの制限を特定し、精度、効率、およびコスト効果の利点を持つWebGLMを開発します。さらに、Web拡張型QAシステムの評価基準を提案します。多次元の人間評価と定量的なアブレーション研究を実施し、提案されたWebGLMデザインが既存のシステムよりも優れていることを示唆しています。10億パラメータのGLM（10B）を使用したWebGLMは、人間の評価において同じサイズのWebGPT（13B）よりも優れており、WebGPT（175B）と同等の性能を発揮します。コード、デモ、およびデータは\url{https://github.com/THUDM/WebGLM}にあります。

Summary (by gpt-3.5-turbo)

• WebGLMは、GLMに基づくWeb拡張型質問応答システムであり、LLMによるリトリーバー、ブートストラップされたジェネレーター、および人間の嗜好に配慮したスコアラーを実現することで、実世界の展開に効率的であることを目的としています。WebGLMは、WebGPTよりも優れた性能を発揮し、Web拡張型QAシステムの評価基準を提案しています。コード、デモ、およびデータは\url{https://github.com/THUDM/WebGLM}にあります。