RankZephyr: Effective and Robust Zero-Shot Listwise Reranking is a Breeze!, Ronak Pradeep+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2312.02724

Affiliations

• Ronak Pradeep, N/A
• Sahel Sharifymoghaddam, N/A
• Jimmy Lin, N/A

Abstract

• In information retrieval, proprietary large language models (LLMs) such asGPT-4 and open-source counterparts such as LLaMA and Vicuna have played a vitalrole in reranking. However, the gap between open-source and closed modelspersists, with reliance on proprietary, non-transparent models constrainingreproducibility. Addressing this gap, we introduce RankZephyr, astate-of-the-art, open-source LLM for listwise zero-shot reranking. RankZephyrnot only bridges the effectiveness gap with GPT-4 but in some cases surpassesthe proprietary model. Our comprehensive evaluations across several datasets(TREC Deep Learning Tracks; NEWS and COVID from BEIR) showcase this ability.RankZephyr benefits from strategic training choices and is resilient againstvariations in initial document ordering and the number of documents reranked.Additionally, our model outperforms GPT-4 on the NovelEval test set, comprisingqueries and passages past its training period, which addresses concerns aboutdata contamination. To foster further research in this rapidly evolving field,we provide all code necessary to reproduce our results athttps://github.com/castorini/rank_llm.

Translation (by gpt-3.5-turbo)

• 情報検索において、GPT-4などのプロプライエタリな大規模言語モデル（LLMs）やLLaMA、Vicunaなどのオープンソースのモデルは、再ランキングにおいて重要な役割を果たしてきました。
  しかし、オープンソースとクローズドモデルの間には依然としてギャップがあり、プロプライエタリで透明性のないモデルに依存することで再現性が制約されています。
  このギャップに対処するために、我々はRankZephyrを紹介します。これは最先端のオープンソースのLLMであり、リストワイズなゼロショット再ランキングにおいてGPT-4との効果のギャップを埋めるだけでなく、一部の場合にはプロプライエタリモデルを上回る能力を持っています。
  TREC Deep Learning Tracks、BEIRのNEWSとCOVIDなど、複数のデータセットにわたる包括的な評価により、この能力を示しています。
  RankZephyrは戦略的なトレーニングの選択肢を活用しており、初期ドキュメントの順序や再ランキングされるドキュメントの数の変動に対しても強靭です。
  さらに、我々のモデルは、トレーニング期間を過ぎたクエリとパッセージから成るNovelEvalテストセットにおいて、GPT-4を上回る性能を発揮し、データの汚染に関する懸念を解消しています。
  この急速に進化する分野でのさらなる研究を促進するために、我々はhttps://github.com/castorini/rank_llmで結果を再現するために必要なすべてのコードを提供しています。

Summary (by gpt-3.5-turbo)

• RankZephyrは、オープンソースのLLMであり、再ランキングにおいてプロプライエタリモデルと同等の性能を発揮する。TREC Deep Learning TracksやBEIRのNEWSとCOVIDなどのデータセットで包括的な評価を行い、高い能力を示している。さらに、NovelEvalテストセットでもGPT-4を上回る性能を発揮し、データの汚染に対する懸念を解消している。結果の再現に必要なコードは、https://github.com/castorini/rank_llmで提供されている。