LLMs as Workers in Human-Computational Algorithms? Replicating Crowdsourcing Pipelines with LLMs, Tongshuang Wu+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2307.10168

Affiliations

• Tongshuang Wu, N/A
• Haiyi Zhu, N/A
• Maya Albayrak, N/A
• Alexis Axon, N/A
• Amanda Bertsch, N/A
• Wenxing Deng, N/A
• Ziqi Ding, N/A
• Bill Guo, N/A
• Sireesh Gururaja, N/A
• Tzu-Sheng Kuo, N/A
• Jenny T. Liang, N/A
• Ryan Liu, N/A
• Ihita Mandal, N/A
• Jeremiah Milbauer, N/A
• Xiaolin Ni, N/A
• Namrata Padmanabhan, N/A
• Subhashini Ramkumar, N/A
• Alexis Sudjianto, N/A
• Jordan Taylor, N/A
• Ying-Jui Tseng, N/A
• Patricia Vaidos, N/A
• Zhijin Wu, N/A
• Wei Wu, N/A
• Chenyang Yang, N/A

Abstract

• LLMs have shown promise in replicating human-like behavior in crowdsourcingtasks that were previously thought to be exclusive to human abilities. However,current efforts focus mainly on simple atomic tasks. We explore whether LLMscan replicate more complex crowdsourcing pipelines. We find that modern LLMscan simulate some of crowdworkers' abilities in these "human computationalgorithms," but the level of success is variable and influenced by requesters'understanding of LLM capabilities, the specific skills required for sub-tasks,and the optimal interaction modality for performing these sub-tasks. We reflecton human and LLMs' different sensitivities to instructions, stress theimportance of enabling human-facing safeguards for LLMs, and discuss thepotential of training humans and LLMs with complementary skill sets. Crucially,we show that replicating crowdsourcing pipelines offers a valuable platform toinvestigate (1) the relative strengths of LLMs on different tasks (bycross-comparing their performances on sub-tasks) and (2) LLMs' potential incomplex tasks, where they can complete part of the tasks while leaving othersto humans.

Translation (by gpt-3.5-turbo)

• 大規模言語モデル（LLMs）は、以前は人間の能力に限定されていると考えられていたクラウドソーシングタスクにおいて、人間のような振る舞いを再現する可能性を示しています。
  しかし、現在の取り組みは主に単純な原子的なタスクに焦点を当てています。
  私たちは、LLMsがより複雑なクラウドソーシングパイプラインを再現できるかどうかを探求します。
  現代のLLMsは、これらの「人間計算アルゴリズム」において、一部のクラウドワーカーの能力をシミュレートできることを見つけましたが、成功レベルは変動し、リクエスターのLLMの能力理解、サブタスクに必要な具体的なスキル、およびこれらのサブタスクを実行するための最適な相互作用モダリティに影響を受けます。
  私たちは、人間とLLMsの指示への異なる感度について考察し、LLMsに対する人間向けのセーフガードの有効化の重要性を強調し、相補的なスキルセットを持つ人間とLLMsのトレーニングの可能性について議論します。
  重要なことに、クラウドソーシングパイプラインの再現は、（1）異なるタスクにおけるLLMsの相対的な強み（サブタスクのパフォーマンスを相互比較することによって）と（2）LLMsの複雑なタスクにおける潜在能力を調査するための貴重なプラットフォームを提供することを示しています。LLMsは一部のタスクを完了させながら、他のタスクを人間に任せることができます。

Summary (by gpt-3.5-turbo)

• 大規模言語モデル（LLMs）は、クラウドソーシングタスクにおいて人間のような振る舞いを再現できる可能性がある。しかし、現在の取り組みは単純なタスクに焦点を当てており、より複雑なパイプラインを再現できるかどうかは不明である。LLMsの成功は、リクエスターの理解力やサブタスクのスキルに影響を受ける。人間とLLMsのトレーニングの組み合わせにより、クラウドソーシングパイプラインの再現が可能であり、LLMsは一部のタスクを完了させながら、他のタスクを人間に任せることができる。