Evaluating the Social Impact of Generative AI Systems in Systems and Society, Irene Solaiman+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs//2306.05949

Affiliations

• Irene Solaiman, N/A
• Zeerak Talat, N/A
• William Agnew, N/A
• Lama Ahmad, N/A
• Dylan Baker, N/A
• Su Lin Blodgett, N/A
• Hal Daumé III, N/A
• Jesse Dodge, N/A
• Ellie Evans, N/A
• Sara Hooker, N/A
• Yacine Jernite, N/A
• Alexandra Sasha Luccioni, N/A
• Alberto Lusoli, N/A
• Margaret Mitchell, N/A
• Jessica Newman, N/A
• Marie-Therese Png, N/A
• Andrew Strait, N/A
• Apostol Vassilev, N/A

Abstract

• Generative AI systems across modalities, ranging from text, image, audio, andvideo, have broad social impacts, but there exists no official standard formeans of evaluating those impacts and which impacts should be evaluated. Wemove toward a standard approach in evaluating a generative AI system for anymodality, in two overarching categories: what is able to be evaluated in a basesystem that has no predetermined application and what is able to be evaluatedin society. We describe specific social impact categories and how to approachand conduct evaluations in the base technical system, then in people andsociety. Our framework for a base system defines seven categories of socialimpact: bias, stereotypes, and representational harms; cultural values andsensitive content; disparate performance; privacy and data protection;financial costs; environmental costs; and data and content moderation laborcosts. Suggested methods for evaluation apply to all modalities and analyses ofthe limitations of existing evaluations serve as a starting point for necessaryinvestment in future evaluations. We offer five overarching categories for whatis able to be evaluated in society, each with their own subcategories:trustworthiness and autonomy; inequality, marginalization, and violence;concentration of authority; labor and creativity; and ecosystem andenvironment. Each subcategory includes recommendations for mitigating harm. Weare concurrently crafting an evaluation repository for the AI researchcommunity to contribute existing evaluations along the given categories. Thisversion will be updated following a CRAFT session at ACM FAccT 2023.

Translation (by gpt-3.5-turbo)

• テキスト、画像、音声、動画など、様々なモダリティにわたる生成型AIシステムは、広範な社会的影響を持っていますが、それらの影響を評価するための公式の標準は存在していません。我々は、どのような影響を評価すべきか、そしてどのように評価すべきかについて、あらゆるモダリティの生成型AIシステムを評価するための標準的なアプローチに向けて進んでいます。我々は、技術的な基盤システムで評価可能な社会的影響のカテゴリーと、人々や社会で評価可能な社会的影響のカテゴリーについて説明します。基盤システムのためのフレームワークでは、バイアス、ステレオタイプ、表象的な害、文化的価値とセンシティブなコンテンツ、パフォーマンスの不均衡、プライバシーとデータ保護、財務的コスト、環境コスト、データとコンテンツのモデレーションの労働コストの7つの社会的影響のカテゴリーを定義しています。評価のための提案された方法は、すべてのモダリティに適用され、既存の評価の限界の分析は、将来の評価に必要な投資の出発点となります。我々は、社会で評価可能な影響について、5つの大きなカテゴリーを提供しています。それぞれにサブカテゴリーがあり、信頼性と自律性、不平等、マージナリゼーション、暴力、権限の集中、労働と創造性、エコシステムと環境の影響が含まれます。各サブカテゴリーには、害を軽減するための推奨事項が含まれています。我々は、AI研究コミュニティが既存の評価を提供できるように、評価リポジトリを同時に作成しています。このバージョンは、ACM FAccT 2023のCRAFTセッションの後に更新されます。

Summary (by gpt-3.5-turbo)

• 様々なモダリティにわたる生成型AIシステムの社会的影響を評価するための公式の標準が存在しないため、我々はそれらの影響を評価するための標準的なアプローチに向けて進んでいます。我々は、技術的な基盤システムで評価可能な社会的影響のカテゴリーと、人々や社会で評価可能な社会的影響のカテゴリーを定義し、それぞれにサブカテゴリーと害を軽減するための推奨事項を提供しています。また、AI研究コミュニティが既存の評価を提供できるように、評価リポジトリを作成しています。