Making Short-Form Videos Accessible with Hierarchical Video Summaries

[Masa630]

Links

• Paper: https://arxiv.org/pdf/2402.10382

Abstract

Short videos on platforms such as TikTok, Instagram Reels, and YouTube Shorts (i.e. short-form videos) have become a primary source of information and entertainment. Many short-form videos are inaccessible to blind and low vision (BLV) viewers due to their rapid visual changes, on-screen text, and music or meme-audio overlays. In our formative study, 7 BLV viewers who regularly watched short-form videos reported frequently skipping such inaccessible content. We present ShortScribe, a system that provides hierarchical visual summaries of short-form videos at three levels of detail to support BLV viewers in selecting and understanding short-form videos. ShortScribe allows BLV users to navigate between video descriptions based on their level of interest. To evaluate ShortScribe, we assessed description accuracy and conducted a user study with 10 BLV participants comparing ShortScribe to a baseline interface. When using ShortScribe, participants reported higher comprehension and provided more accurate summaries of video content.

視覚障害者がTiktokのような短いビデオにアクセスしやすくするShortScribeというシステム
・key frameとOCRからshort descriptions / long descriptions / shot-by-shot descriptions の3階層のサマリーを生成

Formative Study
・動画のコンテンツとは関係がない音が流れている場合がある
・短いビデオの場合、スクリーンリーダーがオーバラップしたり、動画内のコンテンツを説明する時間がない

サマリーの評価実験
・人間が詳細な要約を書き、提案手法を人間の要約と比較することで評価を行った

ユーザ実験
・10名の視覚障害者がビデオ理解タスクとビデオ選択タスク(興味があるかどうか)を行った
・ShortScribeはビデオの理解に役立ったと評価
・選択する際の完了時間が短くなったことや、認知負荷が減少したとコメント
・精度向上は今後の課題