Sketch-A-Shape: Zero-Shot Sketch-to-3D Shape Generation, Aditya Sanghi+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2307.03869

Affiliations

• Aditya Sanghi, N/A
• Pradeep Kumar Jayaraman, N/A
• Arianna Rampini, N/A
• Joseph Lambourne, N/A
• Hooman Shayani, N/A
• Evan Atherton, N/A
• Saeid Asgari Taghanaki, N/A

Abstract

• Significant progress has recently been made in creative applications of largepre-trained models for downstream tasks in 3D vision, such as text-to-shapegeneration. This motivates our investigation of how these pre-trained modelscan be used effectively to generate 3D shapes from sketches, which has largelyremained an open challenge due to the limited sketch-shape paired datasets andthe varying level of abstraction in the sketches. We discover that conditioninga 3D generative model on the features (obtained from a frozen large pre-trainedvision model) of synthetic renderings during training enables us to effectivelygenerate 3D shapes from sketches at inference time. This suggests that thelarge pre-trained vision model features carry semantic signals that areresilient to domain shifts, i.e., allowing us to use only RGB renderings, butgeneralizing to sketches at inference time. We conduct a comprehensive set ofexperiments investigating different design factors and demonstrate theeffectiveness of our straightforward approach for generation of multiple 3Dshapes per each input sketch regardless of their level of abstraction withoutrequiring any paired datasets during training.

Translation (by gpt-3.5-turbo)

• 最近、大規模な事前学習モデルを創造的な応用において、3Dビジョンの下流タスク（例：テキストから形状生成）に効果的に使用する方法について、重要な進展がありました。
  これを受けて、私たちはこれらの事前学習モデルをどのように効果的に利用してスケッチから3D形状を生成するかを調査しました。これは、スケッチ-形状のペアデータセットの限定性とスケッチの抽象度のバリエーションのために、大きな課題となっていました。
  私たちは、トレーニング中に合成レンダリングの特徴（凍結された大規模な事前学習ビジョンモデルから取得）に基づいて3D生成モデルを条件付けることで、スケッチから効果的に3D形状を生成できることを発見しました。
  これは、大規模な事前学習ビジョンモデルの特徴が、ドメインのシフトに対して強靭な意味信号を持っていることを示唆しています。つまり、RGBレンダリングのみを使用してトレーニングし、推論時にスケッチにも一般化できるということです。
  私たちは、さまざまな設計要素を調査する包括的な実験を行い、トレーニング中にペアデータセットを必要とせずに、入力スケッチごとに複数の3D形状を生成するための私たちの直感的なアプローチの効果を示しました。

Summary (by gpt-3.5-turbo)

• 最近の研究では、大規模な事前学習モデルを使用して、スケッチから3D形状を生成する方法について調査されています。この研究では、合成レンダリングの特徴を使用して3D生成モデルをトレーニングし、スケッチから効果的に3D形状を生成できることが示されました。また、ペアデータセットを必要とせずに、入力スケッチごとに複数の3D形状を生成するアプローチの効果も示されました。