设计方案分析助手（DesignAnalysisAssistant）

[Y-M-Y]

项目简介

设计方案分析助手（DAA）一个可用于设计方案分析的多模态大模型，可以根据设计方案效果图和文字说明，给出对该设计的分析。主要着眼于建筑设计、景观设计、结构设计等城市建设相关领域，用于辅助从业人员更好地进行设计、评估和改进。计划使用Xtuner对LLava多模态模型在特定数据集上进行微调，使其能够通过效果图对设计方案做出专业的分析。

计划

1. 调研现在大模型在设计方案分析方面的性能。
2. 根据数据集要求，建立设计方案分析数据集。（计划从互联网和专业书籍中可搜集相关设计案例分析作为训练集，尝试使用Opendatalab工具）
3. 使用Xtuner对LLava多模态模型进行微调。
4. 尝试使用Agent加入视觉的检测和分割功能。
5. 模型部署到网页。
6. 根据用户使用情况进一步调整模型，优化Prompt，撰写使用建议。

预期成果

输入为设计效果图，项目基本信息；输出为对效果图的分析，包括详细描述、优缺点、改进空间等等。