正如谚语所说，“一张图片胜过千言万语”，将图像作为3D制作的第二种方式相对于仅使用文本的系统具有重大优势。图像主要提供了详细、丰富的视觉信息，而语言可能只能部分或无法完全描述。例如，一张图片可以清晰、立即地表达细微的特征，如纹理、颜色和空间连接，但是词语描述可能需要帮助才能完全表示相同的细节级别或使用非常长的解释。因为系统可以直接参考实际的视觉线索，而不是解释各种复杂性和主观性的书面描述，这种视觉特定性有助于产生更准确、更详细的3D模型。
此外，用户可以更简单、直接地通过使用视觉方式来解释其预期结果，特别适用于那些难以用文字表达他们的想象的人。这种多模式方法可以满足更广泛的创意和实际应用需求，将文本的情境深度与视觉数据的丰富性结合起来，提供更可靠、用户友好和高效的3D制作过程。然而，使用照片作为3D物体开发的替代方式也存在一些困难。与文本相比，图像具有更多的元素，如颜色、纹理和空间连接，这使得它们更难以使用单一编码器（例如CLIP）进行正确分析和理解。
此外，物体在光线、形状或自遮挡方面的显著变化可能导致视图合成更精确、一致，从而提供不完整或模糊的3D模型。由于图像处理的复杂性，需要采用先进的、计算密集的技术有效解码视觉信息并确保在多个视角下外观一致。研究人员使用各种扩散模型方法将2D项目图像转化为3D模型，如Zero123和其他最新的努力。图像独立系统的一个缺点是，虽然合成视图看起来很好，但重建的模型有时需要更高的几何正确性和复杂的纹理，特别是关于物体的后向视角。这个问题的主要原因是生成或合成的视角之间存在较大的几何差异。
因此，在重建过程中，非匹配像素被平均在最终的3D模型中，导致纹理模糊和几何圆滑。从本质上讲，图像条件的3D生成是一个在文本条件的生成相比下具有更严格限制的优化问题。由于只有有限数量的3D数据可用，使用精确特征优化3D模型变得更加困难，因为优化过程往往会偏离训练分布。例如，如果训练数据集包含各种风格的马，仅通过文本描述创建一匹马可能会产生详细的模型。然而，当图像指定特定的毛发特征、形状和纹理时，新视角纹理的生成可能很容易偏离训练分布。
为了解决这些问题，字节跳动的研究团队在本研究中提出了ImageDream。研究团队提出了一个多级图像提示控制器，可以轻松地与当前架构整合在一起，同时考虑到不同对象实例之间的规范相机协调。特别是，根据规范相机协调，生成的图像必须呈现物体的居中前视图，并使用默认的相机设置（恒等旋转和零平移）。这使得将输入图像的差异转化为三维更加简单。通过提供分层控制，多级控制器通过将扩散模型从图像输入引导到每个架构块，简化了信息传递过程。
与仅基于文本条件的模型MVDream相比，ImageDream在从给定图像中生成具有正确几何形状的对象方面表现卓越，如图1所示。这使用户能够利用成熟的图像生成模型来改进图像与文本的对齐。在几何形状和纹理质量方面，ImageDream优于当前最先进的零射单图像3D模型生成器Magic123。ImageDream超越了先前的最先进技术，通过实验部分的全面评估，包括定量评估和用户测试中的定性比较，这一点得到了证明。