3D绘画刷通常用于3D建模或雕塑应用程序，用于创建和操作3D物体或模型。这些工具允许用户直接在3D表面上绘制，为模型添加纹理、颜色和细节。这个过程对于在游戏、动画、电影等各个行业中创造逼真纹理、添加复杂细节和让3D物体栩栩如生至关重要。
高度详细和准确的本地化对于限制编辑在特定区域内是很重要的，以防止与目标编辑无关的更改。通常使用一种叫做纹理映射的技术。纹理映射是一种围绕3D模型表面的2D图像或一组图像，用于提供颜色、表面图案、粗糙度、光泽度和其他视觉特性等细节。由顶点、边和面组成的3D结构形成了物体的形状。
芝加哥大学和Snap Research的研究人员开发了一种3D绘画刷，通过文本描述自动对网格上的本地语义区域进行着色。他们的方法是设计用于直接操作网格，生成无缝融入标准图形流水线的纹理映射。3D绘画刷可通过直观、自由形式的文本输入进行控制，允许用户使用开放词汇描述在各个网格上的编辑。
他们还开发了级联分数蒸馏（CSD）来增强本地纹理区域的细节和分辨率。使用CSD，他们可以修改本地化区域并变形本地化区域中的几何体。他们使用由多层感知器编码的神经场来表示本地化和纹理映射。这种本地化明确标记了纹理，并确保与本地边界一致的本地样式。
显式地学习本地化和纹理确保了本地化区域界限编辑。他们说，3D绘画刷的本地化比现有模型产生的本地化更清晰。用户可以使用他们的CSD来控制监督的粒度和全局理解，实现比其他SDS更高分辨率的纹理和本地化。
他们的方法使用在3D表面上定义的MLP来创建神经纹理，产生在3D中平滑变化的输出。当2D纹理映射在纹理接缝处存在不连续性时，也可以进行这样的操作。MLP提供的平滑度减少了伪影，产生了更少噪音的纹理，并包含超分辨率功能。
团队同时优化本地化和纹理区域。他们发现同时优化可以产生高度详细的纹理，使其有效符合预测的本地化区域。预测的本地化区域是锐利和复杂的。在未来，他们希望扩展本地化编辑能力，超越纹理和学习，使用相同的本地纹理映射来提供形状之间的对应关系。