什么是扩散模型
文章目录
生成式人工智能，即算法处理各种输入（如文本、图像、音频、视频和代码）并生成新内容的能力，正在以前所未有的速度发展。虽然这项技术正在多个行业取得重大进展，但建筑、工程和施工 (AEC) 行业将从中受益匪浅。
AEC 公司历来都在努力应对碎片化的数据系统。这导致重要信息被孤立在各个部门或项目阶段，从而导致效率低下、误解和项目成本增加。随着生成式人工智能的出现，AEC 行业正处于转型的边缘。
这项尖端技术有可能通过集成数据、自动化设计任务和增强协作来彻底改变 AEC 行业，从而实现更高效、创新和可持续的项目。
扩散模型：AEC 中生成式 AI 的关键组成部分
自生成式 AI 推出以来，GPT-4 等大型语言模型 (LLM) 一直处于领先地位，以其在自然语言处理、机器翻译和内容创建方面的多功能性而闻名。除此之外，OpenAI 的 DALL-E、Google 的 Imagen、Midjourney 和 Stability AI 的 Stable Diffusion 等图像生成器正在改变建筑师、工程师和建筑专业人士可视化和设计项目的方式，从而实现快速原型设计、增强创造力和更高效的工作流程。
扩散模型的核心是其独特的能力。它们可以通过逐步添加和删除数据集中的噪声，从提示中生成高质量的数据。
训练扩散模型是通过在多次迭代中向数百万张图像添加噪声，并在模型以反向过程重新创建图像时给予奖励来完成的。经过训练后，模型即可进行推理，用户可以生成逼真的数据，例如图像、文本、视频、音频或 3D 模型。
为什么要添加噪声？它有助于扩散模型模拟随机变化、理解数据、防止过度拟合并确保平稳转换。想象一下，您有一张建筑设计草图。您开始向其中添加随机噪声，使其看起来越来越像乱七八糟的涂鸦。这是正向过程。反向过程就像一步一步清理那乱七八糟的涂鸦，直到您回到详细清晰的建筑渲染图。
该模型学会了如何很好地完成这个清理过程，以至于它可以从随机噪声开始，最终生成一个全新的、逼真的建筑设计。通过这种创新方法，扩散模型可以产生非常准确和详细的输出，使其成为一种强大的工具。
扩散模型因其学习、解释和生成视觉效果的方式而难以控制。然而，ControlNets（一组针对特定任务进行训练的神经网络）可以增强基础模型的功能。建筑师可以通过提供参考来对生成过程施加精确的结构和视觉控制。
例如，Sketch ControlNet 可以将建筑图纸转换为完全实现的渲染图。
可以将多个 ControlNet 组合在一起以实现额外的控制。例如，Sketch ControlNet 可以与适配器配对，该适配器可以结合参考图像以将特定的颜色和样式应用于设计。
ControlNets 非常高效，因为它们可以处理各种类型的信息，使建筑师和设计师能够以新的方式管理他们的设计并与客户交流想法。
利用 NVIDIA 加速计算功能进一步增强了扩散模型的性能。 NVIDIA 优化的模型（例如 SDXL Turbo 和 LCM-LoRA）提供最先进的性能和实时图像生成功能。 这些模型显著提高了推理速度并减少了延迟，每秒最多可生成四张图像，大大减少了生成高分辨率图像所需的时间。
扩散模型为 AEC 行业提供了几个特定的好处，增强了设计、可视化和项目管理的各个方面：
高质量可视化
扩散模型可以从简单的草图、文本描述或组合生成逼真的图像和视频。 此功能对于创建详细的建筑渲染和可视化非常有用，可帮助决策者理解和可视化拟议的项目。
日光照明和能源效率
扩散模型可以生成日光照明图并分析自然光对建筑设计的影响。这有助于优化窗户位置和其他设计元素，以增强室内日光照明和能源效率，确保建筑舒适且可持续。
快速原型设计
通过自动生成设计替代方案和可视化效果（包括材料或物体定位），扩散模型可以显著加快设计过程。建筑师和工程师可以更快地探索更多设计选项，从而获得更具创新性和优化的解决方案。
成本节约和流程优化
扩散模型可以定制 BIM（建筑信息模型）政策，以满足特定地区和项目的需求。通过确保将资源导向最需要的领域，可以改善资源分配。这种灵活性确保政策能够根据不同地区和项目的独特要求量身定制，从而降低项目成本并提高整体效率。
使用、定制或构建您的扩散模型
组织可以通过多种方式利用扩散模型。他们可以按原样使用预训练模型，根据特定需求对其进行定制，或者从头开始构建新模型，并通过根据用户的独特要求进行量身定制来充分利用其潜力。
预训练模型可立即部署，缩短上市时间并最大限度地减少初始投资。定制预训练模型可以集成特定领域的数据，提高特定应用的准确性和相关性。从头开始开发模型虽然资源密集，但可以创建高度专业化的解决方案，以应对独特挑战并提供竞争优势。
将 AEC 行业的扩散模型视为房屋建筑。使用预训练模型类似于使用标准预制房屋 - 它们随时可用，节省时间和初始成本。定制预训练模型就像修改标准的现成房屋计划以满足特定要求，确保设计满足特定需求和偏好。从头开始构建模型类似于从头开始创建全新的蓝图。这种方法提供了最大的灵活性和定制性，但需要大量的专业知识、时间和资源。
每种方法都有优点和缺点，使组织能够根据其项目目标和可用资源选择最合适的方法。
预训练模型，快速部署
对于许多组织而言，从扩散模型中获益的最快方法是使用预训练模型。这些模型可通过 NVIDIA API 目录获得，经过优化，性能卓越，可直接部署到应用程序中。
NVIDIA NIM 为组织提供了一种精简而高效的方式来部署扩散模型，从而能够根据文本提示生成高分辨率、逼真的图像。借助预构建的容器，组织可以在 NVIDIA 加速基础设施上快速设置和运行扩散模型（可从 NVIDIA 工作站、数据中心、云服务合作伙伴和私有本地服务器获得）。
这种方法简化了部署过程并最大限度地提高了性能，使企业能够专注于构建创新的生成式 AI 工作流程，而无需复杂的模型开发和优化。
开发人员可以免费体验和试验 NVIDIA 托管的 NIM。
NVIDIA 开发者计划的成员可以免费访问 NIM，以便在他们喜欢的基础设施上进行研究、开发和测试。
企业可以通过 NVIDIA AI Enterprise 软件平台使用 NIM 在生产中部署 AI 应用程序。
定制扩散模型
定制扩散模型可以提高 AEC 组织扩散模型的相关性、准确性和性能。它还使组织能够纳入自己的知识和行业特定术语，并应对特定挑战。
微调涉及采用预训练模型并使用较小的特定领域数据集调整其参数，以更好地满足组织的特定需求和细微差别。这种量身定制的方法提高了生成内容的质量和实用性，并提供了可扩展性和灵活性。组织可以根据其需求的变化调整模型。
对于希望通过用户友好的途径开始定制扩散模型的公司，NVIDIA AI Workbench 提供了一个简化的环境，让数据科学家和开发人员可以快速启动并运行生成式 AI。借助 AI Workbench，用户可以开始使用可适应不同数据和用例的预配置项目。它是快速、迭代开发和本地测试的理想选择。
可以修改示例项目（例如微调扩散模型）以支持生成建筑渲染等功能。此外，这种灵活性还扩展到受支持的基础设施。用户可以在 NVIDIA RTX 驱动的 AI 工作站上本地启动，只需单击几下即可扩展到几乎任何地方 - 数据中心或云。有关如何自定义扩散模型的更多详细信息，请探索 GitHub 项目。
用于微调扩散模型的另一种轻量级训练技术是低秩自适应或 LoRA。LoRA 模型体积小，非常适合建筑公司。它们可以在本地工作站上进行管理和训练，而无需大量云资源。
了解如何使用 NVIDIA NIM 无缝部署和扩展多个 LoRA 适配器。
对于高级定制和高性能训练，NVIDIA NeMo 提供了一个全面、可扩展且云原生的平台。NeMo 提供了多种定制技术选择，并针对扩散模型的大规模推理进行了优化，具有多 GPU 和多节点配置。
集成到 NeMo 框架中的 DRaFT+ 算法增强了扩散模型的微调，并确保模型产生符合特定项目要求的多样化和高质量输出。如需了解更多技术细节并访问 DRaFT+ 算法，请访问 GitHub 上的 NeMo-Aligner 库。
NVIDIA Launchpad 提供免费的动手实验室环境，AEC 专业人员可以在此学习使用自定义图像微调扩散模型并针对特定任务进行优化，例如生成高质量的建筑渲染图或可视化建筑项目。
构建符合您风格的扩散模型
现在我们已经介绍了预训练和定制模型，让我们从头开始构建扩散模型。投资定制扩散模型可让 AEC 组织充分利用 AI 的潜力，从而实现更高效、更准确、更具创新性的项目成果。
例如，一家建筑公司可能会构建自己的扩散模型来生成符合其特定建筑风格和客户偏好的设计概念，而一家建筑公司可以开发一个模型来优化资源分配和项目调度。
这种方法的一个例子是位于伦敦的设计公司 Heatherwick Studio 的工作。他们一直在设计过程中使用 AI。该工作室以其在世界各地的创新项目而闻名，包括谷歌在伦敦和加利福尼亚的总部、开普敦的非洲第一家当代非洲艺术博物馆以及东京的一个新区。Heatherwick Studio 一直在开发使用其数据来简化设计流程、渲染和数据访问的工具。
“在工作室，我们不仅相信人工智能可以改善行业的变革力量，而且还在日常工作中积极开发和部署内部定制的扩散模型，”Heatherwick 工作室几何和计算设计负责人 Pablo Zamorano 说道。
“我们开发了一种基于 Web 的工具，可以快速进行设计激发、快速渲染和图像编辑，以及一种允许在我们的 BIM 工具中进行定制知识搜索的工具。这些工具增强了我们的设计师和可视化人员的工作能力，现在已经很成熟了。”
使用 NVIDIA 创建自定义扩散模型
NeMo 提供了一个强大的框架，该框架提供了用于在本地、所有领先的云服务提供商或 NVIDIA DGX Cloud 中构建和训练自定义扩散模型的组件。它包括从快速学习到参数高效微调 (PEFT) 的一套定制技术，非常适合需要生成高质量建筑渲染并高效优化施工可视化的 AEC 客户。
另外，NVIDIA Picasso 是一个 AI 代工厂，资产市场公司利用它构建和部署具有商业安全视觉内容 API 的尖端生成 AI 模型。
Getty Images 用于图像生成的生成 AI 服务以及 Shutterstock 用于 3D 生成的生成 AI 服务基于 Picasso 构建，可根据文本或图像创建商业安全的视觉媒体。AEC 组织可以微调他们选择的 Picasso 驱动模型，以创建自定义扩散模型，从不同风格的文本提示或草图生成图像。 Picasso 支持端到端 AI 模型开发，从数据准备和模型训练到模型微调和部署，使其成为开发自定义生成式 AI 服务的理想解决方案。
使用扩散模型进行负责任的创新
使用 AI 模型涉及几个关键步骤，包括数据收集、预处理、算法选择、训练和评估。每个步骤都需要仔细考虑，以确保模型表现良好并满足项目的特定需求。
但是，在整个过程中整合负责任的 AI 实践同样重要。尽管生成式 AI 模型具有令人印象深刻的功能，但容易受到偏见、安全漏洞和意想不到的后果的影响。如果没有适当的保护措施，这些模型可能会产生强化有害刻板印象、歧视某些人群或包含安全漏洞的输出。
此外，保护扩散模型的安全性对于生成式 AI 驱动的应用程序至关重要。NVIDIA 推出了加速机密计算，这是一项突破性的安全功能，可缓解威胁，同时为 AI 工作负载提供前所未有的 NVIDIA H100 Tensor Core GPU 加速。此功能可确保敏感数据即使在处理过程中也保持安全和受到保护。