NVIDIA發(fā)布了一項名為 “AI Blueprint for 3D – guided generative AI” 的全新技術(shù)方案，為創(chuàng)作者們在生成式AI領(lǐng)域帶來了突破性的創(chuàng)作方式。這一藍圖通過整合一系列先進的工具和技術(shù)，讓開發(fā)者能夠通過 Blender創(chuàng)建3D場景，進而直接生成AI圖像，極大地提升了創(chuàng)作過程中的可控性和效率。?

在以往的AI圖像生成中，盡管技術(shù)已經(jīng)取得了顯著進步，從早期模型生成手指數(shù)量錯亂的人物圖像，發(fā)展到如今能夠生成極為逼真的視覺效果，但創(chuàng)作者們?nèi)匀幻媾R著一個關(guān)鍵挑戰(zhàn) ——如何實現(xiàn)對創(chuàng)作過程的精準控制。單純使用文本描述創(chuàng)建場景雖已變得相對容易，模型對提示詞的匹配度也有所提升，但要通過文本精確描述諸如構(gòu)圖、相機角度和物體擺放等細節(jié)，依舊困難重重，且進行調(diào)整時更是復雜。一些先進的工作流程借助控制網(wǎng)絡(luò)等工具，為解決這些問題提供了途徑，然而其復雜的設(shè)置過程限制了更廣泛的應用。?

為了幫助創(chuàng)作者克服這些難題，快速獲得先進的AI能力，NVIDIA在今年早些時候的CES貿(mào)易展上宣布了適用于RTX電腦的“AI Blueprint for 3D – guided generative AI”。如今，用戶已經(jīng)可以下載這一全新藍圖，開啟全新創(chuàng)作體驗。?

該藍圖的核心原理是通過在Blender中創(chuàng)建的3D場景草圖來控制圖像生成。具體而言，Blender 生成的深度圖會被提供給圖像生成器——來自Black Forest Labs的Flux.1 – dev，它結(jié)合用戶的提示詞，生成所需的圖像。深度圖能夠幫助圖像模型理解物體應放置的位置，這一技術(shù)的優(yōu)勢在于，由于最終會轉(zhuǎn)換為灰度圖，因此并不需要高度精細的物體或高質(zhì)量的紋理。并且，因為場景是3D的，用戶可以輕松地移動對象、改變相機角度，實現(xiàn)對場景的靈活布局。?

在這一藍圖的底層，ComfyUI發(fā)揮著重要作用。它是一款強大的工具，允許創(chuàng)作者以有趣的方式鏈接生成式AI模型。例如，ComfyUI Blender 插件可讓用戶將 Blender與ComfyUI連接起來。此外，NVIDIA Nim 微服務(wù)使用戶能夠部署 Flux.1 – dev模型，并在GeForce RTX GPU 上以最佳性能運行，這一過程借助了NVIDIA TensorRT軟件開發(fā)套件以及諸如 FP4 和 FP8 等優(yōu)化格式。值得注意的是，運行“AI Blueprint for 3D – guided generative AI”需要NVIDIA GeForce RTX 4080 GPU或更高配置的顯卡支持。?