NVIDIA發(fā)布了一項名為 “AI Blueprint for 3D – guided generative AI” 的全新技術(shù)方案，為創(chuàng)作者們在生成式AI領(lǐng)域帶來了突破性的創(chuàng)作方式。這一藍(lán)圖通過整合一系列先進(jìn)的工具和技術(shù)，讓開發(fā)者能夠通過 Blender創(chuàng)建3D場景，進(jìn)而直接生成AI圖像，極大地提升了創(chuàng)作過程中的可控性和效率。?

在以往的AI圖像生成中，盡管技術(shù)已經(jīng)取得了顯著進(jìn)步，從早期模型生成手指數(shù)量錯亂的人物圖像，發(fā)展到如今能夠生成極為逼真的視覺效果，但創(chuàng)作者們?nèi)匀幻媾R著一個關(guān)鍵挑戰(zhàn) ——如何實(shí)現(xiàn)對創(chuàng)作過程的精準(zhǔn)控制。單純使用文本描述創(chuàng)建場景雖已變得相對容易，模型對提示詞的匹配度也有所提升，但要通過文本精確描述諸如構(gòu)圖、相機(jī)角度和物體擺放等細(xì)節(jié)，依舊困難重重，且進(jìn)行調(diào)整時更是復(fù)雜。一些先進(jìn)的工作流程借助控制網(wǎng)絡(luò)等工具，為解決這些問題提供了途徑，然而其復(fù)雜的設(shè)置過程限制了更廣泛的應(yīng)用。?

為了幫助創(chuàng)作者克服這些難題，快速獲得先進(jìn)的AI能力，NVIDIA在今年早些時候的CES貿(mào)易展上宣布了適用于RTX電腦的“AI Blueprint for 3D – guided generative AI”。如今，用戶已經(jīng)可以下載這一全新藍(lán)圖，開啟全新創(chuàng)作體驗。?

該藍(lán)圖的核心原理是通過在Blender中創(chuàng)建的3D場景草圖來控制圖像生成。具體而言，Blender 生成的深度圖會被提供給圖像生成器——來自Black Forest Labs的Flux.1 – dev，它結(jié)合用戶的提示詞，生成所需的圖像。深度圖能夠幫助圖像模型理解物體應(yīng)放置的位置，這一技術(shù)的優(yōu)勢在于，由于最終會轉(zhuǎn)換為灰度圖，因此并不需要高度精細(xì)的物體或高質(zhì)量的紋理。并且，因為場景是3D的，用戶可以輕松地移動對象、改變相機(jī)角度，實(shí)現(xiàn)對場景的靈活布局。?

在這一藍(lán)圖的底層，ComfyUI發(fā)揮著重要作用。它是一款強(qiáng)大的工具，允許創(chuàng)作者以有趣的方式鏈接生成式AI模型。例如，ComfyUI Blender 插件可讓用戶將 Blender與ComfyUI連接起來。此外，NVIDIA Nim 微服務(wù)使用戶能夠部署 Flux.1 – dev模型，并在GeForce RTX GPU 上以最佳性能運(yùn)行，這一過程借助了NVIDIA TensorRT軟件開發(fā)套件以及諸如 FP4 和 FP8 等優(yōu)化格式。值得注意的是，運(yùn)行“AI Blueprint for 3D – guided generative AI”需要NVIDIA GeForce RTX 4080 GPU或更高配置的顯卡支持。?