本文由 簡悅 SimpRead 轉(zhuǎn)碼， 原文來源stable-diffusion-art

您知道可以為圖像的不同區(qū)域指定提示嗎？你可以在 AUTOMAT 上做到這一點(diǎn)......

您知道可以為圖像的不同區(qū)域指定提示嗎？您可以使用區(qū)域提示器擴(kuò)展在 AUTOMATIC1111 上執(zhí)行此操作。

在這篇文章中，您將首先通過一個(gè)簡單的分步示例了解如何使用區(qū)域提示技術(shù)。然后您將了解將區(qū)域提示與 ControlNet 一起使用的更多高級用法。

軟件

我們將使用 AUTOMATIC1111 ?Stable Diffusion GUI。您可以在Windows、? Mac或 Google Colab上使用此 GUI 。

安裝區(qū)域提示器擴(kuò)展

Colab 筆記本

在Quick Start Gudie的Colab Notebook中安裝 Regional Prompter 擴(kuò)展很容易。您需要做的就是檢查區(qū)域提示器擴(kuò)展。

Windows 或 Mac

按照以下步驟在 AUTOMATIC1111 中安裝區(qū)域提示器擴(kuò)展。

1. 正常啟動(dòng) AUTOMATIC1111 Web-UI。
2. 導(dǎo)航到擴(kuò)展頁面。
3. 單擊可用選項(xiàng)卡。
4. 單擊**加載自：**按鈕。
5. 找到擴(kuò)展名“區(qū)域提示器”。
6. 單擊安裝。
7. 重新啟動(dòng)網(wǎng)絡(luò)用戶界面。

一個(gè)簡單的例子

讓我們看一個(gè)簡單的例子。我將使用一個(gè)非常簡單的提示來說明效果。

假設(shè)您要生成同一圖像中的**男人和女人。**使用簡單提示

一個(gè)男人和一個(gè)女人

和否定提示

毀容的，丑陋的

我們得到……一個(gè)男人和一個(gè)女人。

到目前為止，一切都很好。但是，如果您想更具體一點(diǎn)怎么辦？就像生成一個(gè)黑發(fā)男人和一個(gè)金發(fā)女人？自然地，您將其寫在提示符中。

一個(gè)黑頭發(fā)的男人，一個(gè)金發(fā)女人

有時(shí)你會得到你所描述的_，_但更多時(shí)候穩(wěn)定擴(kuò)散混淆了哪種頭發(fā)顏色應(yīng)該和誰搭配。如果要進(jìn)一步指定服裝的顏色等，情況就更難了。

發(fā)生了什么？為什么 Stable Diffusion 連這個(gè)簡單的事情都做不了？自注意力機(jī)制錯(cuò)誤地將頭發(fā)顏色和人聯(lián)系起來。

這個(gè)問題有一個(gè)解決方案：只在圖像的左側(cè)指定黑發(fā)男性提示，在圖像右側(cè)指定金發(fā)女性提示。

區(qū)域提示器

要使用區(qū)域提示器：

1. 展開txt2img頁面上的區(qū)域提示器部分。

2. 勾選激活以激活區(qū)域提示器。

3. 大多數(shù)默認(rèn)設(shè)置都適用于此示例。具體來說，他們是

• 分割方式：水平
• 生成方式：注意力
• 分頻比：1, 1

4. 點(diǎn)擊visualize and make template。您將看到下面的區(qū)域圖像指示兩個(gè)區(qū)域：左側(cè)的區(qū)域 0 和右側(cè)的區(qū)域 1 按 1 比 1 的比例平均劃分。

5.放入提示

一個(gè)男人和一個(gè)女人，一個(gè)黑頭發(fā)的男人
BREAK一個(gè)男人和一個(gè)女人，一個(gè)金頭發(fā)的女人

提示由關(guān)鍵字分隔**BREAK**。我們上面有兩個(gè)提示。

第一個(gè)提示將應(yīng)用于區(qū)域 0。第二個(gè)提示將應(yīng)用于區(qū)域 1。

否定提示：

毀容的，畸形的，丑陋的

由于否定提示中沒有BREAK，整個(gè)提示將應(yīng)用于兩個(gè)區(qū)域。

這些是我們得到的：

穩(wěn)定擴(kuò)散在區(qū)域 0（左）中正確生成黑發(fā)男性，在區(qū)域 1 中生成金發(fā)女性。（右）

請注意，這并非 100% 的時(shí)間都有效。根據(jù)我的經(jīng)驗(yàn)，它更像是 75% 的時(shí)間。但這仍然比純屬偶然要好得多。

常用提示

您可能已經(jīng)注意到這兩個(gè)提示有一個(gè)共同的部分“一個(gè)男人和一個(gè)女人”。

一個(gè)男人和一個(gè)女人，一個(gè)黑頭發(fā)的男人
BREAK一個(gè)男人和一個(gè)女人，一個(gè)金頭發(fā)的女人

如果沒有通用提示，Stable Diffusion 只會生成一個(gè)人：

一個(gè)黑頭發(fā)的男人
BREAK一個(gè)金發(fā)女人

原因是左右區(qū)域的提示都描述了一個(gè)人。所以你得到一個(gè)人！您需要告訴 Stable Diffusion 這是兩個(gè)人的照片：一個(gè)男人和一個(gè)女人。

這就是為什么你需要一個(gè)共同的提示“一個(gè)男人和一個(gè)女人”。

與這個(gè)玩具示例不同，如果您生成真實(shí)的圖像，則常見提示通常會很長。有一個(gè)方便的方法來處理這個(gè)問題。

1. 選中選項(xiàng)Use common prompt。

2、現(xiàn)在可以a man and a woman在開頭添加常用提示符（ ）。

一個(gè)男人和一個(gè)女人
BREAK
一個(gè)黑頭發(fā)的男人
BREAK一個(gè)金頭發(fā)的女人

我們上面有三個(gè)提示：（1）普通提示，（2）區(qū)域0提示，（2）區(qū)域1提示。

公共提示被添加到每個(gè)區(qū)域的提示的開頭。

普通提示只是一個(gè)語法糖：它等同于原始提示中的內(nèi)容。

更復(fù)雜的區(qū)域

使用區(qū)域提示器的秘訣在于準(zhǔn)確定義區(qū)域。在本節(jié)中，我將解釋如何設(shè)置分頻比以按照您想要的方式分解圖像。可能很難理解或記住如何正確指定區(qū)域。您可以隨時(shí)單擊可視化并制作模板來生成區(qū)域圖像。

在一維劃分中，可以水平或垂直劃分區(qū)域。

橫向劃分

要水平劃分區(qū)域，請?jiān)?strong>劃分模式中選擇****水平。每個(gè)區(qū)域都由一個(gè)用逗號分隔的數(shù)字表示。數(shù)字代表區(qū)域的大小。

分頻比示例：

1,1

1,1,1

1,2,1

縱向劃分

垂直劃分模式類似，只是區(qū)域是垂直劃分的。以下是分壓比的一些示例。

1,1

1,1,1

1,2,1

二維區(qū)域

您可以在圖像中垂直和水平劃分區(qū)域。選擇橫向分割模型。規(guī)則是

• 行由;
• 每行是由逗號分隔的一系列數(shù)字，例如1,1,1
• 每行中的第一個(gè)數(shù)字表示行的高度。隨后的數(shù)字代表區(qū)域的寬度。

讓我們看幾個(gè)例子。

1,1,1; 1,1,1

這定義了兩行，每行的高度為 1。兩行都有兩個(gè)寬度相等的區(qū)域 (1,1)。

總共有4個(gè)區(qū)域。

1,1,1; 2,1,1

• 這定義了兩行。
• 第一行的高度是1，第二行的高度是2。
• 每行有兩個(gè)寬度相等的區(qū)域 (1,1)。
• 總共有4個(gè)區(qū)域。

最后，讓我們看一個(gè)更復(fù)雜的例子。明白了這一點(diǎn)，你就明白了區(qū)域劃分的一切！

1,1,1,1; 2,1,2

• 有兩排。
• 第一行的高度是1，第二行的高度是2。
• 第一行有 3 個(gè)寬度為 1 的區(qū)域。(1,1,1)
• 第二行有兩個(gè)寬度為 1 和 2 的區(qū)域。(1,2)
• 總共有5個(gè)區(qū)域。

二維區(qū)域提示示例

假設(shè)我正在嘗試真實(shí)的圖像。我想出了以下提示。

型號：Lyriel v1.5

迅速的：

一個(gè)女巫，非常詳細(xì)的臉，半身，工作室照明，戲劇性的照明，非常詳細(xì)的衣服，看著你，神秘的，戲劇性的照明，（滿月：1.3），（美麗的火魔法：1.2）

否定提示：

未成年的，不成熟的，毀容的，畸形的

我們得到了一些不錯(cuò)的圖像，如下所示。

不錯(cuò)，但沒有辦法控制月亮和火的位置。您所能做的就是不斷點(diǎn)擊“生成”按鈕，直到獲得您想要的展示位置。

這是區(qū)域提示器可以提供幫助的地方。

使用以下設(shè)置：

• 分割方式：水平
• 使用普通提示：是
• 分頻比：1,1,1;2,1,1

迅速的：

一個(gè)女巫，高度精細(xì)的臉，半身，工作室燈光，戲劇性的燈光，高度精細(xì)的衣服，看著你，神秘，戲劇性的燈光 BREAK（滿月：1.3）BREAK BREAK
BREAK
（
美麗
的
火魔法：1.2）

這將月亮置于區(qū)域 0（左上），將火置于區(qū)域 3（右下）。

我們現(xiàn)在可以控制位置了！

現(xiàn)在讓我們把月亮放在右上角（區(qū)域 1），把火放在左下角（區(qū)域 2）。

一個(gè)女巫，高度精細(xì)的臉，半身，工作室燈光，戲劇性的燈光，高度精細(xì)的衣服，看著你，神秘，戲劇性的燈光 BREAK BREAK（滿月：1.3）
BREAK
（
美麗
的
火焰魔法：1.2）BREAK

請看右上角的月亮和****左下角的火。

同樣，您應(yīng)該知道區(qū)域提示并非在 100% 的時(shí)間都有效。所以一次至少生成幾張圖片。

使用 ControlNet 進(jìn)行區(qū)域提示

區(qū)域提示器可以指定每個(gè)區(qū)域的提示，但它不能控制整體圖像組成。嗯，我們有一個(gè)工具可以做到這一點(diǎn)：ControlNet。

讓我們來看兩個(gè)結(jié)合使用 Regional Prompter 和 ControlNet 的示例，以實(shí)現(xiàn)沒有它們我們只能夢想的操縱程度。

示例 1：控制全局和局部組合

假設(shè)您想要生成一張巫師在小地窖空間中研究舊卷軸的圖像。此外，您希望他旁邊有一只狼，地板上有一些頭骨。

有很多因素需要處理。如果您使用常規(guī)的文本到圖像，您將看到各種各樣的構(gòu)圖。

文本到圖像

作為一個(gè)無知的 Stable Diffusion 用戶，我輸入了這個(gè)提示并希望一切順利。

一個(gè)神秘的巫師，非常詳細(xì)的臉，非常詳細(xì)的衣服，電影，黑暗，恐怖，破舊的石墻，古老的符號，古老的神秘撕裂的卷軸，狼，許多頭骨

否定提示：

未成年的，不成熟的，毀容的，畸形的

型號：Lyriel v1.5

由于我的提示技巧，這些都是不錯(cuò)的圖像。（！）

但這并不是我想要生成的。可能我沒說清楚他在研究卷軸。讓我們稍微重新安排一下提示。

一個(gè)神秘的巫師研究古老的神秘撕裂的卷軸，非常詳細(xì)的臉，非常詳細(xì)的衣服，電影，黑暗，恐怖，破舊的石墻，古代符號，狼，許多頭骨

現(xiàn)在它更接近我的想法。但我無法控制巫師的姿勢及其放大的程度。

添加控制網(wǎng)

自然，下一步是使用ControlNet控制姿勢。我假設(shè)您已經(jīng)安裝了它并且了解基礎(chǔ)知識。

我將指導(dǎo)您在此工作流程中使用它。如果您想了解更多信息，請閱讀ControlNet 文章。

我將使用此庫存圖片作為參考。

**步驟 1.**將參考圖像上傳到圖像畫布。您可以將參考圖像拖放到那里。

步驟 2.檢查啟用。

第 3 步。在預(yù)處理器下拉菜單中選擇openpose。

第 4 步。在模型下拉菜單中選擇control_opepose。

或者，通過執(zhí)行以下步驟預(yù)覽提取的姿勢。

• 檢查允許預(yù)覽。
• **一個(gè)看起來像爆炸的新圖標(biāo)將出現(xiàn)在“模型”**下拉菜單旁邊。單擊圖標(biāo)以預(yù)覽姿勢。

按生成以使用 ControlNet 生成圖像。

這就是我們得到的。

現(xiàn)在它向前邁進(jìn)了一步。我們已經(jīng)修復(fù)了巫師的姿勢。他現(xiàn)在總是坐下來展示他的完整身體。

但它仍然缺乏一種機(jī)制來指定某些區(qū)域的提示。你可能知道我要做什么。沒錯(cuò)，添加區(qū)域提示！

添加區(qū)域提示

**現(xiàn)在，通過選中“活動(dòng)”**復(fù)選框來激活區(qū)域提示器擴(kuò)展。

我們?nèi)詫⑹褂?strong>水平 分割模式。

檢查使用通用提示。

我們將把圖像分成 4 個(gè)區(qū)域。分頻比是

1,1,1.5; 1,1,1.5

4個(gè)地區(qū)是這樣的。

我們希望有以下內(nèi)容：

• 整體形象：巫師
• 區(qū)域 0：帶有古老符號的石墻
• 區(qū)域 1：巫師閱讀卷軸
• 區(qū)域二：石墻邊的狼
• 區(qū)域 3：一些頭骨

所以提示是

一個(gè)神秘的巫師，非常詳細(xì)的臉，非常詳細(xì)的衣服，電影，黑暗，恐怖
BREAK
破舊的石墻，（古代符號：1.3）
BREAK
古老的神秘（撕裂的卷軸：1.2）
BREAK
破舊的石墻，（狼：1.5）
BREAK（許多頭骨：1.5），模糊

請注意，我增加了一些關(guān)鍵字的權(quán)重。否則對象可能不會顯示。

現(xiàn)在您可以完全控制狗、技能和神秘符號的位置。請參見下圖。

示例 2：正確的顏色分配

假設(shè)您想要生成一些棕色頭發(fā)、黃色襯衫和藍(lán)色連衣裙的女性的照片。聽起來容易嗎？

如果您嘗試過生成類似的東西，您就會知道這是一個(gè)挑戰(zhàn)。

讓我們看一些帶有以下提示的示例。（修改自Realistic People教程）

年輕女性的全身照片，天然棕色頭發(fā)，黃色襯衫，藍(lán)色連衣裙，繁忙的街道，邊緣照明，工作室照明，看著相機(jī)，數(shù)碼單反相機(jī)，超高品質(zhì)，銳聚焦，粘性銳利，景深，膠片顆粒，F(xiàn)ujifilm XT3，晶瑩剔透，8K UHD，高度細(xì)致的有光澤的眼睛，高度細(xì)致的皮膚，皮膚毛孔

毀容，丑陋，糟糕，不成熟，卡通，動(dòng)漫，3d，繪畫，黑白

型號：Realistic Vision v2

即興穩(wěn)定擴(kuò)散！顏色都混在一起了。

您會發(fā)現(xiàn)要告訴 Stable Diffusion 哪種顏色應(yīng)該放在哪里并不容易。prompt token 的 self-attention 在這里效果不佳。

你會偶然得到一個(gè)正確的作業(yè)。但我寧愿利用那個(gè)機(jī)會獲得一個(gè)好的構(gòu)圖......

區(qū)域提示器

顏色分配是區(qū)域提示器可以提供幫助的事情。讓我們將圖像垂直分成 3 部分。

分割模式：垂直

分頻比：1、1、1.5

使用普通提示：是

迅速的：

年輕女性的全身照片，繁忙的街道，邊緣照明，工作室照明，看著相機(jī)，數(shù)碼單反相機(jī)，超高品質(zhì)，清晰的焦點(diǎn)，粘性銳利，自由度，膠片顆粒，F(xiàn)ujifilm XT3，晶瑩剔透，8K UHD，高度詳細(xì)的有光澤的眼睛, 高細(xì)節(jié)皮膚, 皮膚毛孔
BREAK
天然棕色頭發(fā)
BREAK
(黃色上衣: 1.3)
BREAK(藍(lán)色連衣裙: 1.3)

否定提示是一樣的：

毀容，丑陋，糟糕，不成熟，卡通，動(dòng)漫，3d，繪畫，黑白

很不錯(cuò)！區(qū)域提示是解決顏色分配問題的有效方法。

使用 ControlNet Pose 獲得更多控制。

區(qū)域提示器作為創(chuàng)意工具

我們有幸擁有 Stable Diffusion。區(qū)域提示器使您能夠在圖像的不同部分進(jìn)行提示。讓我們考慮做一些新的東西！創(chuàng)建一些以前不可能的視覺效果！

下面是將自然場景的圖像水平劃分為四個(gè)部分并為每個(gè)部分分配不同天氣的示例。

分割方式：水平

分頻比：1,1,1,1

使用普通提示：是

型號：Lyriel v1.5

迅速的：

一個(gè)美麗的野生公園，自由之路，勇氣和愛，國家地理年度照片
BREAK
春天，樹木，鳥類，綠草，（晴天，野花：1.2），上帝之光，晴空
BREAK
多云，干燥
BREAK
雷雨，雨
BREAK冬天，大雪，荒蕪的樹木

否定提示

BREAK
雪
BREAK
BREAK
BREAKBREAK

我相信你可以比我更有創(chuàng)造力。讓您的想法暢通無阻并開始嘗試！

最后的筆記

• 如果看不到對象，請?jiān)黾雨P(guān)鍵字的權(quán)重。
• 得到不完美的圖像是很正常的。用inpainting在這里或那里修復(fù)它。與許多其他擴(kuò)展不同，區(qū)域提示器在 txt2img 和 img2img 之間共享設(shè)置。因此，如果您不想使用它進(jìn)行修復(fù)，請務(wù)必取消選中**“活動(dòng)” 。**
• 這個(gè)擴(kuò)展的功能比我經(jīng)歷過的要多。請參閱區(qū)域提示器 GitHub 頁面以了解更多信息。
• 有一個(gè)名為Latent Couple 的早期插件可以做類似的事情。區(qū)域提示器正在更新并具有一些額外的功能。
• 嘗試使用注意力和潛在生成模式，看看哪一種最適合您。（注意力對我來說效果很好。）

本文使用 文章同步助手 同步