Stable Diffusion反向提示词详解：原理、代码实现与应用示例

Stable Diffusion反向提示词详解：原理、代码实现与应用示例

引用

CSDN

1.

https://m.blog.csdn.net/2301_80239908/article/details/143994420

在AI绘画领域，Stable Diffusion是一个广受欢迎的图像生成模型。除了使用正向提示词来引导图像生成外，反向提示词（Negative Prompt）也是一个非常实用的功能。本文将详细介绍反向提示词的概念、原理和具体实现方法，帮助读者更好地控制图像生成过程。

反向文本提示词概念

反向提示词是我们可以添加到SD模型中的一种额外功能，用于告诉稳定扩散模型我们不想在生成的图像中看到什么。这个功能很流行，可以删除用户不想从原始生成的图像中看到的任何内容。示例图像如下：

原理理解

让我们从导入所需的库和辅助函数开始。所有这些已经在本系列前面的几个组件部分中使用和解释过了，这里就不再累述，我们直接从函数prompt_2_img 开始讲起。 现在，我们将通过传递一个额外的参数neg_prompts来更改prompt_2_img函数。反向文本提示的工作方式是在进行采样时使用用户指定的文本来替代之前空字符串进行条件嵌入(uncond)。原理如下：

代码实现

基于上述分析，我们使用以下代码来实现反向文本提示信息的嵌入：

def prompt_2_img(prompts, neg_prompts=None, g=7.5, seed=100, steps=70, dim=512, save_int=False):    
    # Defining batch size
    bs = len(prompts)         
    # Converting textual prompts to embedding
    text = text_enc(prompts)         
    # Adding an unconditional prompt , helps in the generation process
    if not neg_prompts: uncond =  text_enc([""] * bs, text.shape[1])    
    else: uncond =  text_enc(neg_prompts, text.shape[1])    
    emb = torch.cat([uncond, text])     
    # Setting the seed
    if seed: torch.manual_seed(seed)    
    # Initiating random noise
    latents = torch.randn((bs, unet.in_channels, dim//8, dim//8))        
    # Setting number of steps in scheduler
    scheduler.set_timesteps(steps)    
    # Adding noise to the latents     
    latents = latents.to("cuda").half() * scheduler.init_noise_sigma        
    # Iterating through defined steps
    for i,ts in enumerate(tqdm(scheduler.timesteps)):        
        # We need to scale the i/p latents to match the variance
        inp = scheduler.scale_model_input(torch.cat([latents] * 2), ts)        
        # Predicting noise residual using U-Net
        with torch.no_grad(): u,t = unet(inp, ts, encoder_hidden_states=emb).sample.chunk(2)        
        # Performing Guidance
        pred = u + g*(t-u)        
        # Conditioning  the latents
        latents = scheduler.step(pred, ts, latents).prev_sample        
        # Saving intermediate images
        if save_int:             
            if not os.path.exists(f'./steps'): os.mkdir(f'./steps')            
            latents_to_pil(latents)[0].save(f'steps/{i:04}.jpeg')                
    # Returning the latent representation to output an image of 3x512x512
    return latents_to_pil(latents)

整体代码逻辑和之前的逻辑保持一致，唯一不同的就是对反向提示词的处理，已在上一节进行阐述。

功能验证

接着，我们使用以下代码来验证上述函数的功能：

## Image without neg prompt
images = [None, None]
images[0] = prompt_2_img(prompts = ["A dog wearing a white hat"], neg_prompts=[""],steps=50, save_int=False)[0]
images[1] = prompt_2_img(prompts = ["A dog wearing a white hat"], neg_prompts=["White hat"],steps=50, save_int=False)[0]    

## Plotting side by side
fig, axs = plt.subplots(1, 2, figsize=(12, 6))
for c, img in enumerate(images):     
    axs[c].imshow(img)    
    if c == 0 : axs[c].set_title(f"A dog wearing a white hat")    
    else: axs[c].set_title(f"Neg prompt - white hat")

得到结果如下：

正如我们所看到的，这是一个非常方便的功能，可以根据大家的喜好对图像进行微调。当然也可以用它来生成一张非常逼真的脸，仅仅需要增加更加详细的文本提示描述。让我们试试：

prompt = ['Close-up photography of the face of a 30 years old man with brown eyes, (by Alyssa Monks:1.1), by Joseph Lorusso, by Lilia Alvarado, beautiful lighting, sharp focus, 8k, high res, (pores:0.1),  (sweaty:0.8), Masterpiece, Nikon Z9, Award - winning photograph']
neg_prompt = ['lowres, signs, memes, labels, text, food, text, error, mutant, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, made by children, caricature, ugly, boring, sketch, lacklustre, repetitive, cropped, (long neck), facebook, youtube,body horror, out of frame, mutilated, tiled, frame, border, porcelain skin, doll like, doll']
images = prompt_2_img(prompts = prompt, neg_prompts=neg_prompt, steps=50, save_int=False)
out = images[0]

得到结果如下：

非常整洁！我希望这能引起大家一些关于如何使用文本提示词来控制稳定扩散模型输出的想法。

总结

本文重点介绍了使用反向文本提示词来进行条件嵌入实现控制文本生成图像内容的相关背景知识和具体代码实现，并给出了相应的示例。