生成式实验

AIGC Project

关于可控图像生成的几个小实验：风格、身份、结构。

概览

这个仓库收集的是我跟着论文、视频和开源社区的思路复现出来的结果，与其说是一个完整产品，不如说是一本视觉笔记。每个实验其实都在从不同角度问同一个问题：只加很少的训练或者约束，能把一个大的图像生成模型控制到什么程度？

目前做了三个方向：风格（水墨山水 LoRA）、身份（个性化人像）、结构（生成一张仍然能被扫出来的二维码）。

Stable Diffusion: 作为底座的文生图模型。这里的所有实验都不动它的原始权重，只改动加在它外面的东西。
LoRA（低秩适配）: 不去微调整个模型，而是训练一组很小的低秩矩阵，注入到注意力层里。最后产出的只是几十 MB 的一个文件，可以随时挂载或卸下，几十张图、一张消费级显卡就能训。
个性化生成: 用少量照片把一个特定对象绑定到一个触发词上，之后在 prompt 里提到这个词，就能把这个对象放进新的场景里。
ControlNet: 在 Stable Diffusion 之外再加一个网络，用一张结构图作为额外条件——这里用的就是二维码本身。底模照常画插画，ControlNet 负责把明暗结构按住，这是生成结果还能扫出来的关键。
QR Toolkit: 一个 Stable Diffusion 插件，负责二维码这一端的准备和修补：生成原始二维码、调整容错等级与模块对比度，并把扩散过程画得偏离太多、已经扫不出来的区域修回去。