Как отредактировать любой рисунок с помощью нейросети Stable Diffusion. Подробный гайд
Будем считать, что вы уже установили и настроили Automatic1111's Stable Diffusion web-gui, а также скачали расширение для ControlNet'a и модели для него. Нам нужно будет лишь controlNet Inpaint и controlNet Lineart.
В интернете уже есть гайд по установке. И не один. Да хоть на том же YouTube.
Будем учиться редактировать на примере вот этой картинки:
Автор - Chaesu
Первым делом открываем фотошоп. Да, прежде чем загружать изображение в SD, его нужно подготовить. Проблема тут такая: SD 1.5 модели не могут нормально работать с изображениями больше 800 пикселей. Поэтому, выделяем в фотошопе вот такую область размером 600x900:
Не снимайте выделение сразу, оно ещё пригодится
Выделение есть, теперь Ctrl+C и вставляем скопированный кусок во вкладку txt2img в окошко ControlNet'а (в первые три, то есть вставляем три раза):
![ControlNet vl.1.440
3 units
▼
ControlNet Unit 0 ControlNet Unit 1 ControlNet Unit 2 ControlNet Unit 3 Single Image Batch Multi-Inputs
Set the preprocessor to [invert] If your image has white background and black lines.
Q и ^ ^
Q Enable
Low VRAM
Pixel Perfect,нейронные сети,гайд,Stable](http://img1.reactor.cc/pics/post/full/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5-%D1%81%D0%B5%D1%82%D0%B8-%D0%B3%D0%B0%D0%B9%D0%B4-Stable-diffusion-%D1%80%D0%B0%D0%B7%D0%B4%D0%B5%D1%82%D1%8B%D0%B5-%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D1%81%D0%B5%D1%82%D0%BA%D0%BE%D0%B9-8340757.png "нейронные сети,гайд,Stable diffusion,раздетые нейросеткой")
Вы ведь не забыли увеличить количество юнитов контролнета в настройках?
Теперь настраиваем сами юниты контролнета:
Unit 0:
Первый юнит будет отвечать за перенос стиля
Unit 1:
Второй отвечает за редактирование с сохранением контекста
Unit 2:
Ну и третий юнит для контроля генерации
После этого нажимайте на кнопку предпросмотра:
И скачивайте получившийся "негатив"
Можно поиграться с другими препроцессорами, но lineart_realistic обычно выдаёт лучший результат
Смело открываем его в фотошопе (в новой вкладке, старую пока не трогаем) и начинаем редактировать. Надо лишь убрать всё лишнее и обозначить контур того, что хотим получить. Вот как-то так:
Контролирующий лайн готов. Теперь очищаем ControlNet Lineart и вставляем наш "линейный рисунок". Так как на вход теперь на вход контролнету сам лайн, то нам не нужен препроцессор - ставим его на none.
![Single Image
Batch Multi-Inputs
0 Image
(' /' ff l [/
/ '! " Y Y i
y /\.
/ 1 Start drawing ’i VJ 1
, У
/ \
L i
• i xx • ! 1
Set the preprocessor to [invert] If your image has white background and black lines.
D а ^
Q Enable
Allow Preview Control Type
Low VRAM
Pixel Perfect
Mask](http://img0.reactor.cc/pics/post/full/%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D0%BD%D0%BD%D1%8B%D0%B5-%D1%81%D0%B5%D1%82%D0%B8-%D0%B3%D0%B0%D0%B9%D0%B4-Stable-diffusion-%D1%80%D0%B0%D0%B7%D0%B4%D0%B5%D1%82%D1%8B%D0%B5-%D0%BD%D0%B5%D0%B9%D1%80%D0%BE%D1%81%D0%B5%D1%82%D0%BA%D0%BE%D0%B9-8340764.png "нейронные сети,гайд,Stable diffusion,раздетые нейросеткой")
Это всё ещё Unit 2
Осталось только нарисовать маску inpaint'а. Переходим в ControlNet Inpaint (Unit 1) и прямо тут в веб-интерфейсе закрашиваем те части, которые хотим перерисовать:
Про тень от одежды не забудьте
Осталось лишь написать промпт (и негативный промпт), выбрать параметры генерации (размер 600x900 не забывайте) и нажимать Generate до тех пор, пока не увидите приемлемый результат.
Например:
Главное что стиль далеко не уехал
Это изображение неплохо бы отправить в img2img inpaint, чтобы поправить мелкие недоработки, но сейчас просто копируем его в буфер, возвращаемся в фотошоп и вставляем в нужное место (выделение пригодилось).
Сидит как влитая
Исправляется тем же образом:
Приемлемо
По тому же принципу делаем остальных
Видите недоработки? Исправить их - это ваше домашнее задание
А вот параметры генерации:
(best quality, masterpiece:1.2), 1girl, short hair, (white bikini:1.1), standing, cowboy shot, white background, contrapposto,
Negative prompt: (worst quality, low quality, normal quality:1.3)
Steps: 28, Sampler: DPM++ 2M SDE Karras, CFG scale: 6, Seed: 2598121264, Size: 600x900, Model hash: 3867bda67e, Model: kizukiAlternative_v10, VAE hash: 2125bad8d3, VAE: kl-f8-anime2.ckpt, Clip skip: 2,
ControlNet 0: "Module: reference_only, Model: None, Weight: 0.95, Resize Mode: Crop and Resize, Low Vram: False, Threshold A: 0.5, Guidance Start: 0.22, Guidance End: 1, Pixel Perfect: False, Control Mode: ControlNet is more important, Hr Option: Both, Save Detected Map: True",
ControlNet 1: "Module: inpaint_only+lama, Model: controlnet11Models_inpaint [be8bc0ed], Weight: 1, Resize Mode: Crop and Resize, Low Vram: False, Guidance Start: 0, Guidance End: 1, Pixel Perfect: False, Control Mode: My prompt is more important, Hr Option: Both, Save Detected Map: True",
ControlNet 2: "Module: none, Model: controlnet11Models_lineart [5c23b17d], Weight: 0.8, Resize Mode: Crop and Resize, Low Vram: False, Guidance Start: 0, Guidance End: 0.8, Pixel Perfect: False, Control Mode: Balanced, Hr Option: Both, Save Detected Map: True", Version: v1.7.0
Модель для генерации логично выбирать близкую по стилю. Для не слишком реалистичных рисунков Kizuki Alternative почти идеальна.
Несколько советов:
- Уменьшайте исходное изображение заранее, облегчайте нейросети работу.
- Можно обойтись из без Lineart'а, и тогда сетка додумает форму самостоятельно.
- Если какие-то части получились хорошо, а какие-то нет, то просто перенесите результат во вкладки Reference и Inpaint и работайте уже с ним.
- Если исходное изображение слишком тёмное либо светлое, то модель сама по себе может не справиться и имеет смысл подключать затемняющую или осветляющую мини-модель (лору).
Подробнее
ControlNet vl.1.440 3 units ▼ ControlNet Unit 0 ControlNet Unit 1 ControlNet Unit 2 ControlNet Unit 3 Single Image Batch Multi-Inputs Set the preprocessor to [invert] If your image has white background and black lines. Q и ^ ^ Q Enable Low VRAM Pixel Perfect
Preprocessor reference_only Control Weight 0,95 Starting Control Step o,22 Ending Control Step Style Fidelity (only for "Balanced" mode) Control Mode Balanced My prompt is more important Q ControlNet is more important
Preprocessor Model inpaint_only+lama - u controlnetllModelsJnpaint [be8bc0e< ▼ Control Weight 1 Starting Control Step o Ending Control Step i Control Mode Balanced Q My prompt is more important ControlNet is more important □
Preprocessor Model lineart_realistic - u controlnetllModelsJineart [5c23bl7d Control Weight 0,8 Starting Control Step o Ending Control Step Preprocessor Resolution Control Mode O Balanced My prompt is more important ControlNet is more important - 0 0,8 600
Single Image Batch Multi-Inputs
Single Image Batch Multi-Inputs 0 Image (' /' ff l [/ / '! " Y Y i y /\. / 1 Start drawing ’i VJ 1 , У / \ L i • i xx • ! 1 Set the preprocessor to [invert] If your image has white background and black lines. D а ^ Q Enable Allow Preview Control Type Low VRAM Pixel Perfect Mask Upload All Canny Depth NormalMap OpenPose MLSD O Lineart SoftEdge Scribble/Sketch Segmentation Shuffle Tile/Blur Inpaint h?4tructP2P Reference Recolor Revision T2l-Adapter IP-Adm*ier lnstant_ID Preprocessor Model none - n controlnetllModelsJineart [5c23bl7d ▼ В
нейронные сети,гайд,Stable diffusion,раздетые нейросеткой
SD 1.5 - 512х512 пикселей, модели-потомки NovelAI - 768х768, ограничение фиксится экстеншеном Tiled Diffusion.
Схоронил пост, попробую когда до своего компа доберусь.
я бы скорей такое ожидал увидеть на хабре или дтф чем на джое
первый контролет depth, второй openpose, ничо не надо дорисовывать
нормальный негативный промпт с упоминанием одежды и стилёк под аниме
просто идете ипейнт и дорисовываете без всяких там котролнетов.
контрол нет редко нужен, если моделька не может в том стиле дорисовать
обычно всё само подстраивается под сам арт