Результаты поиска по запросу «

гайд Stable diffusion

»

Запрос:
Создатель поста:
Теги (через запятую):



Stable diffusion нейронные сети гайд ControlNet automatic1111 

Правильная установка ControlNet в SD webui

Хочу поделиться с вами моим постом с github и reddit.

Я потратил много времени на поиск и решение проблемы с ошибками при установке ControlNet, десятки раз переустанавливал webui и перечитал море информации на github. Пока что данный способ самый рабочий из всех и позволяет обойти ошибки установки mediapipe, OSError и permissions при установке ControlNet.

Сперва я рекомендую сделать чистую установку SD webui, но если такой возможности нет, то удалите расширение controlnet в папке extensions и удалите папку venv, после чего запустите webui-user.bat, дождитесь пока webui восстановит удалённые папки и загрузит все файлы, затем закройте webui.

Перейдите в папку с SD webui, щелкните на строку с директориями и введите "cmd", нажмите enter.

stable-diffusion-webui X + <- ^ G Щ @ Создать ' LO ГО ® Й 0 I'l' Сортировать v = П| i f > 4 6 I A Имя Дата изменения Тип •git 29.03.2024 22:37 Папка с файлами .github 29.03.2024 22:37 Папка с файлами _pycache_ 29.03.2024 22:56 Папка с файлами config_states 29.03.2024 22:56 Папка с

Откроется командная строка и вы увидите путь к вашей папке с webui.

Теперь вам нужно поочередно вводить эти команды, терпеливо дожидаясь завершения всех операций (я выделил команды жирным текстом):

F:\stable-diffusion-webui>venv\scripts\activate.bat

(venv) F:\stable-diffusion-webui>pip install mediapipe

(venv) F:\stable-diffusion-webui>pip install svglib

(venv) F:\stable-diffusion-webui>pip install fvcore

(venv) F:\stable-diffusion-webui>pip install "opencv-python>=4.8.0"

(venv) F:\stable-diffusion-webui>pip install https://github.com/Gourieff/Assets/raw/main/Insightface/insightface-0.7.3-cp310-cp310-win_amd64.whl --prefer-binary

(venv) F:\stable-diffusion-webui>deactivate

Готово. Теперь запустите файл webui-user.bat и установите/переустановите расширение controlnet. Сообщения об ошибках больше не должны появляться и расширение будет работать нормально. Если и появятся какие-то ошибки, то можете их игнорировать либо написать в комментариях, я попробую разобраться.
Развернуть

нейронные сети гайд Stable diffusion раздетые нейросеткой 

Как отредактировать любой рисунок с помощью нейросети Stable Diffusion. Подробный гайд

Будем считать, что вы уже установили и настроили Automatic1111's Stable Diffusion web-gui, а также скачали расширение для ControlNet'a и модели для него. Нам нужно будет лишь controlNet Inpaint и controlNet Lineart.

В интернете уже есть гайд по установке. И не один. Да хоть на том же YouTube.

Будем учиться редактировать на примере вот этой картинки:

нейронные сети,гайд,Stable diffusion,раздетые нейросеткой

Автор - Chaesu

Первым делом открываем фотошоп. Да, прежде чем загружать изображение в SD, его нужно подготовить. Проблема тут такая: SD 1.5 модели не могут нормально работать с изображениями больше 800 пикселей. Поэтому, выделяем в фотошопе вот такую область размером 600x900:

нейронные сети,гайд,Stable diffusion,раздетые нейросеткой

Не снимайте выделение сразу, оно ещё пригодится

Выделение есть, теперь Ctrl+C и вставляем скопированный кусок во вкладку txt2img в окошко ControlNet'а (в первые три, то есть вставляем три раза):

ControlNet vl.1.440 3 units ▼ ControlNet Unit 0 ControlNet Unit 1 ControlNet Unit 2 ControlNet Unit 3 Single Image Batch Multi-Inputs Set the preprocessor to [invert] If your image has white background and black lines. Q и ^ ^ Q Enable Low VRAM Pixel Perfect,нейронные сети,гайд,Stable

Вы ведь не забыли увеличить количество юнитов контролнета в настройках?

Теперь настраиваем сами юниты контролнета:
Unit 0:

Preprocessor reference_only Control Weight 0,95 Starting Control Step o,22 Ending Control Step Style Fidelity (only for "Balanced" mode) Control Mode Balanced My prompt is more important Q ControlNet is more important,нейронные сети,гайд,Stable diffusion,раздетые нейросеткой

Первый юнит будет отвечать за перенос стиля

Unit 1:

Preprocessor Model inpaint_only+lama - u controlnetllModelsJnpaint [be8bc0e< ▼ Control Weight 1 Starting Control Step o Ending Control Step i Control Mode Balanced Q My prompt is more important ControlNet is more important □,нейронные сети,гайд,Stable diffusion,раздетые нейросеткой

Второй отвечает за редактирование с сохранением контекста

Unit 2:

Preprocessor Model lineart_realistic - u controlnetllModelsJineart [5c23bl7d Control Weight 0,8 Starting Control Step o Ending Control Step Preprocessor Resolution Control Mode O Balanced My prompt is more important ControlNet is more important - 0 0,8 600,нейронные сети,гайд,Stable

Ну и третий юнит для контроля генерации

После этого нажимайте на кнопку предпросмотра:

нейронные сети,гайд,Stable diffusion,раздетые нейросеткой

И скачивайте получившийся "негатив"

Single Image Batch Multi-Inputs,нейронные сети,гайд,Stable diffusion,раздетые нейросеткой

Можно поиграться с другими препроцессорами, но lineart_realistic обычно выдаёт лучший результат

Смело открываем его в фотошопе (в новой вкладке, старую пока не трогаем) и начинаем редактировать. Надо лишь убрать всё лишнее и обозначить контур того, что хотим получить. Вот как-то так:

Контролирующий лайн готов. Теперь очищаем ControlNet Lineart и вставляем наш "линейный рисунок". Так как на вход теперь на вход контролнету сам лайн, то нам не нужен препроцессор - ставим его на none.

Single Image Batch Multi-Inputs 0 Image (' /' ff l [/ / '! " Y Y i y /\. / 1 Start drawing ’i VJ 1 , У / \ L i • i xx • ! 1 Set the preprocessor to [invert] If your image has white background and black lines. D а ^ Q Enable Allow Preview Control Type Low VRAM Pixel Perfect Mask

Это всё ещё Unit 2

Осталось только нарисовать маску inpaint'а. Переходим в ControlNet Inpaint (Unit 1) и прямо тут в веб-интерфейсе закрашиваем те части, которые хотим перерисовать:

нейронные сети,гайд,Stable diffusion,раздетые нейросеткой

Про тень от одежды не забудьте

Осталось лишь написать промпт (и негативный промпт), выбрать параметры генерации (размер 600x900 не забывайте) и нажимать Generate до тех пор, пока не увидите приемлемый результат.
Например:

нейронные сети,гайд,Stable diffusion,раздетые нейросеткой

Главное что стиль далеко не уехал

Это изображение неплохо бы отправить в img2img inpaint, чтобы поправить мелкие недоработки, но сейчас просто копируем его в буфер, возвращаемся в фотошоп и вставляем в нужное место (выделение пригодилось).

нейронные сети,гайд,Stable diffusion,раздетые нейросеткой

Сидит как влитая

Исправляется тем же образом:

нейронные сети,гайд,Stable diffusion,раздетые нейросеткой

Приемлемо

По тому же принципу делаем остальных

нейронные сети,гайд,Stable diffusion,раздетые нейросеткой

Видите недоработки? Исправить их - это ваше домашнее задание

А вот параметры генерации:

(best quality, masterpiece:1.2), 1girl, short hair, (white bikini:1.1), standing, cowboy shot, white background, contrapposto,
Negative prompt: (worst quality, low quality, normal quality:1.3)
Steps: 28, Sampler: DPM++ 2M SDE Karras, CFG scale: 6, Seed: 2598121264, Size: 600x900, Model hash: 3867bda67e, Model: kizukiAlternative_v10, VAE hash: 2125bad8d3, VAE: kl-f8-anime2.ckpt, Clip skip: 2,

ControlNet 0: "Module: reference_only, Model: None, Weight: 0.95, Resize Mode: Crop and Resize, Low Vram: False, Threshold A: 0.5, Guidance Start: 0.22, Guidance End: 1, Pixel Perfect: False, Control Mode: ControlNet is more important, Hr Option: Both, Save Detected Map: True",

ControlNet 1: "Module: inpaint_only+lama, Model: controlnet11Models_inpaint [be8bc0ed], Weight: 1, Resize Mode: Crop and Resize, Low Vram: False, Guidance Start: 0, Guidance End: 1, Pixel Perfect: False, Control Mode: My prompt is more important, Hr Option: Both, Save Detected Map: True",

ControlNet 2: "Module: none, Model: controlnet11Models_lineart [5c23b17d], Weight: 0.8, Resize Mode: Crop and Resize, Low Vram: False, Guidance Start: 0, Guidance End: 0.8, Pixel Perfect: False, Control Mode: Balanced, Hr Option: Both, Save Detected Map: True", Version: v1.7.0

Модель для генерации логично выбирать близкую по стилю. Для не слишком реалистичных рисунков Kizuki Alternative почти идеальна.

Несколько советов:

- Уменьшайте исходное изображение заранее, облегчайте нейросети работу.

- Можно обойтись из без Lineart'а, и тогда сетка додумает форму самостоятельно.

- Если какие-то части получились хорошо, а какие-то нет, то просто перенесите результат во вкладки Reference и Inpaint и работайте уже с ним.

- Если исходное изображение слишком тёмное либо светлое, то модель сама по себе может не справиться и имеет смысл подключать затемняющую или осветляющую мини-модель (лору).

Развернуть

нейронные сети гайд туториал StableDiffusion песочница 

Как перерисовать/раздеть любого персонажа с помощью Stable Diffusion

нейронные сети,гайд,туториал,StableDiffusion,песочница

Сегодня я расскажу о способе дорисовывать любые рисунки с помощью инструментов Stable Diffusion. Но прежде чем я начну, убедитесь что у вас установлена свежая версия Stable Diffusion webui от Automatic1111 + расширение ControlNet 1.1 со всеми нужными моделями.
Вот видео-инструкции (смотреть по порядку):

Установили? Тогда начинаем.

Часть 1. ControlNet Inpaint

Ни для кого не секрет, что в SD существует фича под названием inpaint - это, по сути, способ сгенерировать что-то поверх существующего изображения. В интерфейсе от Automatic1111 под inpaint'ом обычно подразумевают один из режимов img2img. Это хоть и мощный инструмент, но, всё же, недостаточно точный и контролируемый. Тут на помощь приходит ControlNet Inpaint и исправляет главный недостаток "классического" inpaint'а - игнорирование контекста. Впрочем, достаточно теории переходим к практике.

Итак, возьмём изображение, которое мы хотим отредактировать.

И сразу же уменьшаем/увеличиваем его до нужного разрешения:
В моём случае с 1500x1500 до 640x640. По опыту скажу, что лучший результат получается при размере меньшей стороны от 512 до 768 пикселей, а большая сторона при этом желательно меньше 1024 пикселей.

нейронные сети,гайд,туториал,StableDiffusion,песочница

Теперь открываем вкладку txt2img в web-gui, раскрываем ControlNet и переносим изображение на холст Unit 0, выбираем режим Inpaint и выставляем все нужные настройки (и включить не забудьте):

ControlNet Unit 0 ControlNet Unit 1 ControlNet Unit 2 ControlNet Unit3 Single Image Set the preprocessor to (invert] If your image has white background and black lines. D s * -* Q Enable Low VRAM Pixel Perfect CD Allow Preview Control Type All Canny Depth Normal OpenPose MLSD Lineart

Теперь замазываем места, которые хотим перерисовать:

нейронные сети,гайд,туториал,StableDiffusion,песочница

В промпт пишем то, что хотим в результате видеть. Ещё раз, пишем не то, что нужно нового добавить, а то, каким хотим видеть финальную картинку:

1girl, naked, completely nude, (best quality, masterpiece:1.2)

Негативный промпт как обычно:
EasyNegative, badhandv5, (worst quality, low quality, normal quality:1.4)

Модель подбираем поближе к стилю рисунка (реалистичный/стилизованный). В моё случае это MeinaMix_v11-inpaint.

Параметры генерации:

Sampling method DPM++2M SDE Karras Restore faces Tiling Width Sampling steps Hires, fix 640 Batch count n 640 Batch size,нейронные сети,гайд,туториал,StableDiffusion,песочница

Всё, можно нажимать Generate до тех пор пока не появится приемлемая картинка.

Столь хороший результат обеспечивается препроцессором inpaint_only+lama - он пытается дорисовать зону под маской с учётом "наружного контекста". Это же и обеспечивает генерацию правильного цвета.

Простой случай разобрали, переходим к чему-то посложнее:

Часть 2. Style transfer

Возьмём теперь другой рисунок попробуем повторить описанный выше процесс:

6 I I PATREON.COM/CUTESEXYROBUTTS PATREON.COM/CUTESEXYROBUTTS,нейронные сети,гайд,туториал,StableDiffusion,песочница

Мда, мало того, что поза поехала, так ещё и стиль оказался потерян. Одного ControlNet Inpaint тут недостаточно. Надо подключать дополнительные юниты.

Нам нужно решить 2 задачи:

Повторить существующий стиль рисункаСохранить силуэт

Для решения первой задачи будем использовать ControlNet reference и ControlNet T2IA - они оба позволяют копировать стиль с изображения-референса и как нельзя лучше работают в связке.

Возвращаемся к интерфейсу ControlNet'a. Копируем исходное изображение в Unit 1 и Unit 2. Настраиваем вот так:

0 Enable Low VRAM Pixel Perfect Allow Preview Control Type All Canny Depth Normal OpenPose MLSD Lineart SoftEdge Scribble Seg Shuffle Tile Inpaint IP2P О Reference T2IA Preprocessor reference_only И Control Weight i Starting Control о Ending Control 1 Style Fidelity (only for

0 Enable Low VRAM Pixel Perfect Allow Preview Control Type All Canny Depth Normal OpenPose MLSD Lineart SoftEdge Scribble Inpaint IP2P Reference Preprocessor t2ia_style_clipvision Control Weight i Starting Control Seg Shuffle Tile None controlnetT2IAdapter_t2iAdapterColor [c58d: /

(Все нужные модели скачать не забыли?)
А в качестве четвёртого ControlNet'a можно использовать любой, что позволяет сохранить форму: canny, depth, softedge, lineart - на ваше усмотрение и под конкретную задачу.

0 Image,нейронные сети,гайд,туториал,StableDiffusion,песочница

(Вот тут softedge)

Интересный факт: никто не запрещает отредактировать выход предпроцессора в фотошопе. Что-то убрать, что-то подрисовать. Вот где могут понадобиться навыки рисования.

Ладно, всё 4 юнита активны. Нажимаем Generate и:

PATREON.COM/CUTESEXYROBUTTS,нейронные сети,гайд,туториал,StableDiffusion,песочница

Это совсем не то, нужно!
Формы сохранены, но промпт будто проигнорирован. Что случилось? Я вам скажу что: сила ControlNet'а оказалась слишком велика. Stable Diffusion попытался во время генерации воссоздать рисунок-референс да ещё и плюс inpaint там подсунул белый цвет с фона!

Как с этим бороться? Нужно уменьшить эффект двух юнитов переноса стиля (reference и T2IA), но при этом нельзя сильно уменьшать их силу, иначе перенос стиля будет ослаблен. В общем, нужно воспользоваться настройкой Starting Control Step. Она отвечает за то, на какую долю шагов генерации придётся действие ControlNet'a.

Starting Control Step 0.5, например, означает, что первую половину шагов генерация будет опираться только на промпт, а со второй половины подключится уже наш ControlNet.

В общем, план такой: слегка понижаем Control Weight (сила) у стилевых юнитов (примерно до 0.9). После этого начинаем постепенно поднимать границу начала действия стилевых юнитов. Также имеет смысл подобным же образом немного ослабить действие Inpaint'a - позволяет в некоторых случаях исправить цвета.

После нескольких попыток (и усиление промпта) получаем вот такую задницу:

нейронные сети,гайд,туториал,StableDiffusion,песочница

Не идеально, но уже шаг в нужном направлении. На самом деле, сейчас можно (и нужно) уже именно это изображение сделать референсом. Другими словами, скопировать его во все 4 юнита и отталкиваться уже от него. И так сколько нужно раз. Пока не получится идеальный результат, либо ваша генерация окончательно не развалится.

Часть 3. img2img

Даже после получения хорошей генерации во вкладке txt2img имеет смысл несколько отшлифовать изображение уже через img2img inpaint. Главное не забудьте подключить 2 ControlNet'a для переноса стиля. Помните да, reference и T2IA.

Некоторые пункты в виде итога:

Ключ ко всему - это ControlNet (inpaint_only+lama) и ControlNet (reference_only, T2IA)
Генерацию лучше проводить поэтапно, чтобы было на что опереться в последующие шаги
Также имеет смысл разделять генерацию объектов нужной формы и затем покраску их в нужные цвета.
Подбирайте подходящие под задачу модели и/или лоры.
Не забудьте про параметры Control Weight, Starting Control Step, Ending Control Step. И про Control Mode в самом низу!

P.S. Хотел бы я чтобы кто-то обстоятельно протестировал этот метод и поделился бы потом результатами. Мне кажется, как-то можно добиться ещё большей близости к стилю оригинала, ведь задача состояла именно в этом.

Туториал закончен, теперь впечатления. Это охиренно мощная штука! Можно как угодно дорисовать любую картину, стиль вообще не важен, тем более что сейчас уже натренированы сотни моделей на все случаи жизни. Хоть скриншоты из мультфильмов/аниме, хоть картины маслом. Фильмы и фотографии вообще пройденный этап. Можно даже без использования inpaint'a просто сгенерировать сколько хочешь изображений с нуля, просто опираясь на единственный рисунок. А ведь ControlNet появился лишь в начале этого года. Короче, уже почти год прошёл, а всё это до сих пор кажется каким-то колдунством. Что грядущий день готовит...

Развернуть

Отличный комментарий!

а говорили что нейросети работу заберут
судя по этому туториалу теперь нужен Senior Stable Diffusion Manager чтобы только на жопу посмотреть )
imhosep imhosep01.08.202320:32ссылка
+32.6

нейронные сети гайд туториал StableDiffusion песочница 

Как перерисовать любой рисунок с помощью StableDiffusion

нейронные сети,гайд,туториал,StableDiffusion,песочница

Нужно:

Установленный и настроенный свежий Automatic1111 web-guiУстановленное расширение ControlNet, и все нужные модели к немуУмение хоть сколько-нибудь с этим работать

Всё происходит во вкладке txt2img

Сначала берём исходное изображение, кладём его в 2 вкладки ControlNet'a и включаем их. Вот как-то так:

ControlNet vi. 1.224 ControlNet Unit О Single Image 13 Image ControlNet Unit 1 ControlNet Unit 2 Batch,нейронные сети,гайд,туториал,StableDiffusion,песочница

Первую вкладку (Unit 0) настраиваем следующим образом:

Control Type All Canny Depth Normal OpenPose MLSD Lineart SoftEdge Scribble Seg Shuffle Tile Inpaint IP2P O Reference T2IA Preprocessor reference_only Control Weight 1 Starting Control 0;3 Ending Control Step 1 Style Fidelity (only for "Balanced" mode) 0,5 Control Mode Balanced

А вот так вторую (Unit 1):

Control Type All Canny Depth Normal OpenPose MLSD Lineart SoftEdge Scribble Seg Shuffle Tile O Inpaint IP2P Reference T2IA Preprocessor Model inpaint_only+lama controlnetllModelsJnpaint [I ▼ Control Weight Starting Control Step Ending Control Step 1 Control Mode O Balanced My prompt

Два инстанса нужны, потому что первый отвечает за передачу стиля, а второй обеспечивает генерацию поверх существующего изображения с учётом контекста.

Осталось нарисовать маску:

нейронные сети,гайд,туториал,StableDiffusion,песочница

Параметры генерации, промпты:

Sampling method DPM++2M Karras Restore faces Tiling Hires, fix Width Sampling steps 32 600 Batch count 2 ~) n 608 • Batch size 2 6 o <$> Extra,нейронные сети,гайд,туториал,StableDiffusion,песочница

В промпте, то что хотим сгенерировать в зоне маски 

Позитивный - (white flowers:1.1), (best quality, masterpiece:1.2)

Негативный как обычно - EasyNegative, (worst quality, low quality, normal quality:1.4), (painting of bad artist:1.2)

Нажимаем Generate и получаем:

нейронные сети,гайд,туториал,StableDiffusion,песочница

Пара моментов:

Старайтесь генерировать поближе (насколько возможно) к оригинальному разрешение. Hires. fix лучше не использовать - он ломает тонкие детали.

Нужен подходящий чекпойнт в зависимости от стиля оригинального рисунка. Под реалистичные рисунки реалистичные модели, под стилизованные - стилизованные.

Развернуть

Stable diffusion нейронные сети нейромазня ControlNet гайд длиннопост 

Практическое применение нейросетей

Раз уж я вошёл в мир нейросетей благодаря реактору (через слитую модель novelAi и гайду к ней), то хочу вернуть дань благодарности этим небольшим мануалом.

Вы сможете генерировать прикольные арты на основе любого логотипа \ текста буквально в пару шагов.

0) Нужен stable diffusion от automatic1111 свежей версии (как его устанавливать тут не буду описывать);

1) Устанавливаем расширение ControlNet:

a) Копируем ссылку: https://github.com/Mikubill/sd-webui-controlnet

b) Идём во вкладку extensions -> install from URL, в первое поле вставляем ссылку и жмакаем install

txt2img img2img Extras PNG Info Checkpoint Merger Train OpenPose Editor Depth Library Settings l Extensions
Installed Available Install from URL — URL for extension's git repository
https://github.com/Mikubill/sd-webui-controlnetl Local directory name
Leave empty for auto
Install,Stable

c) Во вкладке installed на всякий случай проверяем апдейты: "Check for updates", и нажимаем "Apply and restart UI"

txt2img img2img Extras PNG Info Checkpoint Merger Train OpenPose Editor Depth Library Settings
Extensions
l Installed Available Install from URL
Apply and restart Ul
Check for updates
Extension	URL	Version	Update
@ openpose-editor	https://github.com/fkunnl326/openpose-editor	124e47c5 (Sun

После этих манипуляций у Вас перезагрузится web страница и появится вкладка "ControlNet" в txt2img:

txt2img
img2img Extras PNG Info Checkpoint Merger Train OpenPose Editor Depth Library Setti
bomberman
blur, low quality, bad art, man, face, skull, text
Sampling method	Sampling steps			20
Euler a v v J				
Width	768		Batch count	4
		ti		
Height	768	\	/	Batch size	1
CFG Scale				
Seed -1

(Если не появилась, то попробуйте Settings, нажать Apply и перезапустить Stable Diffusion полностью)

d) Загружаем модели для ControlNet:

для этого идём сюда: https://civitai.com/models/9251/controlnet-pre-trained-models

скачиваем все версии моделей (там есть раздел Versions с отдельной кнопкой загрузки);

все скачанные файлы закидываем в <путь до SD>\stable-diffusion-webui\extensions\sd-webui-controlnet\models

2) Генерируем арты:

a) подготавливаем свой логотип \ текст. 

я сделал такую картинку в фш:

Stable diffusion,нейронные сети,нейромазня,ControlNet,гайд,длиннопост

p.s: походу желательно не использовать прозрачный фон (у меня с ним ничего не вышло).

b) двигаем настройки ControlNet:

ControlNet
Invert colors if your image has white background.
Change your brush width to make it thinner if you want to draw something.
2. Нажимаем "Enable"; Invert Color (если фон белый); Low VRAM
@ Enable	@ Invert Input Color	RGBtoBGR	@ Low VRAM	Guess Mode
Preprocessor 3- p ^processor:

c) и наконец генерируем (выставляем размер, пишем promptы, жмакаем generate).

единственное НО: у меня не получилось подружить controlNet с "hiresfix". даже "latent(nearest)" начинает ломать образ. поэтому генерировал сразу в 768х768 (Вам, возможно, надо будет пробовать с 512х512)

Stable Diffusion Checkpoint ---------------------
dreamlikeDiffusionl0_10.ckpt [0aecbcfa2c] ^
SDVAE
G Automatic
G
Clip skip
r
2
Show live previews of the created image
txt2img img2img Extras PNG Info Checkpoint Merger Train OpenPose Editor Depth Library Settings Extensions
2/75

любые LORA, HyperNetwork, embeddings прекрасно работают.

модель на которой я генерил: https://civitai.com/models/1274/dreamlike-diffusion-10

ну и примеры того что у меня получилось:

Stable diffusion,нейронные сети,нейромазня,ControlNet,гайд,длиннопост

Stable diffusion,нейронные сети,нейромазня,ControlNet,гайд,длиннопост

Stable diffusion,нейронные сети,нейромазня,ControlNet,гайд,длиннопост

Stable diffusion,нейронные сети,нейромазня,ControlNet,гайд,длиннопост

Stable diffusion,нейронные сети,нейромазня,ControlNet,гайд,длиннопост

Stable diffusion,нейронные сети,нейромазня,ControlNet,гайд,длиннопост

Stable diffusion,нейронные сети,нейромазня,ControlNet,гайд,длиннопост

Stable diffusion,нейронные сети,нейромазня,ControlNet,гайд,длиннопост

Stable diffusion,нейронные сети,нейромазня,ControlNet,гайд,длиннопост

Stable diffusion,нейронные сети,нейромазня,ControlNet,гайд,длиннопост

Stable diffusion,нейронные сети,нейромазня,ControlNet,гайд,длиннопост

Идея честно спизженна отсюда:

https://www.reddit.com/r/StableDiffusion/comments/11ku886/controlnet_unlimited_album_covers_graphic_design/

Ну и напоследок хочу сказать что это расширение умеет гораздо большее. например можно полностью копировать стиль фото \ любые позы \ выражения лиц и ДАЖЕ рисовать идеальные руки и ноги (причём с фокусом на них). Но и запариться там нужно чуть сильнее)

Развернуть

Berry's Mix нагенерил сам нейроарт Stable diffusion красивые картинки длиннопост гайд Anime фэндомы Anime Unsorted ...art нейронные сети 

Гайд по созданию модели Berry's Mix

Berry's Mix,нагенерил сам,нейроарт,нейронные сети,Stable diffusion,красивые картинки,art,арт,длиннопост,гайд,Anime,Аниме,фэндомы,Anime Unsorted

	т> Л	-с » /	¿t/Mc'ï 1 / JW ' '\	i/#7
' TI	In Al		■rr« , • л ■В • '¿W,Berry's Mix,нагенерил сам,нейроарт,нейронные сети,Stable diffusion,красивые картинки,art,арт,длиннопост,гайд,Anime,Аниме,фэндомы,Anime Unsorted

Berry's Mix,нагенерил сам,нейроарт,нейронные сети,Stable diffusion,красивые картинки,art,арт,длиннопост,гайд,Anime,Аниме,фэндомы,Anime Unsorted

Berry's Mix,нагенерил сам,нейроарт,нейронные сети,Stable diffusion,красивые картинки,art,арт,длиннопост,гайд,Anime,Аниме,фэндомы,Anime Unsorted

Berry's Mix,нагенерил сам,нейроарт,нейронные сети,Stable diffusion,красивые картинки,art,арт,длиннопост,гайд,Anime,Аниме,фэндомы,Anime Unsorted

Представляю твоему вниманию модель Berry's Mix.
Данная модель используется без VAE, и собирается вручную в Stable Diffusion во вкладке "Checkpoint Merger". Чтобы собрать данную модель необходимо предварительно скачать четыре модели (если нету), из которых будем лепить Berry's Mix.

1) Novel AI (стилистика рисования)
magnet:?xt=urn:btih:5bde442da86265b670a3e5ea3163afad2c6f8ecc
Если ты скачиваешь Novel AI впервые, скачать тебе необходимо только 
...\models\animefull-final-pruned\model.ckpt (4.2гб)
2) Zeipher F222 (тела, анатомия)
https://redirect.ai.zeipher.com/b1t50kc
3) Stable-diffusion-v1-5 (основа)
https://huggingface.co/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned.ckpt
4) r34_e4 (ты знаешь что это)
https://mega.nz/file/3JQ13JTZ#sdByZl4rXp7uxxIDutGs5GHg5RkGZfLrTA5wQEfkDJE
Неудобно скачивать с MEGA? Вот тут можно найти ссылки на торренты
https://rentry.org/sdmodels


Закидываем все скачанные модели в папку с моделями (stable-diffusion-webui\models\Stable-diffusion\)
Скачанную модель Novel AI, тот что model.ckpt можно для удобства переименовать в NovelAI.ckpt.
Переходим во вкладку Checkpoint Merge
В Primary model (A) - NovelAI.ckpt
В Secondary model (B) - f222.ckpt
В Tertiary model (C) - v1.5pruned.ckpt (Stable diffusion 1.5)
В Custom Name - TEMP
Ставим ползунок Multiplier (M) на 1, (максимально вправо).
В Interpolaion Method переключаем на Add difference

Запускаем нажатием на кнопку Run. Ждём.

Когда закончит, переходим во вкладку Setting и в самом низу жмём Restart Gradio and Refresh components.После перезагрузки, заходим на страницу Checkpoint Merger предварительно обновив страницу (F5).

Теперь:
В Primary model (A) - TEMP.ckpt
В Secondary model (B) - r34_e4.ckpt
В Tertiary model (C) - оставляем пустой
В Custom Name - Berry's Mix
Ставим ползунок Multiplier (M) - на 0.25
В Interpolaion Method оставляем на Weighted Sum

Запускаем нажатием на кнопку Run. Ждём. Когда закончит, переходим во вкладку Setting и в самом низу жмём Restart Gradio and Refresh components. Загружаем модель в меню chekpoint. Готово!

Я не скидываю готовую модель, так как лучше будет каждому поработать с вкладкой Checkpoint Merger. Там можно создавать невероятные миксы. Если данный контент понравится, создам гайды на другие миксы.
Развернуть

пидоры помогите нейронные сети Stable diffusion 

Требуется помощь со Stable Diffusion

Проблема такая: имеется видеокарта amd rx6750, а нейросетки больше любят Nvidea, искал аналоги на амд, пока использую SD WebUI DML Neuro, но у неё нет возможности использования LoRa.
Во время поисков нашёл вот такой вариант на DirectML https://github.com/lshqqytiger/stable-diffusion-webui-directml

Не запускается, так же просит нвидеа карту

Однако никакие настройки и внесение в аргументы мне не помогли. А использовать через процессор мне не хочется, слишком долго создает картинку.

Питон 3.10 и гит установлены. Брал информацию так же отсюда https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Install-and-Run-on-AMD-GPUs 

Я плохо в таких делах разбираюсь, так что решение проблемы найти не смог. Взываю к тем кто более умён в данном вопросе

ИСПОЛЬЗОВАТЬ ТОЛЬКО В СЛУЧАЕ КРАЙНЕЙ НЕОБХОДИМОСТИ,пидоры помогите,реактор помоги,нейронные сети,Stable diffusion
Развернуть

нейронные сети Stable diffusion длиннопост 

Stable Diffusion 3 теперь доступна для скачивания и запуска локально

нейронные сети,Stable diffusion,длиннопост

Генерация по промту: Epic anime artwork of a wizard atop a mountain at night casting a cosmic spell into the dark sky that says "Stable Diffusion 3" made out of colorful energy

Теперь модель можно скачать и запустить локально (пока только Medium-версию). Разработчики пишут, что новая модель лучше понимает текст промта, более реалистичная в плане рук и лиц. А так же лучше запоминает детали на даже на небольших дата сетах. Одна из интересных фитч - генерация надписей.

Еще пишут что она "идеально подходит для работы на стандартных потребительских графических процессорах без снижения производительности". Но тут бы я поспорил, легко переварить 10Gb не каждая видеокарта сможет. На моей машине работает медленнее по сравнению с SDXL.

Скачать саму модель можно с civitai или huggingface. Запустить на данный момент только в comfyui.

Немного погонял локально, промты действительно понимает хорошо. Но модель "недообучена" - качество оставляет желать лучшего. Предыдущие версии тоже от этого страдали, но люди из комьюнити допиливали до вполне не плохих результатов.

Несколько примеров на модели SD3 Medium Incl Clips T5XXLFP8

Сложный промт с положением объектов на картинке указанием цветов (у прошлых моделей возникали проблемы):

Three bottles on a table in a kitchen. Bottles that look like cola. Left bottle is full of blue liquid with the number 1 on it. Middle bottle is full of white liquid with the number 2 on it. Right bottle is full of red liquid with the number 3 on it.

нейронные сети,Stable diffusion,длиннопост

Видно, что модель четко следует промту. Круто!

Попробуем с людьми: 

Forest in the background. Dark theme, sunset, look at at viewer, captured in the late afternoon sunlight. Photo of three 21 year old woman. Left woman is blonde with the number 1 on blue T-shirt. Middle woman is redhead with the number 2 on white T-shirt. Right woman is brown hair with the number 3 on red T-shirt. Wearing shorts

 ' 'Л <*щ: tC Y\ ^ МЦ , ,%f- > / « »®V .}?^■ ' . V » ‘ Y «Л • , г ‘У»7 f\ J¡«V >^|<1Л*П'*01Я^1^^^^Ея1. ájí&jrf * ?&"-Z1QH ¡г а*. "• a^2|^B|Uг> * * ¿jp v .уФ*ы г*Ьп|^НРЦН^&. . "J ль*,нейронные сети,Stable diffusion,длиннопост

Тут пришлось сначала описать лес на фоне, потому что иначе он выглядел как будто прифотошопленным. В остальном модель четко соблюдает номера, цвет футболок и волос. Раньше, без танцев с бубном, четко прописать нескольких разных типажей на одной картинке было почти не реально - детали сливались и получались клоны. А в новой версии достаточно просто описания. 

А что по надписям на картинке? Попробуем:

Neon sign with the text "Ты пидор"

нейронные сети,Stable diffusion,длиннопост

Видимо, русскую кодировку не завезли, но видно что модель старается, попробуем иначе:

Neon sign with the text "You are awesome!"

нейронные сети,Stable diffusion,длиннопост

Попробуем сгенерить котика:

A black cat walking along a street paved with stone.Close-up of a cat's face.

нейронные сети,Stable diffusion,длиннопост

Опять неплохо, хотя пришлось реролить несколько раз, что бы получить более-менее нормальный результат. Модель знает основы анатомии кота, но иногда больше похоже на детский рисунок.

Как на счет аниме?

Illustration anime, cartoon. 1woman, blue eyes, brown hair, dynamic angle, centered, full body photo. Street in the background

нейронные сети,Stable diffusion,длиннопост

Опять пришлось реролить несколько раз. Заметил, что если указывать больше деталей, картинка получается лучше.

Попробуем городской пейзаж:

Urban photography: houses, trees, cars, and peoples. the road goes from the bottom left to the right

PM л «с* l4^:v:v^ >.:;->r^ t^jgr jP, jBgf ж ■ W5p дОДЙ'^с^ «. ЩМч к VT'^Г ‘ 1 т :’•кйк№т1^^и » \ 1 «!* *. j|, ЛД ^ ; >,нейронные сети,Stable diffusion,длиннопост

Осторожно: если долго рассматривать картинку, можно подумать что у тебя инсульт...

Что мы имеем на данный момент? Пока реализм хромает... Не всегда с первого раза выходит что нужно. Лично я ожидал большего. Все те же проблемы с руками и склонностью к "плоскости" перспективы и объектов. 

Но есть ощущение, что модель действительно лучше понимает что от нее хотят. Будем надеется, что дообучение будет по силам сообществу, и мы увидим NSFW версию от авторов Juggernaut или Pony Diffusion.

ЗЫ: надеюсь теги эротики и аниме не нужны.

Развернуть

Anime Нейросетевые Барышни арт барышня art гайд длиннопост много картинок под катом бонусы Stable diffusion Anime Unsorted ...фэндомы нейронные сети 

Гайд на Stable Diffusion бота из предыдущего поста

Пост, о котором идет речь и бот, о котором идет речь (https://t.me/SDhentAI_bot  - @SDhentAI_bot)

После ввода команды старт появляется приветсвующее сообщения и кнопки. 

01:08v^
Hey there * I'm HentAI, here to help you fulfill all your wildest fantasies 4 Whether you're into writing your own prompts or using my special interface to explore my pre-set options, I'm always ready to help you get exactly what you're looking for ©
But be warned *' I'm still in

Hey there * I'm HentAI, here to help you fulfill all your wildest fantasies 4 Whether you're into writing your own prompts or using my special interface to explore my pre-set options, I'm always ready to help you get exactly what you're looking for ©
But be warned *' I'm still in development, so

Нажимаем generate и видим меню, где можно наш запрос специализировать, выбрать все параметры внешности и позу. Еще можно написать свой собственный промпт, но мне лениво сочинять его, обычно генерит шнягу, если сам пишешь. 

Let's generate an image! Please choose from the parameters listed below to specify your request. The more parameters you select, the more precise the image will be. Alternatively, you can simply send me your own prompt.
If you can't find the parameter you want, you have the option to click

Выбираем параметры, жмем generate и ждем картинку с няшкой. Некоторые позы и ракурсы друг с другом конфликтуют, например, миссонерская поза и вид сзади, и они тоже генерят шнягу, так что надо смотреть. 

haircolor - blue hair eyecolor - grey breastsize - large pose - kneeling clothes - sport background - beach haircut - hairbun
eyecolor	haircolor	background
haircut	pose	breastsize
body	clothes	viewpoint
custom		mise
cancel	randomize	generate
Today
re-generate modify request new request

Чтобы добавить параметр, которого нет в кнопках, можно нажать на custom. Будет предложенно отправить свой параметр, я ввел night, moon, sky и отправил, бот принял промпт и я нажал continue. 

Chosen parameters: haircolor - blue hair eyecolor - grey breastsize - large pose - kneeling clothes - sport background - beach haircut - hairbun custom - night, moon, sky
eyecolor	haircolor	background
haircut	pose	breastsize
body	clothes	viewpoint
custom		mise
cancel	randomize

Еще есть дополнительные опции, которые можно выбирать несколько за раз 

re-generate modify request new request Here you can check any ammount of additional options.
blush	glasses^	elf
catgirl^	chocker	bdsm
bukkake	topless	bottomless
jewelry^	makeup	messy hair>/
	breastsout	
info
« back,Anime,Аниме,фэндомы,нейронные сети,Нейросетевые Барышни,арт барышня,арт

Получилась вот такая кошко девочка в очках при луне. 

cancel	randomize	generate
■,Anime,Аниме,фэндомы,нейронные сети,Нейросетевые Барышни,арт барышня,арт девушка, art барышня, art girl,art,арт,гайд,длиннопост,много картинок,под катом бонусы,Stable diffusion,Anime Unsorted

Под катом оставлю оригиналы изображений и еще парочку бонусов. Удачных вам генераций! 

Развернуть

Stable diffusion нейронные сети NSFW 

Возрадуйтесь обладатели 4 гиговых видеокарт и лентяи.

Продолжение поста https://joyreactor.cc/post/5307539 

Итак есть возможность заставить работать нейронку даже на 4 гиговых видеокартах, правда там будет слегка порезанный интерфейс но всё же.Версия для ленивых, с не самым приятным интерфейсом, зато просто запускаете exe и всё работает(если верить странице) https://grisk.itch.io/stable-diffusion-gui правда тут для 4 гиговых максимально возможное разрешение 256х512. Опять же если это действительно так. Но на 6 гиговых железно должно идти.

Ну и для любителей консольки и приятного интерфейса репа GitHub - basujindal/stable-diffusion
В ридми пишут, что 4 гиговые 2060 справляются с 512х512. Как устанавливать могу предположить, сам не ставил, поэтому обманывать не буду. Но опять можно пройти по гайду --K-DIFFUSION RETARD GUIDE (GUI)-- (rentry.org) так-как мой уже немного устарел, хотя все еще работает вероятно. 

Там пропустить пункты связанные с GFPGAN то есть 11 и удалить 36 строчку из скачанного environment.yaml. 4 пункт тоже не нужен, так-как будем использовать скрипты из репозитория basujindal/stable-diffusion. Как все установили скачиваем и закидываем из репы basujindal/stable-diffusion папку optimizedSD  в корень waifu-diffusion.

Запускать text2img: python optimizedSD/text2img_gradio.py


Запускать img2img: python optimizedSD/img2img_gradio.py

Ну и вот вам небольшие эксперименты img2img:

Prompt big boobs, erotic, illustration Mask Mode • Keep masked area Regenerate only masked area (Б output О,Stable diffusion,нейронные сети,NSFW

Арт нагло спиздил https://joyreactor.cc/post/5307995 отсюда

Развернуть
В этом разделе мы собираем самые смешные приколы (комиксы и картинки) по теме гайд Stable diffusion (+1000 картинок)