Stable Diffusion установка

Правильная установка ControlNet в SD webui

Хочу поделиться с вами моим постом с github и reddit.

Я потратил много времени на поиск и решение проблемы с ошибками при установке ControlNet, десятки раз переустанавливал webui и перечитал море информации на github. Пока что данный способ самый рабочий из всех и позволяет обойти ошибки установки mediapipe, OSError и permissions при установке ControlNet.

Сперва я рекомендую сделать чистую установку SD webui, но если такой возможности нет, то удалите расширение controlnet в папке extensions и удалите папку venv, после чего запустите webui-user.bat, дождитесь пока webui восстановит удалённые папки и загрузит все файлы, затем закройте webui.

Перейдите в папку с SD webui, щелкните на строку с директориями и введите "cmd", нажмите enter.

Откроется командная строка и вы увидите путь к вашей папке с webui.

Теперь вам нужно поочередно вводить эти команды, терпеливо дожидаясь завершения всех операций (я выделил команды жирным текстом):

F:\stable-diffusion-webui>venv\scripts\activate.bat

(venv) F:\stable-diffusion-webui>pip install mediapipe

(venv) F:\stable-diffusion-webui>pip install svglib

(venv) F:\stable-diffusion-webui>pip install fvcore

(venv) F:\stable-diffusion-webui>pip install "opencv-python>=4.8.0"

(venv) F:\stable-diffusion-webui>pip install https://github.com/Gourieff/Assets/raw/main/Insightface/insightface-0.7.3-cp310-cp310-win_amd64.whl --prefer-binary

(venv) F:\stable-diffusion-webui>deactivate

Требуется помощь со Stable Diffusion

Проблема такая: имеется видеокарта amd rx6750, а нейросетки больше любят Nvidea, искал аналоги на амд, пока использую SD WebUI DML Neuro, но у неё нет возможности использования LoRa.
Во время поисков нашёл вот такой вариант на DirectML https://github.com/lshqqytiger/stable-diffusion-webui-directml

Не запускается, так же просит нвидеа карту

Однако никакие настройки и внесение в аргументы мне не помогли. А использовать через процессор мне не хочется, слишком долго создает картинку.

Питон 3.10 и гит установлены. Брал информацию так же отсюда https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Install-and-Run-on-AMD-GPUs 

Я плохо в таких делах разбираюсь, так что решение проблемы найти не смог. Взываю к тем кто более умён в данном вопросе

Возрадуйтесь обладатели 4 гиговых видеокарт и лентяи.

Продолжение поста https://joyreactor.cc/post/5307539 

Итак есть возможность заставить работать нейронку даже на 4 гиговых видеокартах, правда там будет слегка порезанный интерфейс но всё же.Версия для ленивых, с не самым приятным интерфейсом, зато просто запускаете exe и всё работает(если верить странице) https://grisk.itch.io/stable-diffusion-gui правда тут для 4 гиговых максимально возможное разрешение 256х512. Опять же если это действительно так. Но на 6 гиговых железно должно идти.

Ну и для любителей консольки и приятного интерфейса репа GitHub - basujindal/stable-diffusion
В ридми пишут, что 4 гиговые 2060 справляются с 512х512. Как устанавливать могу предположить, сам не ставил, поэтому обманывать не буду. Но опять можно пройти по гайду --K-DIFFUSION RETARD GUIDE (GUI)-- (rentry.org) так-как мой уже немного устарел, хотя все еще работает вероятно. 

Там пропустить пункты связанные с GFPGAN то есть 11 и удалить 36 строчку из скачанного environment.yaml. 4 пункт тоже не нужен, так-как будем использовать скрипты из репозитория basujindal/stable-diffusion. Как все установили скачиваем и закидываем из репы basujindal/stable-diffusion папку optimizedSD  в корень waifu-diffusion.

Запускать text2img: python optimizedSD/text2img_gradio.py

Запускать img2img: python optimizedSD/img2img_gradio.py

Ну и вот вам небольшие эксперименты img2img:

Арт нагло спиздил https://joyreactor.cc/post/5307995 отсюда

Как перерисовать/раздеть любого персонажа с помощью Stable Diffusion

Установили? Тогда начинаем.

Часть 1. ControlNet Inpaint

Ни для кого не секрет, что в SD существует фича под названием inpaint - это, по сути, способ сгенерировать что-то поверх существующего изображения. В интерфейсе от Automatic1111 под inpaint'ом обычно подразумевают один из режимов img2img. Это хоть и мощный инструмент, но, всё же, недостаточно точный и контролируемый. Тут на помощь приходит ControlNet Inpaint и исправляет главный недостаток "классического" inpaint'а - игнорирование контекста. Впрочем, достаточно теории переходим к практике.

Итак, возьмём изображение, которое мы хотим отредактировать.

И сразу же уменьшаем/увеличиваем его до нужного разрешения:
В моём случае с 1500x1500 до 640x640. По опыту скажу, что лучший результат получается при размере меньшей стороны от 512 до 768 пикселей, а большая сторона при этом желательно меньше 1024 пикселей.

1girl, naked, completely nude, (best quality, masterpiece:1.2)

Негативный промпт как обычно:
EasyNegative, badhandv5, (worst quality, low quality, normal quality:1.4)

Модель подбираем поближе к стилю рисунка (реалистичный/стилизованный). В моё случае это MeinaMix_v11-inpaint.

Параметры генерации:

Всё, можно нажимать Generate до тех пор пока не появится приемлемая картинка.

Столь хороший результат обеспечивается препроцессором inpaint_only+lama - он пытается дорисовать зону под маской с учётом "наружного контекста". Это же и обеспечивает генерацию правильного цвета.

Простой случай разобрали, переходим к чему-то посложнее:

Часть 2. Style transfer

Возьмём теперь другой рисунок попробуем повторить описанный выше процесс:

Мда, мало того, что поза поехала, так ещё и стиль оказался потерян. Одного ControlNet Inpaint тут недостаточно. Надо подключать дополнительные юниты.

Нам нужно решить 2 задачи:

Для решения первой задачи будем использовать ControlNet reference и ControlNet T2IA - они оба позволяют копировать стиль с изображения-референса и как нельзя лучше работают в связке.

Возвращаемся к интерфейсу ControlNet'a. Копируем исходное изображение в Unit 1 и Unit 2. Настраиваем вот так:

Интересный факт: никто не запрещает отредактировать выход предпроцессора в фотошопе. Что-то убрать, что-то подрисовать. Вот где могут понадобиться навыки рисования.

Ладно, всё 4 юнита активны. Нажимаем Generate и:

Это совсем не то, нужно!
Формы сохранены, но промпт будто проигнорирован. Что случилось? Я вам скажу что: сила ControlNet'а оказалась слишком велика. Stable Diffusion попытался во время генерации воссоздать рисунок-референс да ещё и плюс inpaint там подсунул белый цвет с фона!

Как с этим бороться? Нужно уменьшить эффект двух юнитов переноса стиля (reference и T2IA), но при этом нельзя сильно уменьшать их силу, иначе перенос стиля будет ослаблен. В общем, нужно воспользоваться настройкой Starting Control Step. Она отвечает за то, на какую долю шагов генерации придётся действие ControlNet'a.

Starting Control Step 0.5, например, означает, что первую половину шагов генерация будет опираться только на промпт, а со второй половины подключится уже наш ControlNet.

В общем, план такой: слегка понижаем Control Weight (сила) у стилевых юнитов (примерно до 0.9). После этого начинаем постепенно поднимать границу начала действия стилевых юнитов. Также имеет смысл подобным же образом немного ослабить действие Inpaint'a - позволяет в некоторых случаях исправить цвета.

После нескольких попыток (и усиление промпта) получаем вот такую задницу:

Не идеально, но уже шаг в нужном направлении. На самом деле, сейчас можно (и нужно) уже именно это изображение сделать референсом. Другими словами, скопировать его во все 4 юнита и отталкиваться уже от него. И так сколько нужно раз. Пока не получится идеальный результат, либо ваша генерация окончательно не развалится.

Часть 3. img2img

Даже после получения хорошей генерации во вкладке txt2img имеет смысл несколько отшлифовать изображение уже через img2img inpaint. Главное не забудьте подключить 2 ControlNet'a для переноса стиля. Помните да, reference и T2IA.

Некоторые пункты в виде итога:

P.S. Хотел бы я чтобы кто-то обстоятельно протестировал этот метод и поделился бы потом результатами. Мне кажется, как-то можно добиться ещё большей близости к стилю оригинала, ведь задача состояла именно в этом.

Туториал закончен, теперь впечатления. Это охиренно мощная штука! Можно как угодно дорисовать любую картину, стиль вообще не важен, тем более что сейчас уже натренированы сотни моделей на все случаи жизни. Хоть скриншоты из мультфильмов/аниме, хоть картины маслом. Фильмы и фотографии вообще пройденный этап. Можно даже без использования inpaint'a просто сгенерировать сколько хочешь изображений с нуля, просто опираясь на единственный рисунок. А ведь ControlNet появился лишь в начале этого года. Короче, уже почти год прошёл, а всё это до сих пор кажется каким-то колдунством. Что грядущий день готовит...

Как отредактировать любой рисунок с помощью нейросети Stable Diffusion. Подробный гайд

ссылка на гифку

Будем считать, что вы уже установили и настроили Automatic1111's Stable Diffusion web-gui, а также скачали расширение для ControlNet'a и модели для него. Нам нужно будет лишь controlNet Inpaint и controlNet Lineart.

В интернете уже есть гайд по установке. И не один. Да хоть на том же YouTube.

Будем учиться редактировать на примере вот этой картинки:

Автор - Chaesu

Первым делом открываем фотошоп. Да, прежде чем загружать изображение в SD, его нужно подготовить. Проблема тут такая: SD 1.5 модели не могут нормально работать с изображениями больше 800 пикселей. Поэтому, выделяем в фотошопе вот такую область размером 600x900:

Не снимайте выделение сразу, оно ещё пригодится

Выделение есть, теперь Ctrl+C и вставляем скопированный кусок во вкладку txt2img в окошко ControlNet'а (в первые три, то есть вставляем три раза):

Вы ведь не забыли увеличить количество юнитов контролнета в настройках?

Теперь настраиваем сами юниты контролнета:
Unit 0:

Первый юнит будет отвечать за перенос стиля

Unit 1:

Второй отвечает за редактирование с сохранением контекста

Unit 2:

Ну и третий юнит для контроля генерации

После этого нажимайте на кнопку предпросмотра:

И скачивайте получившийся "негатив"

Можно поиграться с другими препроцессорами, но lineart_realistic обычно выдаёт лучший результат

Смело открываем его в фотошопе (в новой вкладке, старую пока не трогаем) и начинаем редактировать. Надо лишь убрать всё лишнее и обозначить контур того, что хотим получить. Вот как-то так:

ссылка на гифку

Контролирующий лайн готов. Теперь очищаем ControlNet Lineart и вставляем наш "линейный рисунок". Так как на вход теперь на вход контролнету сам лайн, то нам не нужен препроцессор - ставим его на none.

Это всё ещё Unit 2

Осталось только нарисовать маску inpaint'а. Переходим в ControlNet Inpaint (Unit 1) и прямо тут в веб-интерфейсе закрашиваем те части, которые хотим перерисовать:

Про тень от одежды не забудьте

Осталось лишь написать промпт (и негативный промпт), выбрать параметры генерации (размер 600x900 не забывайте) и нажимать Generate до тех пор, пока не увидите приемлемый результат.
Например:

Главное что стиль далеко не уехал

Это изображение неплохо бы отправить в img2img inpaint, чтобы поправить мелкие недоработки, но сейчас просто копируем его в буфер, возвращаемся в фотошоп и вставляем в нужное место (выделение пригодилось).

Сидит как влитая

Исправляется тем же образом:

Приемлемо

По тому же принципу делаем остальных

Видите недоработки? Исправить их - это ваше домашнее задание

А вот параметры генерации:

Модель для генерации логично выбирать близкую по стилю. Для не слишком реалистичных рисунков Kizuki Alternative почти идеальна.

Несколько советов:

- Уменьшайте исходное изображение заранее, облегчайте нейросети работу.

- Можно обойтись из без Lineart'а, и тогда сетка додумает форму самостоятельно.

- Если какие-то части получились хорошо, а какие-то нет, то просто перенесите результат во вкладки Reference и Inpaint и работайте уже с ним.

- Если исходное изображение слишком тёмное либо светлое, то модель сама по себе может не справиться и имеет смысл подключать затемняющую или осветляющую мини-модель (лору).

Модель NovelAI под Stable-Diffusion

Там недавно слили исходники NovelAI, на сколько знаю сервис генерит истории по описанию, что то вроде AI Dungeon. Но с 3 октября у них появилась фича генерить и изображения по описанию. Собственно слили и её.

Автор репозитория одной из сборок, AUTOMATIC1111 добавил в свою сборку поддержку работы новых слитых моделей ,его кстати забанили в офф. дискорде Stable Diffusion после произошедшего.

Если хотим поиграться с новой моделью, а выдаёт она довольно неплохие результаты, то нам нужно:

1. Установить сборку Stable Diffusion от AUTOMATIC1111 - https://github.com/AUTOMATIC1111/stable-diffusion-webui

2. Качаем модель (у них есть NSFW и SFW версии) и некоторые ещё необходимые вещи из слитых материалов - magnet:?xt=urn:btih:5bde442da86265b670a3e5ea3163afad2c6f8ecc&dn=novelaileak

3. Переименуйте model.ckpt, что лежит внутри animefull-final-pruned в любоеназвание.ckpt. например в novelai.ckpt, теперь переименуем animevae.pt в название которое мы дали предыдущему файлу и добавляем к нему .vae.pt к примеру в novelai.vae.pt... Теперь заходим директорию \stable-diffusion-webui\, заходим в папку models и создаём там папку с именем hypernetworks и кидаем в неё файлы aini.pt, anime.pt, anime_2.pt и т.д из папки modules, что мы скачивали. Теперь в папку \models\Stable-diffusion\ с основными моделями что мы используем, переносим ранее переименованый файл novelai.ckpt и файл novelai.vae.pt

4. Запускаем Stable Diffusion и переходим в настройки, ищем раздел "Stable Diffusion" и включаем нужную модель и finetune hypernetwork

NovelAI использует CFG:11 и негативные промты: lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, поэтому если хотите результаты похожие на те, что генерит оригинальная, то используйте эти параметры.

В некоторых промптах взятых напрямую из NovelAI может встречаться синтаксис {}. Он предназначен только для официального сервиса NovelAI. Так же усиливает акцент, как и (), но акцентирование увеличивается только в 1,05 раза вместо 1.1 с (). Поэтому если прям точь в точь повторить результат с понравившегося промпта, что увидели в интернетиках, то используем (слово:1.05) или видим {{}}, то используем (слово:1.1025)... А лучше почитайте https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Features для понимания всяких тонких фишек.

Ну надеюсь всё правильно описал расписал. Если есть вопросы спрашивайте, если они в рамках понимания моего разума, то отвечу. Ниже приложу пару примеров изображений и промптов к ним, которые способна выдать модель. К слову через эту модель лучше генерить всякие анимешные арты ибо они там получаются лучше всего.

Мои:

((masterpiece)), painting of a ((Mandalorian)) bounty hunter, Star wars, Tatooine, space, stars, art by John J. Park
Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry
Steps: 150, Sampler: Euler, CFG scale: 11, Seed: 3998559443, Size: 512x704, Model hash: 925997e9

((masterpiece)), girl,red dress,short hair,summer, twintails, black hair,
Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry
Steps: 150, Sampler: Euler, CFG scale: 11, Seed: 3013799092, Size: 512x704, Model hash: 925997e9

copic, thick outlines, {{mohawk, shaved sides}}, 1girl, {vibrant}, deep shadows, deep space, {{80s, scifi, movie poster}}, skin tight spacesuit, jumpsuit, {power armor}, {{small breasts}}, closeup, detailed eyes, torso, headshot

{{BEST QUALITY}}, {{MASTERPIECE}}, {{HIGH RES}}, {{CINEMATIC LIGHTING}}, {{DETAILED}}, {{TELEPHOTO LENS}}, beautiful hd background, high detailed background, {realistic shadows}, HD shadows, {{{midjourney}}}, tarte (hodarake), Anor Lando, avataart, Andy Livy, by dark album, god teir background art, realistic, realistic portrait, masterpiece portrait, {{{{{{MASTERPIECE}}}}}}, sharp, photo realistic, background focus, {{{{{background only}}}}}, futuristic city, future, advanced technology, neon lights, holograms, flying ships, buildings metalic silver , advanced civilization, year 5096 , science fiction, sci-fi, futuristic dome, matrix

{white hair}, {very long hair}, gloves, black yellow coat, bandaged wrist, torn clothes, {{black}} eyeshadow, black and white eyes, earrings, {{floating crown}}, {star halo}, detached wings, {{masterpiece}}, {1girl}, black smear on right side of face, space background, {goddess}, {standing on a white platform}, {star symbol on clothes}, star earrings, {{medium}} breasts, bandaged torso, patterns on eye pupils, long majestic black yellow coat, chain earrings, makeup, large black and yellow coat, inside a cathedral at night, {detailed large crown}, character focus, floating stars, presenting a menger cube, magic cubes on background, dark magic, serious, {divine}, {{teenage}}, mini universe above hand, black cubes on the background, supernova on the background, decorated hair, covered body, {{{black background}}}, light above head, spirals on background, fractal patterns, {{dirty face}}, bandaged arms, fractal background

Моя попытка в тренировку LoRA

В общем, балуюсь я нейросетями уже второй годик. Начиналось все для генережки портретиков для ДнД и картинок с природой. Но недавно стал выкладывать еще и посты с цветными конями на CivitAI, дабы нафармить местной валюты на обучение и как-то увлекся. Но потом вспомнил для чего это я все затеял и решил посмотреть что я смогу. В итоге смог не очень, но тем не менее, почему бы не поделиться с уважаемыми содомитами результатами, тем паче, что обучал не на ссанине по желтому снегу, а по самому Оглафу. Получилось не то что бы плохо, но и не хорошо. Хотя, если уменьшать получаемый результат до размеров кадров оригинального комикса, то вроде даже похоже. В общем судите сами, что за срака вышла...

https://civitai.com/models/473780/oglafstyle?modelVersionId=526996

P.S: Если у кого есть положительный опыт тренировки LoRA на CivitAI - поделитесь опытом. Хочеться делать так, что бы не стыдно было.

P.P.S: Пощу на реакторе я, мягко говоря, не часто, так что если где-то что-то налажал в оформлении и/или тегах, прошу сообщить, что бы я поправил, а уже потом кидайте фекальными массами.

Большой гайд по Stable Diffusion UI

<iframe width="560" height="315" src="https://www.youtube.com/embed/PveSwofCBic?controls=0" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>

Легкая установка Stable diffusion локально

Существует довольно простой вариант установить Stable diffusion (SD) на ваш компьютер. Даже не надо с консолью ковыряться, все гораздо проще и работает с обширным функционалом.

Итак, инструкция по установке: 

1) Переходим по ссылке: Скачать SD с гитхаба без регистрации и СМС

2) Качаем ZIP архив с интерфейсом. 

3) Распаковываем архив на свой компьютер туда где есть место. Потребуется где то 10 гб.

4) Скачиваем сам файл с SD (а если быть точным - веса) по ссылке или же через торрент:

5) Есть такие штуки как GPFGAN - приблуда для исправления лиц и ESRGAN - приблуда для апскейла картинок. Я с ними еще не разбирался, а если и запускал то они плоховато работали, так что пояснения с их работой и установкой будут в следующих постах. (Но кто хочет - может поставить сам поиграться).

6) Теперь ставим проги для того чтобы все работало: GIT и Python версии 3.10.6. Python нужно устанавливать с галочкой "Add Python to PATH".

А также в ридми было указано поставить CUDA. Зачем я конечно не знаю, но я поставил на всякий случай. 

7) Перекидываем наш файлик из пункта 4 в папку из пункта 1, т.е. переименовываем файл в model.ckpt и размещаем в stable-diffusion-webui-master. 

9) Переходим в браузер по адресу http://127.0.0.1:7860/ и играемся. 

В следующих постах постараюсь подробно расписать то как в ней работать. 

Плагин для работы с Automatic1111 (img2img, inpaint, outpaint) через фотошоп

Как установить:

скачать плагин:git clone https://github.com/AbdullahAlfaraj/Auto-Photoshop-StableDiffusion-Plugin.git— запускаем "start_server.bat"  в "Auto-Photoshop-StableDiffusion-Plugin" папке
— идем туда, где у тебя установлено automatic1111. Измени "webui-user.bat" в automatic1111 эту строчку

set COMMANDLINE_ARGS=

на

что позволит плагину взаимодействовать с automatic1111. После сохранения закройте"webui-user.bat" файл и запустите его в обычном режиме.

— установи "Adobe UXP Developer Tool" отсюда Installation (adobe.com) этот инструмент добавит плагин в photoshop

— запусти Adobe UXP Developer Tool и нажми "Add Plugin" кнопку сверху справа. 

— Перейдите туда, где у вас есть "Auto-Photoshop-StableDiffusion-Plugin" папка и открой "manifest.json"

— выбери плагин, нажми Actions -> Load Selected.

Шаги для запуска плагина во второй раз и далее:

1) запускаем "webui-user.bat"

2) запускаем"start_server.bat"

3) запускаем "Photoshop"

4) запускаем" Adobe UXP Developer Tool" и загружаем плагин.