google Stable Diffusion

Пользуюсь MidJouney и Anything V3.0 через Google Colab. 
В основном ремиксую друзей с аниме или фентези в миджорни или создаю сотни артов с томбоями)
Конкретно эта создана, улучшена и откорректирована попеременно в обеих сетках.

Есть ли какие-нибудь сайты-галереи сборок для Stable Diffusion в Colab с примерами работ и перечислением фишек?

Моя попытка в тренировку LoRA

В общем, балуюсь я нейросетями уже второй годик. Начиналось все для генережки портретиков для ДнД и картинок с природой. Но недавно стал выкладывать еще и посты с цветными конями на CivitAI, дабы нафармить местной валюты на обучение и как-то увлекся. Но потом вспомнил для чего это я все затеял и решил посмотреть что я смогу. В итоге смог не очень, но тем не менее, почему бы не поделиться с уважаемыми содомитами результатами, тем паче, что обучал не на ссанине по желтому снегу, а по самому Оглафу. Получилось не то что бы плохо, но и не хорошо. Хотя, если уменьшать получаемый результат до размеров кадров оригинального комикса, то вроде даже похоже. В общем судите сами, что за срака вышла...

https://civitai.com/models/473780/oglafstyle?modelVersionId=526996

P.S: Если у кого есть положительный опыт тренировки LoRA на CivitAI - поделитесь опытом. Хочеться делать так, что бы не стыдно было.

P.P.S: Пощу на реакторе я, мягко говоря, не часто, так что если где-то что-то налажал в оформлении и/или тегах, прошу сообщить, что бы я поправил, а уже потом кидайте фекальными массами.

Модель NovelAI под Stable-Diffusion

Там недавно слили исходники NovelAI, на сколько знаю сервис генерит истории по описанию, что то вроде AI Dungeon. Но с 3 октября у них появилась фича генерить и изображения по описанию. Собственно слили и её.

Автор репозитория одной из сборок, AUTOMATIC1111 добавил в свою сборку поддержку работы новых слитых моделей ,его кстати забанили в офф. дискорде Stable Diffusion после произошедшего.

Если хотим поиграться с новой моделью, а выдаёт она довольно неплохие результаты, то нам нужно:

1. Установить сборку Stable Diffusion от AUTOMATIC1111 - https://github.com/AUTOMATIC1111/stable-diffusion-webui

2. Качаем модель (у них есть NSFW и SFW версии) и некоторые ещё необходимые вещи из слитых материалов - magnet:?xt=urn:btih:5bde442da86265b670a3e5ea3163afad2c6f8ecc&dn=novelaileak

3. Переименуйте model.ckpt, что лежит внутри animefull-final-pruned в любоеназвание.ckpt. например в novelai.ckpt, теперь переименуем animevae.pt в название которое мы дали предыдущему файлу и добавляем к нему .vae.pt к примеру в novelai.vae.pt... Теперь заходим директорию \stable-diffusion-webui\, заходим в папку models и создаём там папку с именем hypernetworks и кидаем в неё файлы aini.pt, anime.pt, anime_2.pt и т.д из папки modules, что мы скачивали. Теперь в папку \models\Stable-diffusion\ с основными моделями что мы используем, переносим ранее переименованый файл novelai.ckpt и файл novelai.vae.pt

4. Запускаем Stable Diffusion и переходим в настройки, ищем раздел "Stable Diffusion" и включаем нужную модель и finetune hypernetwork

NovelAI использует CFG:11 и негативные промты: lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, поэтому если хотите результаты похожие на те, что генерит оригинальная, то используйте эти параметры.

В некоторых промптах взятых напрямую из NovelAI может встречаться синтаксис {}. Он предназначен только для официального сервиса NovelAI. Так же усиливает акцент, как и (), но акцентирование увеличивается только в 1,05 раза вместо 1.1 с (). Поэтому если прям точь в точь повторить результат с понравившегося промпта, что увидели в интернетиках, то используем (слово:1.05) или видим {{}}, то используем (слово:1.1025)... А лучше почитайте https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Features для понимания всяких тонких фишек.

Ну надеюсь всё правильно описал расписал. Если есть вопросы спрашивайте, если они в рамках понимания моего разума, то отвечу. Ниже приложу пару примеров изображений и промптов к ним, которые способна выдать модель. К слову через эту модель лучше генерить всякие анимешные арты ибо они там получаются лучше всего.

Мои:

((masterpiece)), painting of a ((Mandalorian)) bounty hunter, Star wars, Tatooine, space, stars, art by John J. Park
Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry
Steps: 150, Sampler: Euler, CFG scale: 11, Seed: 3998559443, Size: 512x704, Model hash: 925997e9

((masterpiece)), girl,red dress,short hair,summer, twintails, black hair,
Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry
Steps: 150, Sampler: Euler, CFG scale: 11, Seed: 3013799092, Size: 512x704, Model hash: 925997e9

copic, thick outlines, {{mohawk, shaved sides}}, 1girl, {vibrant}, deep shadows, deep space, {{80s, scifi, movie poster}}, skin tight spacesuit, jumpsuit, {power armor}, {{small breasts}}, closeup, detailed eyes, torso, headshot

{{BEST QUALITY}}, {{MASTERPIECE}}, {{HIGH RES}}, {{CINEMATIC LIGHTING}}, {{DETAILED}}, {{TELEPHOTO LENS}}, beautiful hd background, high detailed background, {realistic shadows}, HD shadows, {{{midjourney}}}, tarte (hodarake), Anor Lando, avataart, Andy Livy, by dark album, god teir background art, realistic, realistic portrait, masterpiece portrait, {{{{{{MASTERPIECE}}}}}}, sharp, photo realistic, background focus, {{{{{background only}}}}}, futuristic city, future, advanced technology, neon lights, holograms, flying ships, buildings metalic silver , advanced civilization, year 5096 , science fiction, sci-fi, futuristic dome, matrix

{white hair}, {very long hair}, gloves, black yellow coat, bandaged wrist, torn clothes, {{black}} eyeshadow, black and white eyes, earrings, {{floating crown}}, {star halo}, detached wings, {{masterpiece}}, {1girl}, black smear on right side of face, space background, {goddess}, {standing on a white platform}, {star symbol on clothes}, star earrings, {{medium}} breasts, bandaged torso, patterns on eye pupils, long majestic black yellow coat, chain earrings, makeup, large black and yellow coat, inside a cathedral at night, {detailed large crown}, character focus, floating stars, presenting a menger cube, magic cubes on background, dark magic, serious, {divine}, {{teenage}}, mini universe above hand, black cubes on the background, supernova on the background, decorated hair, covered body, {{{black background}}}, light above head, spirals on background, fractal patterns, {{dirty face}}, bandaged arms, fractal background

Google Colab и кошкодевочки для всех.

Не знаю почему этого никто до сих пор не написал... Инструкция посвящается всем киберпидорам на накопившим на крутую видяху, желающим заиметь гарем 2D тяночек. 
Гугл раздает доступ к своим ML мощностям для всех желающих. На https://colab.research.google.com/ можно генерить свои картиночки, запускать свои модели и.т.п. (ограничение - 12 часов в день на работу, потом все сгенереное стирается.) 
Даю сразу ссылку:

Модель anything3.0: https://colab.research.google.com/github/camenduru/stable-diffusion-webui-colab/blob/main/anything_3_webui_colab.ipynb
(на мой взгляд самая подходящая под генерацию 2D эротики)

Запуск модели полностью автоматизирован, просто запускаешь коллаб кнопкой ▶️ исполнение кода
И ждешь пока тебе выдадут линк на вебинтерфейс (типа такого https://0f0a82ef41323d42.gradio.app/).

Открываешь линк - поздравляю, твой коллаб с тяночками готов. Генерирует в любом разрешении (у гугловских тензорных ядер памяти до черта).

P.s.
Тем кто хочет старую stable diffusion без хентая https://colab.research.google.com/drive/1jY9KAqR_SQUp76ayRuqyk4MTId-7STOy?hl=ru_RU#scrollTo=NPtEBB6r18yU
Вообще в коллабе много уже подготовленных моделей - просто гуглите)

Stable Diffusion начала синтезировать музыку

В рамках проекта Riffusion разработчики развивают вариант системы машинного обучения Stable Diffusion для генерации музыки вместо изображений. Мелодии можно создавать как на основе предложенного шаблона, так и с помощью текстового описания на естественном языке.

Компоненты для синтеза музыки написали на языке Python с использованием фреймворка PyTorch. Связь с интерфейсом реализовали на языке TypeScript. Компоненты доступны под лицензией MIT.

Сама модель открыта под лицензией Creative ML OpenRAIL-M, допускающей использование в коммерческих целях.

Обновлённая модель использует для генерации музыки модели «из текста в изображение» и «из изображения в изображение», но в качестве изображений выступают спектрограммы. Они отражают изменение частоты и амплитуды звуковой волны во времени. Система на выходе формирует новую спектрограмму, которая затем преобразуется в звуковое представление.

Проект Riffusion также может использовать для изменения имеющихся композиций и синтеза музыки по образцу. Этот процесс работает по аналогии с модификацией изображений в Stable Diffusion. Так, при генерации могут задаваться образцы спектрограмм с эталонным стилем, комбинироваться разные стили, выполняться плавный переход от одного стиля к другому или вноситься изменения в существующий звук для увеличения громкости отдельных инструментов, изменение ритма и т.д.

Образцы можно использовать для генерации длительно играющих композиций, создаваемых из серии близких друг к другу отрывков, немного меняющихся во времени. Они объединяются в непрерывный поток при помощи интерполяции внутренних параметров модели.

Для создания спектрограммы используется оконное преобразование Фурье. Чтобы решить проблему с определением фазы, задействован алгоритм аппроксимации Гриффина-Лима.

В ноябре Stability AI сообщила о выпуске новой версии модели Stable Diffusion 2.0. В ней улучшили качество и повысили вариативность получаемых изображений.

Легкая установка Stable diffusion локально

Существует довольно простой вариант установить Stable diffusion (SD) на ваш компьютер. Даже не надо с консолью ковыряться, все гораздо проще и работает с обширным функционалом.

Итак, инструкция по установке: 

1) Переходим по ссылке: Скачать SD с гитхаба без регистрации и СМС

2) Качаем ZIP архив с интерфейсом. 

3) Распаковываем архив на свой компьютер туда где есть место. Потребуется где то 10 гб.

4) Скачиваем сам файл с SD (а если быть точным - веса) по ссылке или же через торрент:

5) Есть такие штуки как GPFGAN - приблуда для исправления лиц и ESRGAN - приблуда для апскейла картинок. Я с ними еще не разбирался, а если и запускал то они плоховато работали, так что пояснения с их работой и установкой будут в следующих постах. (Но кто хочет - может поставить сам поиграться).

6) Теперь ставим проги для того чтобы все работало: GIT и Python версии 3.10.6. Python нужно устанавливать с галочкой "Add Python to PATH".

А также в ридми было указано поставить CUDA. Зачем я конечно не знаю, но я поставил на всякий случай. 

7) Перекидываем наш файлик из пункта 4 в папку из пункта 1, т.е. переименовываем файл в model.ckpt и размещаем в stable-diffusion-webui-master. 

9) Переходим в браузер по адресу http://127.0.0.1:7860/ и играемся. 

В следующих постах постараюсь подробно расписать то как в ней работать. 

Пидоры помогите

Практическое применение нейросетей

Раз уж я вошёл в мир нейросетей благодаря реактору (через слитую модель novelAi и гайду к ней), то хочу вернуть дань благодарности этим небольшим мануалом.

Вы сможете генерировать прикольные арты на основе любого логотипа \ текста буквально в пару шагов.

0) Нужен stable diffusion от automatic1111 свежей версии (как его устанавливать тут не буду описывать);

1) Устанавливаем расширение ControlNet:

a) Копируем ссылку: https://github.com/Mikubill/sd-webui-controlnet

b) Идём во вкладку extensions -> install from URL, в первое поле вставляем ссылку и жмакаем install

После этих манипуляций у Вас перезагрузится web страница и появится вкладка "ControlNet" в txt2img:

d) Загружаем модели для ControlNet:

для этого идём сюда: https://civitai.com/models/9251/controlnet-pre-trained-models

скачиваем все версии моделей (там есть раздел Versions с отдельной кнопкой загрузки);

все скачанные файлы закидываем в <путь до SD>\stable-diffusion-webui\extensions\sd-webui-controlnet\models

2) Генерируем арты:

a) подготавливаем свой логотип \ текст. 

я сделал такую картинку в фш:

p.s: походу желательно не использовать прозрачный фон (у меня с ним ничего не вышло).

b) двигаем настройки ControlNet:

единственное НО: у меня не получилось подружить controlNet с "hiresfix". даже "latent(nearest)" начинает ломать образ. поэтому генерировал сразу в 768х768 (Вам, возможно, надо будет пробовать с 512х512)

модель на которой я генерил: https://civitai.com/models/1274/dreamlike-diffusion-10

ну и примеры того что у меня получилось:

Идея честно спизженна отсюда:

https://www.reddit.com/r/StableDiffusion/comments/11ku886/controlnet_unlimited_album_covers_graphic_design/

Ну и напоследок хочу сказать что это расширение умеет гораздо большее. например можно полностью копировать стиль фото \ любые позы \ выражения лиц и ДАЖЕ рисовать идеальные руки и ноги (причём с фокусом на них). Но и запариться там нужно чуть сильнее)

Пользователь Reddit с ником nhciao опубликовал серию художественных QR-кодов, созданных с использованием модели ИИ для синтеза изображений Stable Diffusion. Картинки, выполненные в стиле аниме и традиционного японского искусства, являются реальными QR-кодами и могут считываться смартфоном.

Как перерисовать любой рисунок с помощью StableDiffusion

Нужно:

Всё происходит во вкладке txt2img

Сначала берём исходное изображение, кладём его в 2 вкладки ControlNet'a и включаем их. Вот как-то так:

А вот так вторую (Unit 1):

Осталось нарисовать маску:

Позитивный - (white flowers:1.1), (best quality, masterpiece:1.2)

Негативный как обычно - EasyNegative, (worst quality, low quality, normal quality:1.4), (painting of bad artist:1.2)

Нажимаем Generate и получаем:

Старайтесь генерировать поближе (насколько возможно) к оригинальному разрешение. Hires. fix лучше не использовать - он ломает тонкие детали.

Нужен подходящий чекпойнт в зависимости от стиля оригинального рисунка. Под реалистичные рисунки реалистичные модели, под стилизованные - стилизованные.