нейронные сети плоская грудь

Получил доступ в бету Stable Diffusion, делюсь впечатлениями и изысканиями

Больше недели развлекаюсь с нейросетью, накопил архив удачных и не очень генераций, решил скомпилировать сюда, может, кому интересно. 

Бэкстори: Stable Diffusion обещает быть полностью опенсорсным, пока что доступ для 15 тысяч бета-тестеров идёт через дискорд, вскоре грозятся запустить сайт, для исследователей есть возможность заполнить форму и скачать модель, чтобы запускать у себя локально. В конечном итоге они обещают выложить модель и веса в открытый доступ, бесплатно. Особая прелесть сети в том, что она, как утверждает руководитель проекта, способна работать с 5.1 Гб видеопамяти - т.е. её можно запустить на домашнем ПК и генерировать изображения за несколько секунд.

Упреждая ваш вопрос - да, сеть умеет генерировать сиськи, причем зачастую даже если её об этом не просить, например, по запросу "нимфа" или "соблазнительная". Причем они даже ок. Пользовательское соглашение гласит, что вы не будете генерить NSFW, пока используете сервера проекта, если это случилось - нужно зарепортить модеру, но в целом правила очень лояльны, за всё время из 15к участников выгнали около 70, за то что они настойчиво генерировали NSFW. Когда модель станет доступна, то на своём железе можно будет генерить что душе угодно.

Итак, на что я потратил всё это время? Я пытаюсь немного экспериментировать, чтобы выяснить, как запросы (prompt) влияют на изображение. У сети есть удобная фича - генерация выдаёт сид, с которого сгенерирован шум, лежащий в основе изображения. С его помощью можно повторно генерировать картинки с небольшими изменениями в запросе.

Используя один и тот же запрос и меняя только имена авторов, я составил для себя таблицу с референсами на стили известных художников. Дисклеймер: все изображения сгенерировались с первого раза, я не пытался повторять попытки и выбрать что получше

Что характерно, портреты очень часто удачно получаются с первой попытки. Я скопировал описание Ферро из "Первого закона" Аберкромби и получил весьма годные результаты, правда без шрамов.

Что ещё хорошего умеет сеть? Она неплохо справляется с бэкграундами, простые вещи выглядят вполне убедительно, особенно если не всматриваться. 

Хаяо Миядзаки, осенний лес

Хаяо Миядзаки, выжженная пустыня

Хаяо Миядзаки, зимний городок

Хаяо Миядзаки, пустоши

Портовый город, бэк из видеоигры

Мрачный средневековый город, бэк из видеоигры

Вот вкратце сильные стороны нейросети. Теперь давайте об её слабостях, ибо их хватает. Например, генерировать персонажей в полный рост - сущее мучение, я не знаю, в чем дело, то ли привычка художников обрезать персонажам ноги, то ли криво кропнутые картинки в базе, на которой училась сеть, но в 2/3 случаев при запросе персонажа в полный рост вы получите или обрезанного, иногда с головы, перса, или персонажа с лишними телами и головами. Если портреты отлично генерятся с первой попытки, то с персонажами нужно основательно мучатся. Единственный плюс: если вы нашли удачный сид, где перс в полный рост, его можно переиспользовать. Ниже типичные запоротые генерации, и это ещё не самое стрёмное.

Один из способов консистентно получать персонажа в полный рост - использовать запрос anime model sheet в разрешении 512 на 1024, но тогда сильно страдает детализация.

Окей, пост уже и так непомерно длинен, так что я закругляюсь, описал далеко не всё, если есть вопросы - задавайте, постараюсь ответить.

Модель NovelAI под Stable-Diffusion

Там недавно слили исходники NovelAI, на сколько знаю сервис генерит истории по описанию, что то вроде AI Dungeon. Но с 3 октября у них появилась фича генерить и изображения по описанию. Собственно слили и её.

Автор репозитория одной из сборок, AUTOMATIC1111 добавил в свою сборку поддержку работы новых слитых моделей ,его кстати забанили в офф. дискорде Stable Diffusion после произошедшего.

Если хотим поиграться с новой моделью, а выдаёт она довольно неплохие результаты, то нам нужно:

1. Установить сборку Stable Diffusion от AUTOMATIC1111 - https://github.com/AUTOMATIC1111/stable-diffusion-webui

2. Качаем модель (у них есть NSFW и SFW версии) и некоторые ещё необходимые вещи из слитых материалов - magnet:?xt=urn:btih:5bde442da86265b670a3e5ea3163afad2c6f8ecc&dn=novelaileak

3. Переименуйте model.ckpt, что лежит внутри animefull-final-pruned в любоеназвание.ckpt. например в novelai.ckpt, теперь переименуем animevae.pt в название которое мы дали предыдущему файлу и добавляем к нему .vae.pt к примеру в novelai.vae.pt... Теперь заходим директорию \stable-diffusion-webui\, заходим в папку models и создаём там папку с именем hypernetworks и кидаем в неё файлы aini.pt, anime.pt, anime_2.pt и т.д из папки modules, что мы скачивали. Теперь в папку \models\Stable-diffusion\ с основными моделями что мы используем, переносим ранее переименованый файл novelai.ckpt и файл novelai.vae.pt

4. Запускаем Stable Diffusion и переходим в настройки, ищем раздел "Stable Diffusion" и включаем нужную модель и finetune hypernetwork

NovelAI использует CFG:11 и негативные промты: lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, поэтому если хотите результаты похожие на те, что генерит оригинальная, то используйте эти параметры.

В некоторых промптах взятых напрямую из NovelAI может встречаться синтаксис {}. Он предназначен только для официального сервиса NovelAI. Так же усиливает акцент, как и (), но акцентирование увеличивается только в 1,05 раза вместо 1.1 с (). Поэтому если прям точь в точь повторить результат с понравившегося промпта, что увидели в интернетиках, то используем (слово:1.05) или видим {{}}, то используем (слово:1.1025)... А лучше почитайте https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Features для понимания всяких тонких фишек.

Ну надеюсь всё правильно описал расписал. Если есть вопросы спрашивайте, если они в рамках понимания моего разума, то отвечу. Ниже приложу пару примеров изображений и промптов к ним, которые способна выдать модель. К слову через эту модель лучше генерить всякие анимешные арты ибо они там получаются лучше всего.

Мои:

((masterpiece)), painting of a ((Mandalorian)) bounty hunter, Star wars, Tatooine, space, stars, art by John J. Park
Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry
Steps: 150, Sampler: Euler, CFG scale: 11, Seed: 3998559443, Size: 512x704, Model hash: 925997e9

((masterpiece)), girl,red dress,short hair,summer, twintails, black hair,
Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry
Steps: 150, Sampler: Euler, CFG scale: 11, Seed: 3013799092, Size: 512x704, Model hash: 925997e9

copic, thick outlines, {{mohawk, shaved sides}}, 1girl, {vibrant}, deep shadows, deep space, {{80s, scifi, movie poster}}, skin tight spacesuit, jumpsuit, {power armor}, {{small breasts}}, closeup, detailed eyes, torso, headshot

{{BEST QUALITY}}, {{MASTERPIECE}}, {{HIGH RES}}, {{CINEMATIC LIGHTING}}, {{DETAILED}}, {{TELEPHOTO LENS}}, beautiful hd background, high detailed background, {realistic shadows}, HD shadows, {{{midjourney}}}, tarte (hodarake), Anor Lando, avataart, Andy Livy, by dark album, god teir background art, realistic, realistic portrait, masterpiece portrait, {{{{{{MASTERPIECE}}}}}}, sharp, photo realistic, background focus, {{{{{background only}}}}}, futuristic city, future, advanced technology, neon lights, holograms, flying ships, buildings metalic silver , advanced civilization, year 5096 , science fiction, sci-fi, futuristic dome, matrix

{white hair}, {very long hair}, gloves, black yellow coat, bandaged wrist, torn clothes, {{black}} eyeshadow, black and white eyes, earrings, {{floating crown}}, {star halo}, detached wings, {{masterpiece}}, {1girl}, black smear on right side of face, space background, {goddess}, {standing on a white platform}, {star symbol on clothes}, star earrings, {{medium}} breasts, bandaged torso, patterns on eye pupils, long majestic black yellow coat, chain earrings, makeup, large black and yellow coat, inside a cathedral at night, {detailed large crown}, character focus, floating stars, presenting a menger cube, magic cubes on background, dark magic, serious, {divine}, {{teenage}}, mini universe above hand, black cubes on the background, supernova on the background, decorated hair, covered body, {{{black background}}}, light above head, spirals on background, fractal patterns, {{dirty face}}, bandaged arms, fractal background

Тут недавно вышла новая версия модели Waifu Diffusion 1.4. Обещались значительно лучшие руки, слияние моделей SD2.0, NAI и Anything, и вообще молочные реки и кисельные берега. Ну и я загорелся проверить чем она лучше предыдущего топа моделей по генерации аниме вайфу Anything v3.0, и в качестве лакмусовой бумажки взята классическая Stable Diffusion 1.5. Все тесты делались на одном сиде, семплер Euler A, 20 шагов, CFG Scale 7.

Начал с чего-то совсем простого, милая аниме девушка и теги качества.

cute anime girl, masterpiece, best quality

Anything сделала сразу красиво и без выебонов. И правда, розовый - значит милый.

Вайфу сделала неплохо, предусмотрительно убрала руки, но до предыдущего ИМХО не дотягивает.

Ну и SD еле-еле со скрипом нарисовала нечто, похожее на little busters, да и вообще типичная рисовка аниме середины 00-х.

Окей, следующий этап - динамика, пусть нейросетка нарисует яростную битву!

fierce battle, dramatic lights, masterpiece, best quality

Anything без колебаний сделала арт из очередного клона не то FGO, не то Хонкая

perfectly drawn hands, close-up, masterpiece, best quality

Anything нарисовала пиздец, но что поделать - руки у нейросеток получаются отвратительные.

Сейчас второй пойдёт классическая SD, самая мякотка будет позже. SD нарисовала уже лучше, но всё равно неправильно.

beautiful realistic landscape, masterpiece, best quality

Anything нарисовала годно, да чёткость проседает, но это можно скомпенсировать другим семплером или шагами.

Вывод: нас наебали, расходимся. Anything как рисовала лучше всех, так и продолжает, у Вайфу явно перекосы в дата сете, если она простейшие запросы обрабатывает по-своему. Нет, возможно это даже лучше в определённых обстоятельствах, но её негибкость напрочь убивает все плюсы.

Такие дела.

Когда посмотрела Милого во Франксе