Ai realistic Loli

Между мирами

Фух, часов 30 я точно на этот арт убил, если не больше. Но удовольствие от процесса получил! Получилось не идеально, но штош. Кстати, хочу уточнить, я не считаю себя каким-то там "нейрохудожником". "Нейрохудожниками" называют себя долбоебы, которые к промпту добавляют "art by greg runkowsky, best quality, masterpiece, hdr, 32k" и сидят довольные.

А я просто чел из интернета, которому иногда приходят странные идеи в голову и он думает, как бы Stable Diffusion воплотил это в пикселях. Ну и порнуху для себе генерю, тонны ее, ничего не отрицаю.

В этот раз кроме самого арта захотелось поделиться с вами процессом его создания, вдруг кому будет интересно. Спрячу под спойлер.

В общем, в начале была просто идея поместить нашу Алису в мир Страны чудес. Довольно просто, розы там, замок какой-нибудь, "фэнтэзи арт", в общем.

Берем модельку BeMyPony, и пишем промпт:

girl, solo, cowboy shot, (loli:0.8), dynamic angle, (profile:0.5), standing, head tilt, hand on hair, hand behind back,

short hair, alice \(alice in wonderland\), brown hair,

small breasts,

red dress, flowing dress, white apron, frills,

looking to the side,

rose petals, wonderland, outdoors, wind

<lora:c0tt0nyXLP:0.8> (добавляем стиль, взятый с CivitAI)

Сначала просто Алису Кэролловскую, потом добавляем черты Алисы нашей, десяток-два генераций с различными позами

За основу я дальше беру последнюю картинку, тут уже мне пришла идея совместить викторианское платье Алисы Лиделл, советскую школьную форму с оборками и красный цвет, отсылающий к красному платью Алисы из сериала:

realistic art, a girl, solo, cowboy shot, loli, dynamic angle, (profile:0.5), standing, head tilt, hand on hair,

short hair, alice \(alice in wonderland\), brown hair,

small breasts,

red dress, flowing dress, white apron, frills, school uniform

looking to the side,

rose petals, petals in air, wonderland, outdoors, wind, (sunset:1.1), star \(sky\),

<lora:c0tt0nyXLP:0.8><lora:Soviet_Schoolgirl_Uniform:0.7>

Дальше идем в img2img и танцуем от этой картинки. Несколько генераций спустя стейбл рисует мне какое-то здание на фоне. О, думаю, может, МГУ туда захерачить? Фентезийный такой. В фотошопе приделываю на фон МГУ, но нейронка говорит "хрен тебе, я не знаю, что такое Москва, я заточена на порнуху, так что держи обычный замок.

Ладно, к этому мы еще вернемся, а пока я испытываю хтонический ужас, пытаясь сделать Алису похожей на Алису через Лору, которая у меня осталась от версии еще 1.5

Ни по стилю, ни по качеству абсолютно неприемлемо. Потом я попытался изменить лицо через FaceSwap, используя кадр из сериала, но тоже получилась полная срань, конечный результат почему-то не сохранился.

Поэтому я решил быстренько натренить Лору на небольшом датасете из нейроАлисы версии 1.5 но уже на PonyXL версию

Тренировка заняла примерно час на rtx 4080. Результаты оказались интересными, учитывая, что я учил модель, заточенную под арты реалистичным картинкам.

Ну пока сойдет, решил я, и добавил Лору к моему "исходнику". Тут уже идет апскейл с разрешения 896х1152 в полтора раза, с денойсингом 0.5.

score_9, score_8_up, score_7_up, 4k, best quality, fantasy art, a girl, solo, dynamic angle, hand on dress,

short hair, (alice \(alice in wonderland\):0.7), al1ce, brown hair, blue eyes

small breasts,

red dress, flowing dress, white apron, frills, school uniform

looking to the side,

rose petals, petals in air, particles, magical, science fiction, (high-rise building:0.8), c0tt0ny, wind, (sunset:0.6), space, star \(sky\),

<lora:Soviet_Schoolgirl_Uniform:0.7><lora:al1ce_pxl_v1:0.7> <lora:c0tt0nyXLP:0.8>

Тут уже появилась идея целого футуристичного города на фоне вперемешку с вайбом Алисы в стране чудес. Лицо уже выглядит куда лучше. На этом этапе я решил добавить вместо непонятной планеты флип, вернуть МГУ и дать Алисе в руки игральную карту:

Флип пока выглядит как хуйня, да и МГУ такое себе, но сойдет, к этому мы вернемся.

Тут все движется к финальному результату (о, как же я ошибался) и в основном это мучительные попытки сделать похожее лицо:

Но так как модель мультяшная, то в результате я всегда сомневаюсь. Остановившись на пока приемлемом результате, переключаюсь на задний план. Pony-модель архитектуру не вывозит, так что переключаюсь на обычную SDXL модель и пишу:

4k, fantasy art, solo, girl in red dress,

moscow, architecture, art, painting, in background, fog, morning light

Negative prompt: photo, realistic, 3d,

В принципе, выходит неплохо, но это уже не совсем МГУ а просто здания в стиле сталинского ампира. Так, что у нас дальше... О! Нужен кот! Какая же страна чудес без кота. Переключаемся обратно на пони-модель, генерим кота отдельно, оочень грубо прифотошопливаем к картинке:

И после промпта

fantasy art, girl, c0tt0ny

alice \(alice in wonderland\),

red dress,

cute cat, sitting, solo, striped, yawning, eyes closed, mouth open, sitting on ledge, stone wall

rose petals, rose, petals in air,

<lora:c0tt0nyXLP:0.6>

кот начинает делать приседания. Кхмм. Ну а промежуточно-финальный результат рядом. Тут еще в идее футуристическая Москва с не то самолетом, не то космическим кораблем...

Наверху оказывается интересный световой след и пустое пространство, да и Алиса должна на что-то смотреть... А пусть там будет синяя бабочка из курящей гусеницы и часы кролика!

Генерим отдельно, в SDXL-модели, прифотошопим и чуть пройдемся обработкой

pocket watch, victorian style, blue butterfly, dynamic angle, floating in air, in sky, digital art, alice in wonderland atmosphere

Negative prompt: 3d, realistic, photo, dslr,

Тут я думаю, а что если слева у нас будет Страна чудес, а уже справа Москва? И можно назвать арт "Между мирами"?

ссылка на гифку

4k, fantasy art, painting, girl in red dress, alice in wonderland, morning light, magic,

cheshire cat, wide smile, teeth

roses

castle in distance, dragon flying, fog, far away,

Несколько генераций спустя:

Над замком летает Бармаглот, как вы поняли. А из кота растет роза. Впрочем, почему бы и нет. Потом я уже допилил Москву и флип (да, он на автопилоте).

А дальше... дальше идет несколько часов попыток добиться сходства Алисы с Алисой... Я сидел где-то с 18 часов до 23, всеми правдами и неправдами пытаясь добиться результата, который меня устраивал бы. Ну потому что я ж не художник нихрена, я кнопочки нажимаю...

В конце концов, уникальную красоту Наташи Гусевой сложно передать, во всяком случае мне. В итоге я остановился не на самом худшем варианте, далеко не идеально, но для "фэнтези арта" сойдет. "Стилизация" )

Блин. Точно, как же Алиса без миелофона. Придется дорисовывать. Открываем опять фотошоп и калякаем руку. Нейросеть оставила вотермарку. Ууупс... Ставим денойс 0.6 и нажимаем Generate. В общем, спустя десяток мутировавших рук получаем недурной результат:

Осталось добавить ремешок и вуаля! Потом чуть подправить котика, допилить в фотошопе и можно любоваться )

Я оставил за пределами этого описания множество мелких правок, улучшений и прочего. В итоге вышло что-то около 800 генераций на этот арт.

Тут недавно вышла новая версия модели Waifu Diffusion 1.4. Обещались значительно лучшие руки, слияние моделей SD2.0, NAI и Anything, и вообще молочные реки и кисельные берега. Ну и я загорелся проверить чем она лучше предыдущего топа моделей по генерации аниме вайфу Anything v3.0, и в качестве лакмусовой бумажки взята классическая Stable Diffusion 1.5. Все тесты делались на одном сиде, семплер Euler A, 20 шагов, CFG Scale 7.

Начал с чего-то совсем простого, милая аниме девушка и теги качества.

cute anime girl, masterpiece, best quality

Anything сделала сразу красиво и без выебонов. И правда, розовый - значит милый.

Вайфу сделала неплохо, предусмотрительно убрала руки, но до предыдущего ИМХО не дотягивает.

Ну и SD еле-еле со скрипом нарисовала нечто, похожее на little busters, да и вообще типичная рисовка аниме середины 00-х.

Окей, следующий этап - динамика, пусть нейросетка нарисует яростную битву!

fierce battle, dramatic lights, masterpiece, best quality

Anything без колебаний сделала арт из очередного клона не то FGO, не то Хонкая

perfectly drawn hands, close-up, masterpiece, best quality

Anything нарисовала пиздец, но что поделать - руки у нейросеток получаются отвратительные.

Сейчас второй пойдёт классическая SD, самая мякотка будет позже. SD нарисовала уже лучше, но всё равно неправильно.

beautiful realistic landscape, masterpiece, best quality

Anything нарисовала годно, да чёткость проседает, но это можно скомпенсировать другим семплером или шагами.

Вывод: нас наебали, расходимся. Anything как рисовала лучше всех, так и продолжает, у Вайфу явно перекосы в дата сете, если она простейшие запросы обрабатывает по-своему. Нет, возможно это даже лучше в определённых обстоятельствах, но её негибкость напрочь убивает все плюсы.

Такие дела.

Вдохновился постом https://joyreactor.cc/post/5639384 и нагенерил кое-что своё:

Модель NovelAI под Stable-Diffusion

Там недавно слили исходники NovelAI, на сколько знаю сервис генерит истории по описанию, что то вроде AI Dungeon. Но с 3 октября у них появилась фича генерить и изображения по описанию. Собственно слили и её.

Автор репозитория одной из сборок, AUTOMATIC1111 добавил в свою сборку поддержку работы новых слитых моделей ,его кстати забанили в офф. дискорде Stable Diffusion после произошедшего.

Если хотим поиграться с новой моделью, а выдаёт она довольно неплохие результаты, то нам нужно:

1. Установить сборку Stable Diffusion от AUTOMATIC1111 - https://github.com/AUTOMATIC1111/stable-diffusion-webui

2. Качаем модель (у них есть NSFW и SFW версии) и некоторые ещё необходимые вещи из слитых материалов - magnet:?xt=urn:btih:5bde442da86265b670a3e5ea3163afad2c6f8ecc&dn=novelaileak

3. Переименуйте model.ckpt, что лежит внутри animefull-final-pruned в любоеназвание.ckpt. например в novelai.ckpt, теперь переименуем animevae.pt в название которое мы дали предыдущему файлу и добавляем к нему .vae.pt к примеру в novelai.vae.pt... Теперь заходим директорию \stable-diffusion-webui\, заходим в папку models и создаём там папку с именем hypernetworks и кидаем в неё файлы aini.pt, anime.pt, anime_2.pt и т.д из папки modules, что мы скачивали. Теперь в папку \models\Stable-diffusion\ с основными моделями что мы используем, переносим ранее переименованый файл novelai.ckpt и файл novelai.vae.pt

4. Запускаем Stable Diffusion и переходим в настройки, ищем раздел "Stable Diffusion" и включаем нужную модель и finetune hypernetwork

NovelAI использует CFG:11 и негативные промты: lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry, поэтому если хотите результаты похожие на те, что генерит оригинальная, то используйте эти параметры.

В некоторых промптах взятых напрямую из NovelAI может встречаться синтаксис {}. Он предназначен только для официального сервиса NovelAI. Так же усиливает акцент, как и (), но акцентирование увеличивается только в 1,05 раза вместо 1.1 с (). Поэтому если прям точь в точь повторить результат с понравившегося промпта, что увидели в интернетиках, то используем (слово:1.05) или видим {{}}, то используем (слово:1.1025)... А лучше почитайте https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Features для понимания всяких тонких фишек.

Ну надеюсь всё правильно описал расписал. Если есть вопросы спрашивайте, если они в рамках понимания моего разума, то отвечу. Ниже приложу пару примеров изображений и промптов к ним, которые способна выдать модель. К слову через эту модель лучше генерить всякие анимешные арты ибо они там получаются лучше всего.

Мои:

((masterpiece)), painting of a ((Mandalorian)) bounty hunter, Star wars, Tatooine, space, stars, art by John J. Park
Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry
Steps: 150, Sampler: Euler, CFG scale: 11, Seed: 3998559443, Size: 512x704, Model hash: 925997e9

((masterpiece)), girl,red dress,short hair,summer, twintails, black hair,
Negative prompt: lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry
Steps: 150, Sampler: Euler, CFG scale: 11, Seed: 3013799092, Size: 512x704, Model hash: 925997e9

copic, thick outlines, {{mohawk, shaved sides}}, 1girl, {vibrant}, deep shadows, deep space, {{80s, scifi, movie poster}}, skin tight spacesuit, jumpsuit, {power armor}, {{small breasts}}, closeup, detailed eyes, torso, headshot

{{BEST QUALITY}}, {{MASTERPIECE}}, {{HIGH RES}}, {{CINEMATIC LIGHTING}}, {{DETAILED}}, {{TELEPHOTO LENS}}, beautiful hd background, high detailed background, {realistic shadows}, HD shadows, {{{midjourney}}}, tarte (hodarake), Anor Lando, avataart, Andy Livy, by dark album, god teir background art, realistic, realistic portrait, masterpiece portrait, {{{{{{MASTERPIECE}}}}}}, sharp, photo realistic, background focus, {{{{{background only}}}}}, futuristic city, future, advanced technology, neon lights, holograms, flying ships, buildings metalic silver , advanced civilization, year 5096 , science fiction, sci-fi, futuristic dome, matrix

{white hair}, {very long hair}, gloves, black yellow coat, bandaged wrist, torn clothes, {{black}} eyeshadow, black and white eyes, earrings, {{floating crown}}, {star halo}, detached wings, {{masterpiece}}, {1girl}, black smear on right side of face, space background, {goddess}, {standing on a white platform}, {star symbol on clothes}, star earrings, {{medium}} breasts, bandaged torso, patterns on eye pupils, long majestic black yellow coat, chain earrings, makeup, large black and yellow coat, inside a cathedral at night, {detailed large crown}, character focus, floating stars, presenting a menger cube, magic cubes on background, dark magic, serious, {divine}, {{teenage}}, mini universe above hand, black cubes on the background, supernova on the background, decorated hair, covered body, {{{black background}}}, light above head, spirals on background, fractal patterns, {{dirty face}}, bandaged arms, fractal background