Небольшой эксперимент с воссозданием персонажа / Нейросетевые Барышни :: Stable diffusion :: нагенерил сам :: арт барышня (арт девушка, art барышня, art girl) :: нейронные сети :: art (арт)

Небольшой эксперимент с воссозданием персонажа

Короче, идея-то какая была? Мы знаем, что есть возможность попытаться перенести стиль любого изображения на генерацию txt2img. Однако, воссоздать изображенного персонажа с рисунка-референса достаточно точно не выйдет. Тут на помощь как бы приходит лора (мини-модель, "натасканная" на конкретного персонажа, стиль, концепт, и т.п.). Вот только лора довольно таки часто ломает тонкие детали и вообще отрывает персонажа от "родного" стиля (я слышал, что правильно натренированный LyCORIS с этим лучше справляется, но пока не проверял). 

Решение, как всегда бывает, получилось костыльным: одновременно задействовать и лору и контролнет переноса стиля, но при этом отложить их запуск (а в случае контролнет ещё и вырубить их на 80% генерации). Для чего так? А дело в том, что контролнет reference довольно часто ломает цвета в самом начале генерации, так что первые 25% шагов надо дать модели поработать "чисто". Лору персонажа же, как не странно, можно отрубать даже на 50% - она не нужна во время полировки деталей, а может и вредна.

Вот оригинальное изображение-референс.

Параметры генерации (для третьей слева):

[<lora:aa_cykes:0.8>, athena cykes::0.5], 1girl, (concept art, character sheet:1.1), (best quality, masterpiece:1.2) 

Negative prompt: EasyNegative, badhandv5, (worst quality, low quality, normal quality:1.4), (painting of bad artist:1.2) 

Steps: 40, Sampler: Euler a, CFG scale: 6, Seed: 1735015463, Size: 512x768, Model hash: 1bab7a0895, Model: kizukiAnimeHentai_animeHentaiV3, Denoising strength: 0.36, Clip skip: 2, ENSD: 31337,

 ControlNet 0: "preprocessor: reference_only, model: None, weight: 1, starting/ending: (0.25, 0.8), resize mode: Just Resize, pixel perfect: False, control mode: ControlNet is more important, preprocessor params: (64, 0.5, 64)", 

ControlNet 1: "preprocessor: t2ia_style_clipvision, model: controlnetT2IAdapter_t2iAdapterStyle [892c9244], weight: 0.9, starting/ending: (0.25, 0.8), resize mode: Crop and Resize, pixel perfect: False, control mode: ControlNet is more important, preprocessor params: (512, 64, 64)", 

Hires upscale: 2, Hires upscaler: 4x-AnimeSharp, Lora hashes: "aa_cykes: 46197f092432", TI hashes: "EasyNegative: 66a7279a88dd, badhandv5: aa7651be154c", Version: v1.5.1

Ну и ещё один пример:

Без переноса стиля, с переносом стиля