3. Идем по пути waifu-diffusion-main/models/ldm. Создаем там папку "stable-diffusion-v1". Переименуйте ранее скачанную модель .ckpt в "model.ckpt", и положите в папку которую только что создали.
4. Качаем https://pastebin.com/K6nkw326 переименовываем в kdiff.py и кидаем по пути waifu-diffusion-main/models/scripts
7. Устанавливаем миниконду: Install for all users. Убрать галочку "Register Miniconda as the system Python 3.9" если оно вам не нужно
8. Открываем Anaconda Prompt (miniconda3). Переходим в папку waifu-diffusion-main используя "cd" для прыжков по папкам. (Или просто введите cd и перекиньте нужную папку на окно консоли)
9. Введите команду: "conda env create -f environment.yaml" и ждите (Убедитесь, что вы находитесь в папке waifu-diffusion-main)
10. Удалите папки "clip" и "taming-transformers" из /src
11. Введите команду: "conda activate ldw" (Вам нужно будет это делать каждый раз когда после перезапуска миниконды)
Использование когда активирован ldw, убедитесь, что находитесь в папке waifu-diffusion-main и введите python scripts\kdiff.py Ждем когда загрузится модель, после полной загрузки скрипта мы должны увидеть сообщение о запущенном сервере на адресе 127.0.0.1:7860
Как отключить безопасный режим без соответсвующей кнопки в beta.dreamstudio.ai (обновлённый)
Предыдущий способ: https://joyreactor.cc/post/5305450 - перестал работать. Дело в том, что разрабы не глупые и просекли фишку с "window.localStorage.setItem("safeMode", false)" в консоли браузера. Но, времени у них было мало, поэтому исправили они это костыльно - перед проверкой на безопасный режим, безопасный режим ставится насильно. Наш ответный костыль в том, что мы заменяем строчку насильной установки безопасного режима на строчку насильного снятия безопасного режима. Сделать это можно так.
Заходим на https://beta.dreamstudio.ai/dream, открываем Средства разработчика -> Источники (F12 -> Источники), ставим точку останова на скрипт app.0123456789.js, перезагружаем страницу (F5), заменяем строчку "window.localStorage.setItem("safeMode","true")" на "window.localStorage.setItem("safeMode","false")" (Ctrl + F), снимаем точку останова. ... PROFIT
Минусы этого способа в том, что при обновлении страницы наш костыль перезаписывается. Это правится плагинами, но так далеко нам заходить лень, да и незачем.
Для лучших результатов нужно указать несколько художников с ArtStation. Если запрос это один объект или персонаж то при высоком разрешении все размазывается. Cfg Scale по ощущениям делает все четче, при этом не меняет композицию. Можно зафиксировать сид и подправить понравившееся изображение. При высоких значениях появляются шакалы. Увеличение количества убирает шакалы и делает изображение менее "нейронным". Но изображение может полностью поменяться. Если сравнивать с MidJourney то тут лучше анатомия и форма.
Как отключить безопасный режим без соответсвующей кнопки в beta.dreamstudio.ai
Заходим в https://beta.dreamstudio.ai/membership -> Account Settings. Убеждаемся, что переключателя "Safe Mode" нет. Если уже есть (а он должен появиться после публичного запуска), то переключаем и не паримся. Если нет, то открываем консоль браузера (F12 -> Console) и пишем "window.localStorage.setItem("safeMode", false);". ... PROFIT
Если картинки всё ещё заблюрены, то пробуем перезагрузку страницы через Ctrl + F5.
Правда тут уже с кредитной системой. Бесплатно дается только первые 200 кредитов на генерацию. Есть NSFW фильтр (еще очень не акуратный).Но через пару дней выдадут веса модели в общий доступ и тут только ограничения на доступную видюху будут.
Вот вам немного фей, анимешного Николаса Кейджа и Джокера Тома Круза
Развернуть
Отличный комментарий!
Впрочем nsfw фильтр можно отключить в профиле похоже
Получил доступ в бету Stable Diffusion, делюсь впечатлениями и изысканиями
Больше недели развлекаюсь с нейросетью, накопил архив удачных и не очень генераций, решил скомпилировать сюда, может, кому интересно.
Бэкстори: Stable Diffusion обещает быть полностью опенсорсным, пока что доступ для 15 тысяч бета-тестеров идёт через дискорд, вскоре грозятся запустить сайт, для исследователей есть возможность заполнить форму и скачать модель, чтобы запускать у себя локально. В конечном итоге они обещают выложить модель и веса в открытый доступ, бесплатно. Особая прелесть сети в том, что она, как утверждает руководитель проекта, способна работать с 5.1 Гб видеопамяти - т.е. её можно запустить на домашнем ПК и генерировать изображения за несколько секунд.
Упреждая ваш вопрос - да, сеть умеет генерировать сиськи, причем зачастую даже если её об этом не просить, например, по запросу "нимфа" или "соблазнительная". Причем они даже ок. Пользовательское соглашение гласит, что вы не будете генерить NSFW, пока используете сервера проекта, если это случилось - нужно зарепортить модеру, но в целом правила очень лояльны, за всё время из 15к участников выгнали около 70, за то что они настойчиво генерировали NSFW. Когда модель станет доступна, то на своём железе можно будет генерить что душе угодно.
Итак, на что я потратил всё это время? Я пытаюсь немного экспериментировать, чтобы выяснить, как запросы (prompt) влияют на изображение. У сети есть удобная фича - генерация выдаёт сид, с которого сгенерирован шум, лежащий в основе изображения. С его помощью можно повторно генерировать картинки с небольшими изменениями в запросе.
Используя один и тот же запрос и меняя только имена авторов, я составил для себя таблицу с референсами на стили известных художников. Дисклеймер: все изображения сгенерировались с первого раза, я не пытался повторять попытки и выбрать что получше
Как видно, какие-то получаются лучше, чем другие. Но вообще, портретики в стиле Артгерма получаются у сети лучше всего. Забавно при этом то, что если указывать рандомные имена в качестве художников, сеть всё равно делает вид, будто всё идёт по плану.
Что характерно, портреты очень часто удачно получаются с первой попытки. Я скопировал описание Ферро из "Первого закона" Аберкромби и получил весьма годные результаты, правда без шрамов.
Как вообще работает это хрень и что такое диффьюжн? Это лучше загуглить, ибо моё представление весьма туманно. Сеть генерирует шум, и потом начинает... обратно размывать изображение, типа как можно заблюрить картинку до полной каши, а тут процесс в обратную сторону? Делается это пошагово, максимум дают сделать 150 шагов, по дефолту 50. Процесс примерно можно увидеть на ролике с контрафактной Элой ниже, число в углу это количество шагов.
Что ещё хорошего умеет сеть? Она неплохо справляется с бэкграундами, простые вещи выглядят вполне убедительно, особенно если не всматриваться.
Хаяо Миядзаки, осенний лес
Хаяо Миядзаки, выжженная пустыня
Хаяо Миядзаки, зимний городок
Хаяо Миядзаки, пустоши
Портовый город, бэк из видеоигры
Мрачный средневековый город, бэк из видеоигры
Ну и конечно, дело не ограничивается артами, сеть также умеет в фото, вот вам моя коллекция Снейков (солидных, ибо за нагих Снейков дают таймаут).
На самом деле Снейк - очень неудачная модель, т.к. его глазная повязка сбивает сеть с толку.
Вот вкратце сильные стороны нейросети. Теперь давайте об её слабостях, ибо их хватает. Например, генерировать персонажей в полный рост - сущее мучение, я не знаю, в чем дело, то ли привычка художников обрезать персонажам ноги, то ли криво кропнутые картинки в базе, на которой училась сеть, но в 2/3 случаев при запросе персонажа в полный рост вы получите или обрезанного, иногда с головы, перса, или персонажа с лишними телами и головами. Если портреты отлично генерятся с первой попытки, то с персонажами нужно основательно мучатся. Единственный плюс: если вы нашли удачный сид, где перс в полный рост, его можно переиспользовать. Ниже типичные запоротые генерации, и это ещё не самое стрёмное.
Один из способов консистентно получать персонажа в полный рост - использовать запрос anime model sheet в разрешении 512 на 1024, но тогда сильно страдает детализация.
Еще одно ограничения, которое я пока не знаю как обойти - слишком детализированные запросы. Например, здесь 4 изображения по запросу "женщина с белыми волосами, жёлтыми глазами и в красном платье". Сеть путает, какие цвета к чему относятся.
Заключение. Stable Diffusion пока что немного уступает по качеству изображений DALL-E 2, на мой взгляд получше чем Midjourney, при этом значительно быстрее и не обременена цензурой, и это только первая стадия бета-теста. Несмотря на определённые ограничения, сеть уже вполне может генерить простые стоковые картинки, кастомные аватарки для вашей гномки-лича в Пасфайндере и возможно даже задники для вашей инди-игры.
Окей, пост уже и так непомерно длинен, так что я закругляюсь, описал далеко не всё, если есть вопросы - задавайте, постараюсь ответить.
Получил я доступ на бэту к Stable diffusion одной из новых нейронных сеток.
Ониме
Готичные темно фэнтезийные бабы
Вдохновившись этим постом нагенерил киберпанкового Гарри Поттера
Гарри
Также сетка мне выдала этого очень странного Гарри
Гермиона
Рон
Снейп
Дамблдор
Володя
Дементоры
Паладины Том Круз и Антонио Бандерас
Много ебанутого Николаса Кейджа
Немного про возможности и ограничения сетки.
Результаты что я показываю отобранные. На одну прям клевую картинку приходится десяток мутантов или не полностью соответствующих описанию изображений.
Плюс если нужно добиться прям клевых по стилю визуальных результатов будьте готовы забивать кроме самого описания того, что хотите, кучу уточняющих тегов и желательно имена артистов под кого косить. Типа Angel Nicolas Cage, dark fantasy, intricate, highly detailed, smooth, artstation, painted by Wayne Barlowe, Greg Rutkowski, zdislav beksinski, Francis Bacon
Аниме вообще очень тяжело дается. Пришлось прям искать нужные теги и отбирать прям приходится очень активно.
В плане сложности запроса и описываемой композиции насколько я знаю сетка уступает dall-e2. Если нужно что-то с несколькими персонажами занимающимися какой-то определенной деятельностью каждый, то почти никогда не получается, то что хочешь. Да и вообще если это не портрет, а прям поза с телом могут быть сильные траблы, особенно с руками и особенно с кистями и пальцами,
Там где людям дают попробовать бету nsfw запрещено. Хотя артистичная обнаженка допускается, политота и знаменитости тоже.
Из хорошего. Сетка когда выйдет будет доступно любому. Будет как и сайт, так и код с обученной моделью в свободном доступе, которою можно поднять у себя и тут уже никаких ограничений на nsfw нет. Причем по меркам таких вещей модель очень щадящая. Нужна видюха желательно нвидиа у которой больше 5 гб памяти.
Получил доступ к закрытой бете Stable Diffusion! Пишите запросы.
Готов сгенерировать вам почти всё что захотите. Только пишите сразу на английском. Пример: "Studio photograph of a suit of armor made of white porcelain with blue trim. 8k."
Ниже просто интересные генерации, которые нашёл за минуту.
Продолжаю знакомиться с разными моделями и вот сегодня открыл для себя Stable Diffusion, которая выдаёт потрясающие результаты. Доступ к ней ограничен, только по инвайту.
Ещё мы БЕСПЛАТНО генерируем ваши запросы на похожих моделях, не все, только на наше усмотрение. Потому что своё железо. Запрос писать по ссылке ниже и пожалуйста сразу на английском. https://t.me/neural_infinity/26
Stable diffusion новую нейронную сетку делают для генерации изображений по описанию по типу DALL-E 2. Но в отличии от остальных обещают сделать ее полностью опенсурсной и бесплатной.
Попробовать удачу и записаться на бету можно здесь
Отличный комментарий!