нейросети

Немного поиграл с нейросетью скормив ей персонажей старых игр.

В России выделили более 1,5 млрд рублей на нейросеть для поиска «опасных» школьников по их сочинениям

Российские издания «Ведомости» и «РБК» ознакомились с пояснительной запиской к проекту федерального бюджета до 2024 года, утверждённого правительством 21 сентября. В федеральном проекте «Социальная активность» издания обнаружили статью расходов на создание программы для анализа сочинений учащихся, направленного на поиск склонных к опасному и деструктивному поведению школьников. 

Согласно плану проекта, в 2022 и 2023 годах на создание программы выделять по 551,1 млн рублей и 555,7 млн рублей в 2024 году. «Ведомости» и «РБК» направили запросы в Минпросвещения, ответственного за реализацию проекта, с просьбой предоставить подробности о программе. Ведомство переадресовало запрос в Росмолодежь, но издания на текущий момент не получили ответы. Детали создания программы и сроки внедрения в учебные заведения неизвестны.

Эксперты «РБК» предположили, что система будет работать на базе машинного обучения. В качестве базы разработчики могут взять за основу тексты людей с психическими расстройствами или социальными отклонениями. Неизвестно, на какой текст будет опираться нейросеть. Она может переводить рукописный текст в машинный, анализировать только рукописный, учитывая почерк, или школьникам потребуется набирать сочинения сразу в электронном виде. В маркировке соответствующих паттернов, по словам экспертов, должны участвовать компетентные специалисты-психологи.

Приглашённые эксперты изданий также подняли вопрос о защите персональных данных. По их словам, для подобных манипуляций с оценкой психического состояния детей необходимо согласие родителей или опекунов. Сами тексты должны быть обезличены. Вместо указания данных ребёнка необходимо указывать индивидуальный идентификатор, который способны дешифровать только доверенная служба.

Также появляется проблема с реакцией учителей. Подобная программа не может ставить диагноз, но результаты анализа могут повлиять на отношения с учеником и родителями. На основании только этих результатов учителя могут настаивать на переводе в специальные группы или постановке на учёт в психдиспансер.

По мнению одного из экспертов, сама база должна быть создана на основании государственной информационной системы, аттестованной в ФСБ и ФСТЭК. К тому же, специалисты задались вопросом о ключевых паттернах, заложенных в программу. Например, если в сочинении ребёнок напишет об оппозиционных настроениях его родителей, как это будет расценивать нейросеть.

Персонажи Ведьмака обработанные нейросетью

Персонажи Skyrim, сгенерированные с помощью AI

Вдохновившись данным постом, решил попробовать сгенерировать лица персонажам Скайрима. Вот что из этого получилось:

Лидия

Генерал Туллий, военный наместник 

Ралоф из Ривервуда

Любой желающий может попробовать нейросеть сам по этой ссылке.

Всем привет, разрабатываю сейчас нейросеть, но не хватает знаний и навыков. Пишу на python c tf.keras, модель Sequential

Пытаюсь воспроизвести классическую задачу переноса стиля, с некоторыми доп. параметрами.

Конкретнее, на входе я подаю маленькие кусочки большого изображения + позиция изображения на большой картинке + миниатюра большого изображения. На выходе у меня этот же кусочек изображения. Обучаю на 30 больших изображениях.

С изображением небольшого размера (32х32) всё работает отлично, со значением inner_layers = 3 через 500 эпох я получаю более менее приемлемое изображение: 

Но вот с 400х300 изображение уходит в loss = 0.009 а предсказания показывают только градиенты. 

- learning rate пробовал уменьшать, без результатов.

- изменение loss function на CategoricalCrossentropy "ломает" модель,  loss поднимается до 2000, а предсказания - статичная картинка

- аналогично ломается модель, если изменить функцию активации слоёв с relu на sigmoid. Хотя, если не ошибаюсь, то установка друг за другом нескольких relu слоёв одинаковой длины - должна быть бессмысленной.

inner_layers = 9

model = models.Sequential()

model.add(layers.Dense(input_size, input_dim=input_size))

for i in range(inner_layers):

      model.add(layers.Dense(input_size,      activation='relu'))

model.add(layers.Dense(int(output_size/8), activation='relu'))

for i in range(inner_layers):

      model.add(layers.Dense(output_size,      activation='relu'))   

model.add(layers.Dense(output_size,       activation='linear'))

model.compile(loss='MeanAbsoluteError')

Приму любые советы, как можно улучшить модель или даже какую архитектуру стоит использовать. 

Пробовал так же использовать CNN, но я не знаю, как во входные данные дать ему доп. параметры, кроме самого изображения.

Использовать RNN было бы тоже логично, но не совсем понятно, как организовать использование двумерной памяти, чтобы картинка ориентировалась не только на картинку "слева", но и "сверху".

Так же, понятно, что можно использовать готовое решение а-ля это, но там используется не Keras, и к такой реализации я пока не готов. 

P.S. кроме этого часть входа с кусочками изображения я заменяю пустым значением, чтобы нейросеть не училась воспроизводить изображение по нему 1 к 1, а ориентировалась на миниатюру и позицию. Но здесь, кажется, тоже не все так гладко.

Artflow

Сейчас наткнулся, на задворках нета, на интересную нейросеть - Artflow. Она создаёт изображения людей, основываясь на текстовом описании. Как по мне, достаточно достоверно, что очень удивляет.

ссыль - https://artflow.ai/

К недостаткам можно отнести большое время создания изображения, что сейчас достигает 140 минут, иначе говоря, пропорционально популярности, учитывая ограниченные вычислительные ресурсы проекта.

Вот мои примеры: