Киберпидоры, помогите вкатиться в разработку нейросетей
Хайп на нейросетки существует уже давно, но новая волна хайпа стартовала в прошлом году, когда появились Stable Diffusion и прочие. А мне хочется не только смотреть, но и сделать самому.
Хотелось бы понять, как с нуля (без фреймворков и прочего, то есть без Tensorflow, Torch и так дальше) сделать хотя бы простейшую нейросеть. И я гуглил про это, но...
Если забить в гугл запрос "сделать нейросеть с нуля без фреймворков", то все результаты (по крайне мере на первой странице) будут содержать ответы типа "сейчас мы сделаем нейросеть, куда будем вводить одни числа, а на выходе получать другие". Где и как можно это использовать - нигде не написано (или я хуёво искал, собственно, почему и пишу этот пост). То есть хочется наглядности. Чтобы можно было обучить на существующих данных (а не на абстрактных числах) и сделать генератор чего-либо (например текста). Чисто на CPU, без CUDA (отчасти потому что хочется разобраться, отчасти потому что нет карты от нвидии). Да, я знаю, что тренировка будет охуеть какой долгой, но для обучения сойдёт.
Уже начинаю думать, что это какой-то заговор жидорептилоидов. Куча статей про нейросети, постоянно появляются новости вроде "хиккан сделал себе вайфу на нейросети", "спермбанк ввёл себе пиздатую нейросеть для анализа всякой хуйни", а когда начинаю искать информацию - нихуя. Будто от дауничей, вроде меня, эту информацию тщательно скрывают. А потом будет золотой миллиард, умеющий разрабатывать нейросети, а остальных определят в бесполезный биомусор.
Сам я хоть и скриптомакака (периодически произвожу говнокод на питоне) без математического (да и вообще какого-либо) образования, но всё же тема интересна. Не для заработка, а для понимания устройства. Потому что всё это выглядит как ёбаная магия. Мне как-то говорили, что смысл не в самой нейронке, а в моделях для неё. Но как работают эти модели?
Посоветуйте книги или статьи, в которых написано, как сделать нейросеть с нуля, без фреймворков, для конченых даунов, и использовать её на практике.
Подробнее
КУПОН ДЕЙСТВУЕТ ДО 01.01.2077 ИСПОЛЬЗОВАТЬ ТОЛЬКО В СЛУЧАЕ КРАЙНЕЙ НЕОБХОДИМОСТИ
пидоры помогите,реактор помоги,нейросети
если руки из жопы чтобы запустить на цэпэу webui (который https://github.com/AUTOMATIC1111/stable-diffusion-webui/ ) запускай на нём ui ( это который https://github.com/cmdr2/stable-diffusion-ui ) там в настройках галочка про цэпэу
так как весь исходный код открыт, то смотри, как оно устроено, из чего состоит, что как запускается, где что берёт и куда запихивает.
можно что то удалить а что то добавить гдето остановить
далее читай статейки где пытаются упрощённо обьяснить как оно работает типа https://habr.com/ru/post/688204/ https://habr.com/ru/company/ruvds/blog/689072/ https://habr.com/ru/post/693298/ https://habr.com/ru/company/skillfactory/blog/693200/
и да нам много много мозгодробильной математики, много много чисел ибо для компьютера всё есть числа, и много много эпичного питоновского говнокода в котором можно бесконечно ковыряться
в общем удачи
->на существующих данных
Ты не поверишь, но все нейросети получают на вход одни числа и на выход выдают другие. А дальше уже идет дело интерпретации. Существующие данные тоже представляются в виде чисел. Картинки - в виде тензоров (3 числа RGB-цвет плюс прозрачность или чето такое), текст - векторизуется с помощью специальных трансформеров, Аудио - преобразуется в сигналы, видео - просто набор картинок и так далее.
Нейросети - это чистой воды математика, без элементарных университетских знаний (как минимум линейной алгебры) будет практически невозможно в этом разобраться. Поэтому для начала я бы рекомендовал освежить знания в этой области.
->то есть без Tensorflow, Torch
А вот тут интересно, потому что сделать простую нейросеть для, например, распознавания числа на картинке с помощью этих ферймворков можно буквально за десяток-другой строчек кода. Там вся математика спрятана под капотом, и тебе не надо разбираться со всей этой тензорной\векторной математикой. Все что нужно - найти нужную архитектуру сетки в гугле, а закодить это уже довольно просто.
Если все-таки хочешь сначала посмотреть как это делается без фреймворков, вперед на ютуб с запросом "neural network from scratch". И только на английском - там куча годного контента по этому вопросу, в том числе обучающего.
Я тоже задался таким вопросом пару месяцев назад и нашел в ютубе индуса, который рассказывает за эту тему.
В целом, все начинается с CS50 и базы по Питону, алгоритмам и SQL, но учитывая тобой написанное, первые два уровня можешь пропустить.
Сам индус вещает весьма доходчиво, но маловато, так что нужно добавлять еще материалов по темам из других источников.
Как в сжатые сроки войти в DS/ML
в начальном курсе профа Ng есть момент, когда пишут маленькую ейросетку тупо на numpy с 0 (скорее всего в новом, а не старом)