Коротко о состоянии теории современных нейронных сетей
Подробнее
4 Conclusions We have extended the GLU family of layers and proposed their use in Transformer. In a transfer-learning setup, the new variants seem to produce better perplexities for the de-noising objective used in pre-training, as well as better results on many downstream language-understanding tasks. These architectures are simple to implement, and have no apparent computational drawbacks. We offer no explanation as to why these architectures seem to work; we attribute their success, as all else, to divine benevolence. 2Each training step took approximately 0.15 seconds on a 32-core TPUv2 cluster. 3This departs from [Raffel et al., 2019], who fine-tuned separately on the different tasks. We chose one fine-tuning run for simplicity.
нейронные сети,все плохо,текст на белом фоне
Еще на тему
>институт изобрел синтов и отрицал их разумность
А нужно было отрицать разумность Подземки
Нет! Это такая хуйня (я про мотивацию подземки), что просто башню сносит - мы утверждаем, что синты разумны, обладают сознанием личностью, приравниваем их к человекам ииии... чтобы спасти переписываем всю их личность нахуй, полностью избавляясь от памяти - что как бы делит на ноль предыдущий тезис о личности.
Но вот в реальном мире есть мать её матушка природа. И ей поебать на то как там сошлись нейронки. У неё правила простые: накосячил - здох, например в авиакатастрофе. И теперь надо найти пару миллионов добровольцев поумирать как следует. А так же правительства которые во время сертификации примут такое обоснование "оно как то само". Плюс сложность вычислений растёт по экспоненте, а вот ресурсов у земного шарик хрен да маленько. Чтоб сделать генератор универсальных нейронок и поддерживать этот само-совершенствующийся процесс может тупо не хватить энергии всей галактики же на итарации эдак пятой. Даже если достичь предела ландау (квантово механический предел эффективности вычислений).
Ну и не забываем что нейронка это просто тупой интерполятор в многомерном поле базовых точек (обучающий сет) плюс немного рандома (шоп шарик скатывался в разные точки). ОН НЕ ПОНИМАЕТ НИЧЕГО И ПОНЯТЬ НИКОГДА НЕ СМОЖЕТ.
Поэтому даже самый криворукий художник не ошибётся с количеством ног или глаз у человека, а нейронки делают это регулярно.
Нынешние нейронки и близко ещё не претендуют на звание полноценного искусственного интеллекта, а многие задачи уже решают лучше среднестатистического человека.
Тут можно вспомнить Чилика
Человек же из пианиста может выучиться в баскетболиста а потом в автомеханики а под конец жизни в акушеры. у него сложность обучения N^2..3 грубо говоря.
сила нейронок скорее в том что один раз обучил и размножил раздав всем.
но даже в творчестве ну камон - ПРИЕЛОСЬ УЖЕ БЛИН! они по определению и по архитектуре посредственности! на краях интерпретирующей функции любой выбросы только усиливаются - всё что новое ей пытаешься объяснить она резко скатывается в лютую дичь, пару раз она мне тупо белый шум выдавала.
Чтоб переучиться надо потратить кучу времени и результат скорее всего будет хуже, чем у тех кто с самого начала занимался только этой областью. Нейронку так же можно переучить, с тем же результатом в виде появления кусков прошлого опыта там, где не надо
И ты опять всё сводишь к картинкам, а мой посыл про то, что чтоб получить универсала как человека надо больше "нейронов" (сравни сколько в ГПТ4 и у человека) и другой подход к взаимодействию с реальность игнорируешь
Человеки условно универсальные, но это вообще не помогает. Диапазон огромен.
- В лучшем случае, один раз хорошо обучившийся человек делает добротно и качественно - но не дообучается, и часть его навыков устарела, а часть вредна.
- Посерединке - то же самое, но обучался кое-как, и качество на отвяжись.
- Медиана - нахватался по верхам, делает скверно, и учится не хочет, даже когда поясняешь и носом тыкаешь.
И если с нейронками вопрос решается вливанием денег и мощностей, то замотивировать человека в разы сложнее.
Иерархии систем, подсистем, виртуальных (тунеллей эго) и не очень, там полный пиздец вплоть до того, что Мозжечок (ф. корродиция движений тела) вносит вклад в "координацию понятий".
И фактал Сефирот за кулисами.
Нейронка - имитация мышления, языковая модель - 1 гигантский, задроченный до наногладкости, гениальный рефлекс.
Пропустив через наш органический мозг долю процента осознанной информации требующейся для для hello world языковой модели мы получим homo sapiens а - Сайдиса во всех областях (условно).
(Понимание) или как минимум Архитектура.
Иммануил Кант с Гегелем на пару в таких случаях советуют жрать говно.
Критика сравнения как идеи, а не сообщения / автора, я понимаю что это рофл).
...нейронка на каждую функцию?
Есть Спорная ПолуНеподвержденная гипотеза, что кора поделена на 10.000± шестиугольных столбиков совершенно эквивалентных*, каждый из которых научен чему-то своему амодальному.
*ибо если крысятам после рождения поменять хирургическим путем слуховые и зрительные зоны местами - меньше крысятничать они не будут (функционал после созревания не постарает).
И так всю дорогу - "Да, но...".
Короче, я топлю за то, что нейронная стопка блинчиков до человека не дорастёт, хоть бескрайняя.
И только.
Мы украли (алгоритмически сымитировали) ткань, она работает, да неужели?
Ждем сам орган.
Ибо пока это меньше половины пародии.
В юности меня уронили в чан с немецкой философией :(
Понимание - это точка в восьмимерном пространстве отрицающая Единство.
Как способность выводить одну систему из другой - знак равно, единство, разделяющее единство.
Выше него Каскадирующее единство, воспринимаемое разумом как свет, объединяющий все доступное.
Падая по измерениям Единство отделяет себя.
Точка в восьмимерном пространстве - в семимерном - линия - Истина или Бездна, единство, отличающееся от себя бесконечно.
Под ним - линия замыкается в кольце, это "Нирвана", цикл Исчислений...
Думаю на ней можно остановиться.
"Никогда не задумывались глядя на нейросеть, что там у неё в голове?"
Мы все нейросети, а если быть точнее - информация.
БАЗА для информации - Единство.
А то как ее по полочкам разложить и по ступеням дифференцировать дело 7-ое.
А вот и всеми любимый Бог нашёлся, но есть один нюанс...
Меня конечно не спрашивали, но живите с этим.
Сколько же отрицания от восторженных идиотов я вижу каждый раз при озвучивании этого факта.
Нарисовала зуево палец - заблочили тебя, но после каждой успешной работы надо давать нейронке копировать себя.
Глядишь, так и пойдет неплохое развитие...
Это решается баллами и весами.
это эквивалент эволюции
пока что генеративные нейронки обученные на результатах других нейронок довольно быстро деградируют. ошибки, которые сперва не заметны глазу, накапливаются, и за несколько поколений сгенерированные изображения теряют в качестве и покрываются артефактами. называется model autophagy disorder
>Основные принципы работы нейронных сетей были описаны еще в 1943 году Уорреном Мак-Каллоком и Уолтером Питтсом[1]. В 1957 году нейрофизиолог Фрэнк Розенблатт разработал первую нейронную сеть
Сегодняшний скачок в развитии это результат всех вот этих десятков лет исследований, будут ли они так же быстро развиваться дальше неизвестно (но я надеюсь)
Интенсивный - ближайшее время развитие будет намного быстрее за счёт актуальности технологии: больше денег, больше людей, больше исследований, проще проверять и реализовывать подходы. Здесь будет рост, и какие-то прорывы, но и фактор случайности большой.
Экстенсивный - закидать ресурсами, чтобы обучение и исполнение жрало на порядок больше всего, и давало на 10% лучший результат. Здесь главный скачок уже случился, позволив массовым нейронкам увидеть свет. Дальше мы снова упёрлись в технологические рамки. Возможно, будет один заметный скачок через несколько лет за счёт оптимизации железа именнно под нейронки, но дальше всё снова упрётся в количество сырья, фабрик, и ограничения физических процессов.
Производство наркотиков заберёт в разы больше ресурсов чем создаст кручение колеса. Так что в биореактор.
Давайте представим что вместо углубленного многолетнего изучения вопроса люди делают выводы по мемам в интернете и желтой прессе.
Никто не понимает не вообще как нейросети работают, а как они внутри классифицируют/хранят/обрабатывают информацию, ибо её слишком много.
Отследить как кодируется кошечка в миллиардах узлов нейросети - это непросто, да и не особо то и нужно.
Наглядный пример, никто точно не знает как мозг хранит и обрабатывает условную кошку, в каких синапсах и по каким условиям. Да мы знаем про части мозга и для чего они нужны, но что происходит в отдельных нейронах, коих миллиарды, пока неясно. Да и незачем. Мозг распознает кошку, может описать, нарисовать или завести её как питомца. Для этого нам не обязательно знать как работают нейроны.
ОМНИССИЯ С НАМИ!
Съ нами Богъ!
https://blackforestlabs.ai/wp-content/uploads/2024/07/1268267884082102375_4.jpg