Подробнее
■••.statistics....
it-юмор,geek,Прикольные гаджеты. Научный, инженерный и айтишный юмор,ИИ,шакалы,без перевода,it humor,geek,Artificial Intelligence,it юмор
Еще на тему
it-юмор geek ИИ шакалы без перевода it юмор
Подробнее
■••.statistics....
it-юмор,geek,Прикольные гаджеты. Научный, инженерный и айтишный юмор,ИИ,шакалы,без перевода,it humor,geek,Artificial Intelligence,it юмор
Подробнее
■••.statistics....
it-юмор,geek,Прикольные гаджеты. Научный, инженерный и айтишный юмор,ИИ,шакалы,без перевода,it humor,geek,Artificial Intelligence,it юмор
Типа знаешь, представь, что там вместо машинного обучения и прочего написано "цифровая электроника", а самая соль шутки, надпись на собачке - "ЛАМПЫ".
"Нет, ну вы поняли, лампы, да? Вот умора!!!".
И вот смотришь на то, как один за другим чуваки просто повторяют "Лампы! А-ха-ха!" и раз за разом делают вымученные мемчики, которые десятилетия как протухли)
В целом, не парься - ну не нравится, да и хуй с ними. Зато может теперь кто прочтет и подумает "о, бля, так на самом деле это не так?", может заинтересуется темой.
Тогда уж, если мы любую нелинейность за ифы принимаем, жду аналогичного комикса, где эти ифы из человека сыпятся, хули, активация биологических нейронов-то тоже нелинейная.
2 В хард клиппинге есть иф или минимум на ифе т.е. в той где отсечка по 6.0 например.
3. В проверке того что 3х3 ядро не вышло за границы изображение или в паддинге которое добавляет по пустые поля чтоб 3х3 и более ядро не косячило.
4. В трансмутации на входе - чтоб преобразовать RGB с каждого пикселя в матрицы R, G, B
5. В циклах которые проходятся ядром 3х3 и более в начале по Х потом по Y. внутри тоже ты не поверишь юзают циклы.
6. Во всяких служебных штуках для обучения и проверки и отладки
Продолжать?
(если что я имплементировал это гавно как на ардуинке так и в FPGA и своём чипе, т.е. от Kerasa на пайтоне до самого нижнего уровня - топологии кристалла)
Ничего из этого не является частью структуры сети, которая проводит вычисления, это обвязка, чтобы это все можно было безболезненно стыковать с внешним кодом.
Само вычисление совершенно спокойно реализуется монолитной структурой, в которой только умножение с накоплением и нелинейные функции, в которой информация течет от входов к выходам безо всякого ветвления.
Ядром, кстати, в циклах проходят только если считать в лоб на CPU, на GPU эти ядра вообще в параллель считаются, ты же сам знаешь, что тебе вообще ничего не мешает хоть по отдельному кристаллу на ядро сделать, лишь бы в выход атомарно данные писались.
Ты при желании можешь взять катушку, накрутить на нее несколько обмоток, чтоб соотношение их витков соответвовало заранее просчитанным коэффициентам, а в качестве нелинейности использовать диод, или какую-нибудь хуйню на операционнике, или нелинейность магнитопровода, и подавать на вход данные синусами разной амплитуды.
И она точно так же тебе посчитает выходные значения, не только без ифов, но и без кода.
ну как ты иначе сделаешь циклы и тд?
будто в GPU нет скрытых if ов хотябы для паддинга циклов и тд?
да даже в коде Verilog было ифов - моё почтение. Оно конечно превращается в сумматор и его знак переноса которым маскируется или управляется цикл но всё же это тот же иф на основе test или jnz после sub counter - основа та же самая, вычесть и проверить знак переноса.
"катушку, накрутить на нее несколько обмоток" - только вот это физически же нереально даже для MNIST сетки (которая распознаёт одну рукописную цифру). Так что предлагаю не теоретизировать там где на практике не применимо.
А первые эксперименты с нейросетями по-твоему на чем делали? Маккалок и Питтс, разработчики ранних моделей перцептрона? У них был вообще аналоговый компьютер, со входом 20х20 пикселей, там где ифы? Я уж не говорю о современных аналогово-цифровых нейропроцессорах.
Ну камон, я понимаю, когда спорят те, кто в этом не шарят, но ты-то нафига, ты же сам это все знаешь.
И то, что сетка вообще задаётся одной дифференцируемой функцией, за счёт чего, блин, ее и учат - потому что градиенты функции ошибки от выходов ко всем входам текут - то есть у тебя буквально есть выражение для значения каждого выхода как функция от входа и коэффициентов, то есть ты буквально, при желании можешь записать ручками эту формулу и просто подставить числа, безо всяких ифов.
Понятно же, что такие шутейки - это "а-ха-ха, вы это называете ИИ, а там все просто ифами расписано" - и люди это читают и думают, что реально сети информацию обрабатывают через кучи ифов.
В то время к мой поинт был в том, что в реальности вычисления проводит такая вот хитровыебанная функция, которую при большом желании можно записать просто в виде математического выражения, и которая, как правило, вообще будет дифференцируемой, а ифы там это все только окаймляют, потому что люди же не ебанутые, чтобы проверки данных и прочую стандартную хуйню без ифов реализовывать.
разрешаю, делай, а потом продай, вот тогда и поговорим
а то можно до запаха горелой кожи надрачивать на всякие компы на реле, или в майнкрафте. Да прикольно но нехрена не практично. Но принципиально невозможно добиться дешевизны и технологичности.
Поинт понятен.
Я с ним полностью согласен что это гигантская функция.
Но как её записать с учётом краёв? ;)
Помоги пожалуйста мне дурачку. давай начнём с простого - свёртка матрицы 5х5 ядром 3х3 с шагом 1 и 1 по ху, коэф 1,2,3, 4... 9 для простоты. без RELU и прочих хард-софт клипингов. Просто такую тривиальную свёртку можешь расписать без ифов даже математических с учётом краёв и заполняющего нулями паддинга?
(просто на работе тебе дают модель, говорят портировать и оптимизировать и дрючить будут чтоб выход был равен эталону бит в бит, солой в слой, ебись как хошь)
Но вон чуваки делают на кристалле аналоговую сетку. Я не думаю, что они дрочатся "чтоб ифов не было", не в том же суть. Просто они все эти проверки данных, видимо, выносят туда, где от ифов отказываться не надо, выше уровнем, а внизу оставляют аналоговую херню, которая эту функцию считает.
Они подробностями не делились, но я думаю, там тупо большое входное поле, типа в твоём примере больше 5х5, и они по центру размещают актуальные входные данные, остальное оставляя нулем - чисто в той части их пайплайна, в которой это можно без дрочки делать.
Так как ниже хуйня аналоговая, ей похуй, 5х5 ты считаешь или 512х512, там же нейроны аппаратные, а не цифровой конвейер из умножителей и регистров.
Считай, у них на нижнем уровне реализована аппаратная свёртка с большим входным полем, а вспомогательный код (и вспомогательные цифровые блоки) снаружи смотрит за тем, чтобы размещать и забирать результаты с правильным смещением.
Но без скрытых неявных ифов в реальном мире её реализовать тот ещё дроч и очень очень мало реально.
Это в РФ? Коммерческие, или просто для себя экспериментировал, без заказа кристаллов?
Интересно, где у нас сейчас этим занимаются и какие результаты.
там было прикольно то что на 1500фпс сетка работала на частоте меньше чем RGB пиксели поступали. т.к. входной слой сразу считал 3x3 за такт. и вообще вся сеть это один гигансткий конвеер почти в два кадра. ДОХРЕНИЩА DSP ядер было. Латентность овер миллон тактов.
Я тут видел (как раз к слову об аналоговых сетях и отсутствии ифов), что чуваки из одного стартапа реализовали нейропроцессор на кастомных транзисторах вместо нейронов. Они взяли мосфеты и заюзали их не в ключевом режиме - ну то есть, представляешь флешку, да? Где заряд под затвором транзистор отпирает?
Вот они типа такого сделали, только там не просто "есть заряд/нет заряда", а с возможность транзистор "приоткрыть" на нужную величину, то есть появилась возможность сразу нейроны и связи между ними с коэффициентами сделать на кристалле, без DSP.
Учить на них, конечно, нельзя, но инфиренс, по их словам, богический - из-за того, что это аналоговая хуйня, а не эмуляция через dsp, они сверхмало жрут.
Это у Veritasium было на канале, кажется.