24 декабря Архивач восстановлен после серьёзной аварии. К сожалению, значительная часть сохранённых изображений и видео была потеряна. Подробности случившегося. Мы призываем всех неравнодушных помочь нам с восстановлением утраченного контента!
Итак, тута у нас будет нейротред, тред про нейросети и все такое. Без срачей, школьников, хейтеров-неосиляторов, верунодебилов и прочего быдла. Проявления таковых имитаций жизни предлагается игнорировать. В качестве затравки предлагаю ознакомиться с лекцией Бернарда Уидроу, одного из пионеров этого направления. Собственно, лекция Мастера в двух частях: http://www.youtube.com/watch?v=hc2Zj55j1zU http://www.youtube.com/watch?v=skfNlwEbqck Несмотря на 82-х летний возраст (на момент записи видео), очень грамотно, вкратце, по делу и с примерами поясняет за свои изобретения - адалайны (разновидность искусственных нейронов) и механизм их обучения - LMS. Поехали!
>>305297 С современной ситуацией вполне знаком. Но, что интересно, почти у всей современной ситуации ноги растут примерно оттуда. Невозможно нормально понимать что-то не понимая самых азов.
>>305292 (OP) Поясняю что делает формальный нейрон. Используя пороговую функцию он вычисляет степень сходства запомненного изображения и изображения на входе (при этом запомненное не хранится в самом нейроне, а может храниться отдельно, зато обязательно будет иметь с нейроном связь) на основании которой(степени) получается выход 0 - не похоже и 1 - похоже. Сигмоидальная функция и прочие представляют собой более плавные вариации пороговой, создающие в качестве выходов значения в диапазоне от 0.0 до 1.0, где решать уровень порога для них задача исследователя. В перцептронах сязи настраиваются вручную, в ИНС с обратным распространением ошибки - автоматически.
Собственно вернёмся к классификации. Простое объяснение функции формального нейрона можно дать на следующем примере: Представьте себе, что память нейрона это изображение. Обучение нейрона происходит путём проявления обучающей выборки на этом изображении, что и показывает нам пик релейтед. Многи могут возразить: "Кококо, там нет ни где картинок!" и будут правы, по тому что вместо пикселей в ИНС значения пикселов представляют собой связи входов с нейроном.
>>305385 Преимущества аппаратной реализации ИНС в том, что может быть одновременно выполнено множество сравнений входов с памятью, это даёт неоспоримое преимущество в скорости поиска информации для нейрокомпьютера, но не более - нет гибкости в выборе и количестве ресурсов.
Реализация на обычном компьютере же требует неимоверно больших объёмов памяти, 90% которой займут только связи, а простые запросы будут обрабатываться минуты, к тому же, реакция ИНС неуправляема, так как на случайной обучающей выборке предсказать её невозможно.
Что то ещё я умного сказать хотел, да забыл. Ну и хуй с ним.
>>305386 А, точно, за множество слоёв. Дополнительные слои обобщают поступающую информацию. Давайте снова напряжём воображение. Если первый слой хранит усреднённые изображения, то что будет хранить второй слой - усреднённые усреднения в лучшем случае, в худшем - усреднённое состояние отдельных нейронов, что приведёт к полнейшей рефлексии второго слоя. Он не будет классификатором изображений, он будет классификатором степеней активности отдельных нейронов.
>>305397 При мне ни один взрослый человек а тем более мужчина не называют слова "троль", "тролить", "лалка", "лал" и "лол", никогда. Понимаешь? Эти слова активно используются школотнёй, очень активно, они в каждом чате их как мантру повторяют в отличии от уже взрослых молодых людей, которым эти слова обсолютно чужды и тут ты, нихуясебе дядя 27 лет "тралит лалок" в школоборде. Ты не просто ведёшь себя как школьник, ты на столько эргономично с ними сливаешься, что из общей массы тебя уже ни что не выдляет.
>>305400 Я спросил тебя, как там в 1995, потому что твои знания, они того, слегка устарели. Нейросети сейчас считают на GPU, которые дают баланс между скоростью и гибкостью. При этом задача классификации изображений сейчас по сути решена (перформанс выше того, что может человек). А ты такой пришел и пишешь >>305391 азазаза, ну ты лол вообще.
Вообще, печаль беда, сидишь, двачуешь капчу, год, два, а потом тебе ананимас пишет 'ни один взрослый человек а тем более мужчина не называют слова "троль", "тролить", "лалка", "лал" и "лол"'. И ведь правда, вроде и зарплата есть, и жена, и мир повидал, а все равно в формат взрослого человека не вписываюсь.
>>305404 Тут ты батинька просрались, по тому как мои устаревшие знания тянутся из 70-х годов, если бы вы чистали википедию, то знали бы это и с тех пор нейросети миллиарды раз обсчитали и без GPU, а основная задача нейросетей это не классификация, они создавались как новое направление в исследовании или даже создании искуственного интеллекта, что из этого вышло мы видим прямо сейчас - школьник на школоборде "тралит лалку", рассказывая мне про GPU.
>>305407 С 70-х годов до середины нулевых тянулось очень много вредных заблужений. Например то, что много слоев - это бесполезно (>>305390 - вот это пиздец какой-то), что активаторная функция с насыщением - это хорошо, что backpropagation не универсален и т. д. и т. п. Поэтому моя мотивация заключается в том, чтобы ты изучил современное положение вещей, чтобы не тратить время на говно мамонта. Вот тебе раз: http://goodfeli.github.io/dlbook/ вот тебе два: http://cs231n.github.io/ . Удачи.
>>305409 Зачем мне это изучать, если и так понятно - ИИ нет, а к закрытым, хорошо финансируемым исследованиям проводимым настоящими учёными ни кого не подпустят.
>>305300 >С современной ситуацией вполне знаком знаешь есть такой парадокс невежда считает что он компетентен во всем, специалист же наоборот считает что не достаточно обучен.
>>305386 >Реализация на обычном компьютере же требует неимоверно больших объёмов памяти полный бред пишешь, может когда были диски на 2 гига и оперативы на 2 мбайта то это и требовало неимоверных обьемов, сейчас же даже если ты миллион нейронов соединишь каждый с каждым то значения обьемов памяти не привысят терабайтов. На обычном компьютере главная проблема это то, что процесс пересчета происходит неодновременно, и именно процессорного времени потребуется много, но и эта проблема решаема т.к. процесс легко распараллелить.
Ну и треду нехватает явного упоминания современных разработак в этом направлении, хотя бы упомянуть чипы, которые полностью придерживаются модели.
В IBM neurosynaptic chips, модель 2014 года имеет миллион программируемых нейронов и 256 миллионов синапсов. Немаловажным фактором является экономичность таких чипов т.к. один чип потребляет всего 4 Киловатт электричества. Соответственно суперкомпьютер на основе таких чипов уже сейчас может вполне иммитировать модель мозга человека. Главной же проблемой остается разумеется постановка задач и обучение этой модели. Видео релейтед по теме, там уже звучат несколько другие цифры, ну и там стенд собран уже с участием этих чипов http://www.youtube.com/watch?v=tAtmNYBObkw
>>305412 >Соответственно суперкомпьютер на основе таких чипов уже сейчас может вполне иммитировать модель мозга человека. Не может, человеческий нейрон соответствует мини-нейросети тех простых моделей нейронов, которые обсчитывает этот чип. Это не считая разных рецепторов в мозге и тому подобного. Мы на самом деле не знаем, как работает мозг.
>>305412 >полный бред пишешь, может когда были диски на 2 гига и оперативы... Да нет же, я подсчитать пытался. Выглядело просто бешано, примерно сотня терабайт на 10 млрд нейронов, где каждый связан с каждым, а связь представляет собой не бит а структуру содержащую несколько переменных типов, которые не по байту занимают, чтобы нулевой нейрон соединился с террабайтным, ему нужен 40 чтоли битный указатель.
>>305420 Нет. Такую систему очень легко переобучить. Важно грамотно сократить число связей - не ради экономии вычислительной мощности, а ради того, чтобы нейросеть обощала входные данные, а не переобучалась.
>>305415 к тому же у тебя некоторые пробелы в построении алгоритмов, можно вполне использовать меньше имея больше. если будут значения не 1 а 10 байт, то это максимум увеличит обьемы в 10 раз понимаешь? что за 40 бит? это 8 байт всего
>>305424 Пилишь такой ИИ, он значит за год захватывает мир, началась утопия роботов и тут ХУЯК! у ии сбой, закончилась память, по тому что разраб не учёл экспотенциальный рост числа потенциальных связей при увеличении числа нейронов.
>>305426 ИИ захватил весь мир, но настолько тупой что не знает как сам устроен? и не сможет сам допилить и усовершенствовать себя, не говоря уже просто вопрос нахуя ему просто так увеличивать кол-во нейронов в пределах одной железки.
>>305429 через интерфейс, в котором используется фиксированное число нейронов, и не добавляя в свою конструкцию новых, не? ты вообще вкурсе как новая информация поступает в нейронную сеть, и что происходит в итоге с той информацией что была и новой? По твоему нужны новые нейроны? лол
У тебя твои триллиарды параметров нейросети приведут к тому, что обучить ее будет невозможно, потому что чем больше у тебя параметров, тем хуже у тебя с обобщением и предсказанием.
Ну это пиздец, что ты мне принёс? Я, кстати, заметил интереную вещь в выходцах из российских вузов - им Machine Learning преподают, похоже, по учебникам 70-х или 80-х годов. Из алгоритмов знают 1)перцептрон 2)наивный Баес 3)лог.регрессию и 4)наипростейшую нейронку с парой скрытых слоёв, причём это считается чем-то очень навороченным. ВСЁ. Как будто прямиком из 1985. Причём у человека бумажка, согласно которой он, блядь, инженер-разработчик программного обеспечения. Знаний в статистике, современных алгоритмах, теории обучения - просто нет. Я ей-богу лучше с людьми с улицы, прошедшими онлайн-курс бы работал. Прочтите, накатило.
>очень грамотно, вкратце, по делу и с примерами поясняет за свои изобретения - адалайны (разновидность искусственных нейронов) и механизм их обучения - LMS Видос не смотрел, на Вики написано, что это эквивалентно линейной регрессии, предполагая Гауссовский шум, это так?
>>305455 По-русски. Что ли. По-английски. Кого тут учить нужно - не знаю. "Лайн" я написал, чтобы была видна этимология слова adaline. Backpropagation - потому что 1) "метод обратного распространения ошибки" - звучит громоздко, а более удачного термина не завезли, 2) чтобы человек знал, что гуглить.
Если следовать твоей логике, то математики должны объяснять свои мысли исключительно формулами, ибо формализм, знания, по выпендриваться в знании формализмов, а не разговаривать по русски. Ну да ладно. >>305457 1) Похуй как звучит, зато понятно и более полно по смыслу, если сравнить с переводом backpropagation - сокращай. 2)Действительно, нахуя своими словами описывать, всё же прекрасно гуглится - накидал терминов, так чтобы даже хокинг охуел и заебись, ни кто не понял, ну и хуй с ним.
Суть адалайнов и LMS например, в том, что такие модели позволяют понять смысл гораздо более сложных алгоритмов, занимающихся тем же - регрессией и классификацией. В этом смысле крайне полезны даже старые совковые книги Вапника с Червоненкисом. Простой пример - в чем суть использования гиперплоскостей в алгоритмах классификации или идентификации систем? В случае классификации гиперплоскость y=ax+b можно приравнять к 0, и тогда она будет разделять в соответствующем ей подпространстве все что меньше 0 от всего что больше 0. А в случае аппроксимации функций, например моделью Такаги-Сугено, гиперплоскости в консеквентах правил будут наоборот аппроксимировать распределение в случае приближения к главным компонентам системы, которой принадлежит тестовое распределение точек. Потом, еще вопрос, почему в качестве производной лучше именно квадратичная функция? Потому что это параболоид, который в силу своей формы имеет единственный глобальный оптимум. >>305397 >проспавшими deep learning революцию, И в чем же там революция? В том, что подобные сети, сколько-либо пригодные для практических целей, по месяцу сходятся на 8-процессорных теслах? Хайп на ровном месте вижу, революцию не вижу.
>>305646 Помню, что писал ты примерно что нимодно, нипапацански, вообще прошлый век, да и авторы пиздоглазые. По существу предъяв против TS не припоминаю. На предложение привести в пример что-то поновее, написал PSO. А я тебе ответил, что рой частиц - для оптимизации, и в отличие от, для идентификации систем бесполезен. Вроде бы на этом и закончили?
>>305723 >задача - распознавание речи, Кохонен еще в 80-е годы этим успешно занимался. В его монографии немало примеров распознавания как отдельных фонем, так и слитной речи. Алгоритмы - LVQ, SOM.
>>305728 >диванный теоретик. Ты наркоман или наркоман? Какие теории, пакет lvq_pak, созданный Кохоненом - http://www.cis.hut.fi/research/lvq_pak/ там в исходниках в качестве примера файлы ex1.dat и ex2.dat, как раз распознавание фонем, описанное в монографии.
>>305732 >распознавание уровня 80-х годов. Ну давай, расскажи, чем распознавание уровня 80-х годов отличается от какого-то другого уровня? Опять же, сославшись на Кохонена, более 96% фонем слитной речи распознаются правильно, причем, не требуется даже специального железа, все работало в рилтайме на тех еще камплюхтерах. Расскажи, недиван, намного ли лучше дела обстоят сейчас? И сколько гугловских суперкомпьютеров для этого нужно?
>>305743 >ВРЕТИ!!111 Ага, скрывают. Настолько скрывают, что все в открытом доступе и даже с переводом на русский. Распознавание речи сводится к векторному квантованию, это медицинский факт. >>305746 Тогда ладно.
>>305750 Тогда почему ты до сих пор не миллионер? Сделал бы стартап без гугловских суперкомпьютерах на статьях тридцатилетней давности, победил бы state of art, мамке бы дачу купил.
Привет. С какой книги я могу начать обмазываться физикой, что бы считать себя в данном направлении где-нибудь на уровне "Любитель -"? В Интернете нашел, с виду, неплохую книгу "Введение в физику" Китайгородского. Какого чёрта в вашей тематике нет треда новичков?
Собственно, лекция Мастера в двух частях:
http://www.youtube.com/watch?v=hc2Zj55j1zU
http://www.youtube.com/watch?v=skfNlwEbqck
Несмотря на 82-х летний возраст (на момент записи видео), очень грамотно, вкратце, по делу и с примерами поясняет за свои изобретения - адалайны (разновидность искусственных нейронов) и механизм их обучения - LMS. Поехали!