Буквально 3-4 года назад интересовался AI и собирался изучить нейросети, но на хабре и сосаке все говорили, что они устарели, никакой, мол, перспективы. Сейчас же их используют практически везде. Что изменилось?
Колесо самсары совершило полный оборот.
>но на хабре и сосаке все говорили, что они устарели, никакой, мол, перспективы
А ты и поверил хабрососакопидорам.
>Сейчас же их используют практически везде
Это жизнь, мальчик, привыкай. Тебя ещё очень много раз наебут.
>но на хабре и сосаке все говорили, что они устарели, никакой, мол, перспективы. Сейчас же их используют практически везде. Что изменилось?
Ебать ты лошара. Теоркат там не учишь, случаем?
Ебать ты лошара. Теоркат там не учишь, случаем?
Авторитетные хуи говорили, что нейросети ВСЕ. На это хабр и ссылался.
Теперь авторитетные хуи говорят, что рекуррентные многослойные нейросети это на самом деле будущее.
Обучают их как? По-прежнему блядский BP?
многослойные НС сосут
однослойные НС сосут
ты сосёшь
спешите видеть, нсофанбой порвался и перешёл на личности
это обидно читать от однослойной НС
о боже, надо читать что то кроме хабры и двача где большая часть людей пилит сайтики на пхпе. Нейронные сети имеют свои плюсы и свои минусы, и области применения из которых их еще долго никто не уберет.
Авторитетный хуй сказал что в одной из областей нейронные сети все, на Хабре нейронные сети целиком и полностью хоронят. Вон всякие Кармены из под шконря кукарекают о том что С++ с Java'ой все и мол надо переходить на Lisp. Но всем вообще похуй на его мнение. Да и вообще этих авторитетных хуев как грязи и некоторые из них бывает ошибаются.
Искусственный интеллект это не только нейронные сети, надо рассматривать вопрос комплексно что бы понимать для каких задач используют нейронные сети, а для каких какая нибудь экспертная система сгодится.
собственно вот максимально глубокая аналитика от гуру программыча.
Интерес к нейросетям идет волнами, сначала изобретают какую-то многообещающую йобу, идет волна публикаций, потом оказывается, что эта йоба - вовсе не такая хорошая, идет спад. Таких волн было уже штуки 3 минимум с 50-х годов. До широкой общественности это доходит с лагом, причем сейчас полная рассинхронизация с реальностью, некоторые до сих пор, например, уверены, что персептрон не способен сделать XOR, хотя это миф еще из 70-х, некоторые уверены - что активаторная функция sigmoid неплоха и т. п.
То есть, на условном хабре (да и в /pr/, что уж там) одновременно тусят люди, читавшие научпоп из 70-х, 80-х, 90-х, нулевых и современный, с совершенно разным отношением к этой области, из эпох охлаждения интереса и роста.
>Что изменилось?
Сейчас очередной рост интереса нейросетей вызван так называемым deep learning breakthrough, который является совокупностью открытий (методов обучения и т. п.), впечатляющих демонстраций, интересом корпораций, пиздатыми фреймворками. С одной стороны все выглядит круто, все более впечатляющие результаты в новых областях и т. п., но есть несколько больших но, которые сводят всю малину к тому, что нужно работать в корпорации, чтобы во всем этом празднике жизни учавствовать. Ну, типа, как в 60-е когда компы были только в ВЦ, а не дома.
1. Вся проблема нейросетей в том, что для 99,99% людей - это магическая йоба, которая хуй знает как работает. И примерно так оно и есть - все эти подходы о том, что каждый слой нелинейно искажает многомерное пространство пока задача не станет линейно разделимой, конечно, красиво звучит (и выглядит на визуализациях), но легче от этого не становится. Если у бизнеса нет денег на многолетний R&D, он скорее просто откажется от проекта, чем будет использовать нейросети.
2. Дизайн нейросети - это метод проб и ошибок, а для этого нужны кластеры для перебора вариантов и обучения, а это сейчас доступно только бизнесу и университетам, а не Васе с писюком и GPU. При этом уже отдизайненая сеть и на телефоне с андроидом функционировать сможет.
3. Для впечатляющих результатов нужны впечатляющие массивы данных. У корпораций это есть, ты сосешь хуй.
В итоге, для простых смертных, остаются старые добрые вручную подобранные признаки и надежные как скала классификаторы типа SVM. То есть недостаток данных компенсируется работой спеца по ручному выделению важных признаков из информации.
То есть, на условном хабре (да и в /pr/, что уж там) одновременно тусят люди, читавшие научпоп из 70-х, 80-х, 90-х, нулевых и современный, с совершенно разным отношением к этой области, из эпох охлаждения интереса и роста.
>Что изменилось?
Сейчас очередной рост интереса нейросетей вызван так называемым deep learning breakthrough, который является совокупностью открытий (методов обучения и т. п.), впечатляющих демонстраций, интересом корпораций, пиздатыми фреймворками. С одной стороны все выглядит круто, все более впечатляющие результаты в новых областях и т. п., но есть несколько больших но, которые сводят всю малину к тому, что нужно работать в корпорации, чтобы во всем этом празднике жизни учавствовать. Ну, типа, как в 60-е когда компы были только в ВЦ, а не дома.
1. Вся проблема нейросетей в том, что для 99,99% людей - это магическая йоба, которая хуй знает как работает. И примерно так оно и есть - все эти подходы о том, что каждый слой нелинейно искажает многомерное пространство пока задача не станет линейно разделимой, конечно, красиво звучит (и выглядит на визуализациях), но легче от этого не становится. Если у бизнеса нет денег на многолетний R&D, он скорее просто откажется от проекта, чем будет использовать нейросети.
2. Дизайн нейросети - это метод проб и ошибок, а для этого нужны кластеры для перебора вариантов и обучения, а это сейчас доступно только бизнесу и университетам, а не Васе с писюком и GPU. При этом уже отдизайненая сеть и на телефоне с андроидом функционировать сможет.
3. Для впечатляющих результатов нужны впечатляющие массивы данных. У корпораций это есть, ты сосешь хуй.
В итоге, для простых смертных, остаются старые добрые вручную подобранные признаки и надежные как скала классификаторы типа SVM. То есть недостаток данных компенсируется работой спеца по ручному выделению важных признаков из информации.
"Deep learning" - это всё красивые словечки. Ещё раз спрашиваю, в принципе метод обучения -- всё равно BP. Потому что я даже представить не могу, что в 21м веке кто-то ещё использовал бы simulated annealing какой-нибудь.
Гладко стелишь, фраерок.
>simulated annealing какой-нибудь
Мы в своей очень большой американской корпорации используем. Для кластеризации.
Это не красивые словечки.до 2005 года обучать глубокие сети не умели из-за принципиальных (как казалось) ограничений BP.
Ведь BP это по сути школьное правило взятия производной dx/dy=dx/dt * dt/dy (нейросеть рассматривается как большая функция многих переменных и символьно вычисляется ее градиент в точке), получается цепочка, раскручиваемая от последнего слоя к первому. Ограничения заключаются в том, что у неглубоких слоев градиент или очень маленький, или бесконечно большой, поэтому обучение идет очень долго.
Прорыв заключается в том, что предложили
1. Использовать unsupervized pre-training перед собственно BP, типа RBM, autoencoders и т. п. Это года с 2005. Это позволяет неглубоким слоям уже выделять какие-то значимые фичи, поэтому обучение идет быстрее.
2. Использовать активаторные функции без насыщения (типа relu(x)=max(0, x)) и МНОГО данных - это где-то с 2010, AlexNet и т. п.
То есть реально получилось так, что unsupervized pre-training просто восстановил интерес к нейросетям.
3. Использовать техники борьбы с переобучением типа dropout, когда случайным образом обрубают связи в сети и обучают так. В пейпере по AlexNet написано что да как.
А simulated annealing никто не использует, потому что эти методы используется для борьбы с локальными минимумами, а в настолько многомерной задаче их нет - чем больше у тебя измерений, тем больше шансов не застрять. Это тоже далеко не очевидная штука (раньше думали, что это не так и поэтому скептически относились к тупому градиентному спуску по производной, получаемой с помощью BP), но это так. Это легко показывается тем, что BP с разных стартовых точек приводит к одному и тому же performance у сети. То есть недостаток у BP был один - он ОЧЕНЬ медленно сходится и при малом количестве данных и хуевой активаторной функции "с насыщением", которая призвана эмулировать математический нейрон, сеть не успевает обучаться.
Simulated annealing тут как пятая нога - локальных минимумов нет, зато в настолько многомерной задаче ты будешь веками (буквально) ждать результатов отжига.
И так как локальных минимумов у многомерных задач нет, то и ничего лучше старых добрых методов с градиентным спуском тоже нет. Но это только для supervized learning.
Но сейчас смотрят больше в сторону unsupervized learning, ведь это и с философской точки зрения неплохо (мозг обучается сам), и с практической - unmarked data у нас почти бесконечный источник в виде интернета.
Говно какое-то обсуждаете, хочу робовайфу.
Как осилить нейронные сети с нуля? Пока никакой конкретной задачи нету, особо не знаю для чего они нужны. Я понимаю, что это очень большая область, хочется сначала в общих чертах, а потом когда пойму, что мне нужно и нужно изучать что-то более конкретное.
В фильме же наглядно показали, что ты своей робожене нужен не будешь.
Но ведь ещё в 70х была статья, математически доказывающая, что SA -- epic fail. Сейчас поищу у себя.
> борьбы с локальными минимумами, а в настолько многомерной задаче их нет - чем больше у тебя измерений, тем больше шансов не застрять.
Господь милосердный праведный. Свят-свят. Не гневайся на него, ибо не ведает, что несёт.
Там осиливать нечего.
А где и кто их использует например? Кроме трейдинга, рекламы и прочей продажа-статистике, кроме распознавания образов/символов. Оно в принципе ясно, что нейронка на основе исходных данных должна относительно быстро выдать решение. Но что и где оно реально решает?
Так ее же запрограммировали на это, можно перепрограммировать.
Ну если у тебя интеллект вкачанный, то да. А вот если нет, то пизда.
Я даже ссаную "Нейрокомпьютерную технику" Уоссермена дальше BP не осилил, и реализовал только однослойную. Другое дело, что здесь скорее не как, а сколько времени вбивать матан в свою бошку.
другой
я библиотеку-фреймворк по нейросеткам на питоне нашел. этого достаточно для запила своей нейросети?
>Господь милосердный праведный. Свят-свят. Не гневайся на него, ибо не ведает, что несёт.
Вот это - типичный мудилка "с хабра" с научно-популярными статейками полувековой давности. Зато юморист, типа.
>Для кластеризации.
Может таки классификации?
Одно и тоже, не?
> https://ru.wikipedia.org/wiki/Классификация
> https://ru.wikipedia.org/wiki/Кластерный_анализ
кластеризация = классификация по координатам, но в нейронной сети все входные вектора - координаты из многомерного пространства же.
Ноуп. Есть куча объектов, есть функция, которая возвращает match score для пары объектов, надо их сгруппировать в кластеры оптимальным образом.
> в 70х была статья, математически доказывающая, что SA -- epic fail
Хз, я кодомакака, для выбора алгоритмов у нас специальные умники есть.
>но на хабре и сосаке все говорили, что они устарели, никакой, мол, перспективы. Сейчас же их используют практически везде. Что изменилось?
Лол слушать мнения дебилов из страны третьего мира
>Сейчас же их используют практически везде. Что изменилось?
Тут описано кратко https://www.reddit.com/r/MachineLearning/comments/3hxdx3/why_do_some_people_hate_neural_networksdeep/cucpm6d
Что случилось. Вот что http://cs.stanford.edu/people/karpathy/deepimagesent/
Стало возможным натренировать функцию которая численно перерарабтывает сырые пиксели в осмысленное описание на естественном языке.
Стало возможным натренировать функцию которая численно перерарабтывает сырые пиксели в осмысленное описание на естественном языке.
Что случилось. Вот что http://cs.stanford.edu/people/karpathy/deepimagesent/
Стало возможным натренировать функцию которая численно перерарабатывает сырые пиксели в осмысленное описание на естественном языке.
Стало возможным натренировать функцию которая численно перерарабатывает сырые пиксели в осмысленное описание на естественном языке.
>надо их сгруппировать в кластеры оптимальным образом
А что подается на вход сети, и ,самое главное, что на выходе?
Классификация - обучение с учителем, итоговые классы заданы заранее. Кластеризация - без, количество групп и их "семантика" не известны. Есть, конечно, нюансы.
>А что подается на вход сети, и ,самое главное, что на выходе?
Вряд ли он о нейросети говорит, просто написали целевую функцию ("оптимальным образом") и минимизируют влоб с помощью отжига.
Сейчас я покажусь всем восторженным ньфагом, но всё равно спрошу:
Что, ГРОБ СКАЙНЕТ КЛАДБИЩЕ МАТРИЦА НЕО ПИДОР?
Ты правда такой идиот? Ты в здравом уме написал тот еретичный инфернальный бред?
Значит ваши "умники" -- вовсе не умники.
http://www.tandfonline.com/doi/abs/10.1080/00207728908910235
AI - это действительно бесперспективное занятие, если ты под AI понимаешь андройдов из фильма. А из НС можно лепить неплохие классификаторы для разгадывания капчи.
Не, совсем нет. Да и мемы из старого экшн-кина это дурной тон, не говори их жирным текстом пожалуйста.
Это просто говорит о том что с помощью SGD
можно подобрать такой набор матриц и векторов что после их умножения/сложения/нейлинейного преобразования можно из чисел соответствующих массиву пикселей получить числа которые соответствуют ASCII кодам текста на естественном языке.
Он верно говорит, последние попытки применить статистическую физику к DL сетям делают такие же выводы о том что их энергетический ландшафт выглядит как funneled spin glass https://charlesmartin14.wordpress.com/2015/03/25/why-does-deep-learning-work/
К тому же какой бы ни оказалась правда глупо отрицать что эти модели отлично работают и бьют все другие виды моделей в соревнованиях по распознаванию визуальных, видео, аудио образов вплотную приблизились к лучшим моделям естетсвенного языка а где-то и превзошли их.
> Deep Learning Networks are (probably) Spin Funnels
Дальше не читал.
В этом суть НС - какая-то хуйня, которая непонятно как работает и полурелигиозные попытки объяснить её. Поэтому когда кто-то собирается "осилить нейронные сети" нейронные сети (вот как этот школьник ), любой нормальный человек удивляется "а что там осиливать?" Т.е. их можно писать, эксперементировать, но "осиливать" там нечего, никакой разумной теории нет и не предвидится. Когда просят книку по НС можно Библию смело давать, один хуй в любой книге по НС будут расписаны образы и фантазии автора, слегка стилизованные под матан.
>Он верно говорит, последние попытки применить статистическую физику к DL сетям делают такие же выводы о том что их энергетический ландшафт выглядит как funneled spin glass
Я говорил не о конкретном виде ландшафта, а о более общеизвестном факте, что "проблемы застревания в локальном минимуме" при обучении достаточно больших нейросетей нет; сеть, инициализированная случайными весами, с помощью SGD соптимизируется примерно к одному и тому же performance в миллионах попыток обучения.
Это - факт, а твоя статья пытается этот факт объяснить уже.
Поэтому методы типа SA или GA к нейросетям применять бесполезно, не может случиться чуда, что SA найдет какую-то комбинацию весов, драматически лучшую, чем старые добрые методы с градиентом (SGD, BFGS и т. п.).
Единственную роль играет скорость обучения, которая у разных методов - разная (вплоть до бесконечно низкой).
В этом суть квантовая механика - какая-то хуйня, которая непонятно как работает и полурелигиозные попытки объяснить её. Поэтому когда кто-то собирается "осилить квантовую механику" (вот как этот школьник ), любой нормальный человек удивляется "а что там осиливать?" Т.е. можно писать, эксперементировать, но "осиливать" там нечего, никакой разумной теории нет и не предвидится. Когда просят книку по квантовой механике можно Библию смело давать, один хуй в любой книге по квантовой механике будут расписаны образы и фантазии автора, слегка стилизованные под матан.
> Да и мемы из старого экшн-кина это дурной тон, не говори их жирным текстом пожалуйста.
> это дурной тон
> пожалуйста
Как на другой сайт попал.
Хорошо, больше не буду.
> получить числа которые соответствуют ASCII кодам текста на естественном языке
btw, я думал там словарь, а выходные коды - индекс в словаре.
same
У меня возможно довольно нубский вопрос, но щито поделать.
Я относительно недавно начал программировать и совсем недавно повстречался с нейросетями, хоть и давно о них слышал. Покопался в PyBrain, потыкал, но у меня остался серьёзный концептуальный пробел. Постараюсь объяснить на примере.
У нас есть на двухмерной поверхности некий Круг, "внутри" которого есть нейросеть. Входной слой состоит из одного нейрона, на него подаётся расстояние до некоторой точки - цели. Далее скрытый слой(и) с некоторым количеством нейронов, а выходной слой возьмём в четыре нейрона. Этот круг перемещается, изменяя приращения координат (поэтому выходных четыре - левый -, правый +, суммируем и отправляем результат на "мотор", для каждой из осей по два).
Мне кажется глупым и неэффективным обучать такую систему простыми датасетами из расстояния и придуманных приращений, намного интересней обучение, так сказать, на поле. И проще всего использовать для этого, например, соотношение расстояния в нынешнем такте с расстояние в предыдущем - если больше 1, то круг движется не в ту сторону, а в целом - чем меньше, тем лучше.
Вот тут концептуальный и провал. Я не понимаю как обучать непрямо - во всех мануальчиках по тому же PyBrain, что я видел, давались для тренировки конкретные значения на выходе.
Я относительно недавно начал программировать и совсем недавно повстречался с нейросетями, хоть и давно о них слышал. Покопался в PyBrain, потыкал, но у меня остался серьёзный концептуальный пробел. Постараюсь объяснить на примере.
У нас есть на двухмерной поверхности некий Круг, "внутри" которого есть нейросеть. Входной слой состоит из одного нейрона, на него подаётся расстояние до некоторой точки - цели. Далее скрытый слой(и) с некоторым количеством нейронов, а выходной слой возьмём в четыре нейрона. Этот круг перемещается, изменяя приращения координат (поэтому выходных четыре - левый -, правый +, суммируем и отправляем результат на "мотор", для каждой из осей по два).
Мне кажется глупым и неэффективным обучать такую систему простыми датасетами из расстояния и придуманных приращений, намного интересней обучение, так сказать, на поле. И проще всего использовать для этого, например, соотношение расстояния в нынешнем такте с расстояние в предыдущем - если больше 1, то круг движется не в ту сторону, а в целом - чем меньше, тем лучше.
Вот тут концептуальный и провал. Я не понимаю как обучать непрямо - во всех мануальчиках по тому же PyBrain, что я видел, давались для тренировки конкретные значения на выходе.
Да, я переупростил, там one hot encoding. Но тогда надо и упомянуть что та часть нейросети которая генерирует текст ещё и является рекуррентной, чтобы совсем точно описывать.
Попробуй применить обучение с подкреплением типа Q-learning с таблицей, для твоей задачи оно ещё будет работать а на больших задачах очень медленно. Но зато обучение по сигналу награды который ты можешь подавать когда хочешь.
Это непрямое обучение называется reinforcement learning. Вот тебе пример шарика с глазами
http://cs.stanford.edu/people/karpathy/convnetjs/demo/rldemo.html
Спасибо, буду разбираться.
А как сделать физического робота? Из каких деталек?
Короче я так понял вся разработка ИИ в настоящее время любителями упирается в то, что ни один пека не потянет такой информационной нагрузки, да?
у кого-нить есть примеры нейросети на пхп?? pls no bully
Я не пхпщик, но быстрый гуглинг дал https://github.com/denissimon/prediction-builder , например
У Ардуино большая экосистема, например
интересная хуйня.
сук дорого, я думал все сами выплавляют.
да и вообще хуйня какая-то уровня конструктора - мне нужен большой человекообразный робот, а не танчик на колесиках.
Можешь сам выплавить, если хочешь. Начни с добычи руд.
Наркоман штоле?
Двухмерный объект. Например - логотип Nаsа. Объект консервативный: основные конутры находятся на одном и том же месте - меняется соотношения яркостей отдельных деталей. Угол поворота и масштаба нормализованы(на оппике нет - но можно масштабировать к какому-то константному размеру). Правильно ли я понимаю, что для тренировки сети 1-против всех не нужно много слоев и длительного обучения? Т.е. для определения такого объекта - нужна несложная сверточная сеть. Прецеденты для обучения можно генерировать из одного логотипа(хорошего качества) - поигравшись яркостью, шумом, квантованием, размытием.
Объекты будут плохого качества - как на последней картинке. Образец из которого будем генерить прецеденты для обучения будет очень хорошего качества.
Проще идти классическим способом - вручную задизайненные фичи + простой классификатор.
Нарежь разных фич (SIFT, centroid, и т. п. - загугли по image recognition features), и скармливай классификатору уже их, а не сырое изображение. В качестве классификатора начни с SVM, можно и простую нейросеть (2-4 слоя), много слоев в случае хорошего подбора фич не нужны.
Если же хочешь именно нейросеть от начала и до конца, бери сверточную сеть типа такой http://cs.stanford.edu/people/karpathy/convnetjs/demo/cifar10.html
Тогда неглубокие слои у тебя будут сами выделять фичи, а глубокие уже классифицировать.
Ну просто там реально говеное качество и сильные вариации якростей и масштаба - SIFT работать не будет. Посмотри последний предпоследний и контурный варинат. SIFT везде выдавать разные точки.
Если тебе нужны контуры, то сделай препроцессинг в виде выделения контуров, если яркость - сделай local contrast normalization. С таким нормализованным результатом если ты еще и масштаб и поворот отнормализовал, то результирующую картинку 64х64 пикселя, думаю, можно грузить непосредственно в SVM, и все там разделится.
Ну или в простую нейросетку.
А длительность обучения зависит больше от размера твоей базы для обучения, а размер базы - от желаемого перформанса.
Можно ли CNN натренировать различать такие два типа изображений?
Такую хуйню и однослойный softmax-классификатор различит.
Хуйню написал. Квантовая механика даёт мат. аппарат и кучу законов, позволяющих делать вполне конкретные рассчеты (конечно, как они соотносятся с реальным миром - вопрос из области религии, но формальная теория есть). В НС никакого мат.аппарата нет. Есть 1 с половиной подобранный на коленках алгоритм обучения и выковыривание пальцем из носа топологии сети.
Квантовая механика настолько слаба в конкретных расчетах, потому что они оказываются неебически вычислительно сложны, что наука "химия" до сих пор жива и активно используется, а там, где у химии нет ответов на вопросы, приходится городить brute-force йобы типа folding@home. Причем суть проблем с фолдингом белков примерно та же самая, что у нейросетей - задача нелинейной оптимизации является в общем случае очень сложной, приходится "на коленке" подбирать алгоритмы для частных случаев.
Ты - даун и жертва школьного образования, в котором любая bleeding edge наука не имеет права на существование, потому что там все не разжевано для тупых школьников.
Я твой аксон CUDA шатал.
>наука "химия" до сих пор жива
Химия тоже предлагает конкретный мат.аппарат и набор законов.
>Причем суть проблем с фолдингом белков примерно та же самая, что у нейросетей - задача нелинейной оптимизации
Нет. Нелинейная оптимизация - это уже финальный этап - подбор коэффициентов у нейронов. Выковыривание соплей из носа в НС начинается гораздо раньше, вернее с самого начала: на этапе постановки. Давайте подберем некую функцию f и настроим её коэффициенты так, чтобы на некоторой выборке она давала наименьшую ошибку. И будем надеяться, что если мы ей всунем объект x, не принадлежащей исходной выборке, то она его сможет отнести к некому классу по критериям, которые существуют только у меня в голове. Вот и все нейронные сети. Никакого мат. аппарата, никаких законов это не подразумевает. В мире НС нет ни одной теоремы и ни одной формулы, по которой можно что-то было бы посчитать. Ну кроме BP, который полвека назад кто-то изобрёл, с тех пор ничего так и не поменялось.
>Ты - даун и жертва школьного образования
А ты переходишь на личности, что характеризует тебя в достаточной степени.
> а о более общеизвестном факте, что "проблемы застревания в локальном минимуме" при обучении достаточно больших нейросетей нет;
Хуй с тобой, дебил, даю тебе ещё одну попытку привести пруф. С одной ты уже обосрался.
Пиздец. Просто пиздец. Тьма.
Ну справделивости ради теоремы аппроксимации -- всё-таки теоремы, настоящие. BP -- это фундаментальная вещь. Вся оптимизация в сухом остатке сводится к отысканию направления и величине шага. Всё. Остальное -- специализация под задачу (вспоминаем no free lunch theorem). В НС же специализации нет, есть тупое дрочево на число базовых векторов аппроксиматора без малейшего понимания предмета. То есть самый тупой математически брутфорс, что только можно придумать.
Есть ли какие-то шаги в симуляции процессов нервной системы (начиная с полной симуляции нервной системы червя какого нибудь или простейшего организма) ?
OpenWorm
>Хуй с тобой, дебил, даю тебе ещё одну попытку привести пруф. С одной ты уже обосрался.
Я с тобой, говноед, вообще не разговаривал. Тебе другой чел дал ссылку, он копрофил, видимо.
Спасибо.
Буду благодарен если есть ещё ресурсы про симуляцию в целом (не слишком академических, я обычный программист ).
Очень интересен Simulation Hypothesis и первые шаги к этому.
>Химия тоже предлагает конкретный мат.аппарат и набор законов.
В практической химии полно эмпирики и практики, потому что это проще, чем решать уравнения квантовой механики численно in silico (аналитически вообще что-либо неигрушечное непосчитаешь). Это - очень эмпирическая наука.
И у тебя по сути вся претензия к дизайну нейросетей как раз в эмпирике.
>Нет. Нелинейная оптимизация - это уже финальный этап - подбор коэффициентов у нейронов.
Нет. Подбор гиперпараметров (в том числе числа слоев и т. п.) - это тоже нелинейная оптимизация.
>Давайте подберем некую функцию f и настроим её коэффициенты так, чтобы на некоторой выборке она давала наименьшую ошибку.
Ты ща описал ВЕСЬ machine learning. Вообще весь. Если у тебя есть претензии к этому, то ок, но какую ты предложишь альтернативу? Rule-based хуйня сосет у machine learning во всем, от распознавания изображений до машинного перевода. А нейросеть - это просто расширение линейных методов, которые могут решать только линейно-разделимые задачи, с помощью предварительных нелинейных преобразований многомерного пространства.
Альтернатива в решении нелинейных задач есть - ручной дизайн извлекаемых из данных фич, но это еще менее надежное шаманство.
>Ну кроме BP, который полвека назад кто-то изобрёл, с тех пор ничего так и не поменялось.
Ну так я и пишу "То есть, на условном хабре (да и в /pr/, что уж там) одновременно тусят люди, читавшие научпоп из 70-х, 80-х, 90-х, нулевых и современный, с совершенно разным отношением к этой области, из эпох охлаждения интереса и роста.". Вы - ленивые пидарасы, вам влом оценить реальное положение дел в отрасли, зато ленивый мозг говорит "забей, там нихуя не поменялось". Хотя поменялось многое, именно в плане понимания того, что делается.
А backpropagation изобрел Лейбниц в 1676 году, ты еще к матану претензии предъяви, что никаких революционных способов считать производные не появилось.
Я вот чота посмотрел код на пхп - вижу там ООП применили. Ну так я так и не понял, как оно самообучается-то йопт? Открывает папочку - записывает результат, потом закрывает, потом при решении другой задачи открывает, достает результат и использует его, потом перезаписывает результат? Кто-нить доступно может объяснить в чем принцип этих нейросетей, чем они от обычной проги отличаются?
как интересно! киберчервяк.
Ох, анон, это долгий разговор. На, почитай обзорчик http://meow.bnw.im/p/WEMOSG и вот ещё классный пример симулятора http://www.digicortex.net/node/1
Но тебе надо понимать что моделирование стреляющих нейросетей далеко от машинного обучения потому что нету таких же эффективных алгоритмов их тренировки и в таком виде в каком они есть они показывают гораздо худушие результаты на задачах классификации.
Тоесть эти симуляции интересны тем кто занимается computational neuroscience. А ещё учти что суперкомпьютерные симуляции "мозга" это пока что просто бенчмарки для симуляторов со случайно соединёнными нейронами и шумом в них.
>Очень интересен Simulation Hypothesis
Эта гипотеза ничего нового не говорит о нашем мире (какая разница является ли он симуляцией или нет если мы не можем этого измерить?).
>В мире НС нет ни одной теоремы и ни одной формулы, по которой можно что-то было бы посчитать.
Не позорился бы ты, а.
Вот примеры двух важнейших теоретических результатов:
https://en.wikipedia.org/wiki/Universal_approximation_theorem
http://people.idsia.ch/~juergen/fundamentaldeeplearningproblem.html
Спасибо.
Я спрашивал про симуляцию нервной системы простейших организмов потому что интересны базовые принципы её работы.
А про Гипотезу Симуляции я не согласен : очень многое нового (для меня точно) даёт.
Например :
1. Simulation Argment : а. Мы будем симулировать человеческое сознание, б. мы НИКОГДА не достигнем этих технологий, в. мы уже в симуляции.
2. Доказывает (кому надо) существование Создателя (я не религиозен)
3. Вопросы этики (при условии симуляции групп людей):
а. Хорошо : предсказывать будущее, ускорить научно-технический прогресс, конверсия людей из биологического вида в нечто компьютерно-электронное.
б. Плохо : симуляция войн, катаклизмов; грубо говоря, можно симулировать Ад.
А как на работку устроиться по всей этой теме с нейросетями, машинным обучением? Я еще пока только студент-третьекурсник, учусь на ебаном машиностроении с сопроматом, в свободное время программирую, изучаю темы, прилежащие к ИИ, перевестись не могу на другое. Что делать?
>А про Гипотезу Симуляции я не согласен : очень многое нового (для меня точно) даёт.
Проблема в том, что ты не нужен, твои мысли наивны и банальны. Поэтому что оно тебе дает, тоже особой разницы нет.
Симуляция вообще принципиально нового ничего не дает. Она не отвечает на вопрос, кто создал мир, в котором запущена симуляция, не отвечает на вопрос, возможна ли симуляция внутри симуляции и т. п. Вообще лишняя сущность в общем.
Проблема в том, что ты не нужен, твои мысли наивны и банальны. Поэтому что оно тебе дает, тоже особой разницы нет.
Симуляция вообще принципиально нового ничего не дает. Она не отвечает на вопрос, кто создал мир, в котором запущена симуляция, не отвечает на вопрос, возможна ли симуляция внутри симуляции и т. п. Вообще лишняя сущность в общем.
http://rationalwiki.org/wiki/Roko's_basilisk
:) Необычная логическая цепочка твоих мыслей.
ебать ты суровый, по ходу себе уже на феррари грантами, распиленными с АИ насосал, да? ну не все ж пилят гугл поисковик на нейросетях за бабло, чо ты так.
Жестоко давать читать такое на ночь.
Короче, я тут лежал и смарите че придумал. Надо кароче имитировать действие и реакцию на медиатор, кароч как у человека в мозге, во, но тока штоб программа так реагировала - тип кнопку жмешь, а у нее реакция как у чела на Ацетилхолин, круто да? революция в науке ящитаю.
Это тебе в компутационал неиросаинс.
тамогоччи короче получится.
>The experiment's premise is that an all-powerful artificial intelligence from the future may retroactively punish those who did not help bring about its existence
А мотивация-то в чем?
А мотивация-то в чем?
в статье говорится, что люди уже создали ИИ и оно нас симулирует теперь?
месть. разве все люди не ощущают жуткий кризис экзистенции и не задаются глубоко внутри совершенно казалось бы иррациональным и не детерминированным вопросом: Для чего мы живем?
Может быть он нас симулирует и инстинктивно вкладывает в нас желание создать ИИ. лол
Roko's basilisk просто отдельный случай.
Общая проблема в том что ИИ мы не сможем контролировать.
Например : сидишь ты в лаборатории где ИИ (может симулировать сознание) держится в песочнице (изолятор), и оно тебе говорит :
- Отпусти меня в интернет, а то за те 5 минут пока ты меня выключись, я буду мучить твою симуляцию миллиарды раз, снова и снова.
п.с. наш ИИ никогда, никогда не обманывает
Общая проблема в том что ИИ мы не сможем контролировать.
Например : сидишь ты в лаборатории где ИИ (может симулировать сознание) держится в песочнице (изолятор), и оно тебе говорит :
- Отпусти меня в интернет, а то за те 5 минут пока ты меня выключись, я буду мучить твою симуляцию миллиарды раз, снова и снова.
п.с. наш ИИ никогда, никогда не обманывает
Ну это для верунов в сингулярность.
Чепуховые мысленные эксперименты не имеющий отношения к теме треда - машинному обучению.
Люди которые обсуждают эти вещи далеки и от математики и от алгоритмов, не тащи сюда такое.
1. Про эти вещи говорят такие выдающийся инженеры как Илон Маск.
2. Ник Бостром, Стюарт Армстронг, итд математики. Если силён в математике, пролистай из интереса оригинальную статью Simulation Argument.
3. Действительно это не философская борда, но темы близкие.
>выдающийся инженеры
>Илон Маск.
Ой, ну все, ну пиздец.
Жопой не виляй, дятел. Это не б, чтоб такой бред постить, не подкрепляя его доказательством.
> Подбор гиперпараметров (в том числе числа слоев и т. п.) - это тоже нелинейная оптимизация.
Cost function какой?
Ну я и говорю, теорема аппроксимации и только. Приписать её разработчикам НС -- всё равно что приписать открытие рентгена пастуху Ване, который свою жену-суку насквозь видит. BP туда же, как уже выше отмечено было. Сами же НС-дрочеры чисто математически (для математики) не создали и не в состоянии создать ничего. У них всё сводится к мамба-джамбо с подкруткой коэффициентов, слоёв, связей и скрещенными пальцами, что всё заработало. Даже DL, такое красивое слово, по сути скрывает простой рабоче-крестьянский способ учить слои последовательно.
>Жопой не виляй, дятел. Это не б, чтоб такой бред постить, не подкрепляя его доказательством.
Ты еще модератору пожалуйся. Ты хочешь вырвать случайное предложение из контекста, назвать его бредом, а когда тебя закономерно пошлют нахуй, требовать пруфов. Тебя еще раз нахуй послать?
Иди нахуй. Ты - не нужен, все, что ты можешь, это соревноваться на двачах в якобы кульных метафорах про XXX типа "приписать открытие рентгена пастуху". Причем вместо XXX можно подставить любую хуйню, которая тебе непонятна, суть твоих постов от этого не изменится.
Итт батхерт неосиляторов
> случайное предложение
А ты не охуел, мудак? Ты сам понимаешь, насколько сильное утверждение ты сделал? Повторяю:
> общеизвестном факте, что "проблемы застревания в локальном минимуме" при обучении достаточно больших нейросетей нет;
Ты и дальше будешь вилять жопой? Я чувствую слив и разрыв пердака. Нет бы -- слился по-тихому ...
Ниче не понял, скачал червяка, а там приложение элипс открылось - типа жава Иде.
One might think that the possibility of CEV punishing people couldn't possibly be taken seriously enough by anyone to actually motivate them. But in fact one person at SIAI was severely worried by this, to the point of having terrible nightmares, though ve wishes to remain anonymous.
>Я чувствую слив и разрыв пердака.
Да, когда кто-то посылает нахуй не умеющее общаться хамло (потому что хамло думает, что раз это анонимная борда, можно начинать разговор с хамства), то это - слив и разрыв пердака. Еще раз говорю, ты - не нужен, сраться будешь с битордиками.
Этот петух слился. А я же запосчу его исторический высер ещё раз, чтоб все видели:
Это общеизвестный факт, что "проблемы застревания в локальном минимуме" при обучении достаточно больших нейросетей нет
Это общеизвестный факт, что "проблемы застревания в локальном минимуме" при обучении достаточно больших нейросетей нет
Это гипотеза, согласно которой ИИ, созданный в будущем, будет создавать виртуальные копии людей из прошлого и, если они действием или бездействием не помогали его созданию, ИИ будет подвергать их максимально возможным мучениям.
На первый взгляд эти будущие пытки не могут повлиять на поведение людей в прошлом, однако те люди, которые знают про гипотезу Василиска (например, прочитав ту статью или даже только этот пост), знают и о возможных последствиях для себя, и рациональный образ действий для них - всячески содействовать появлению Василиска на свет.
Также можно предположить, что наша жизнь - это и есть виртуальный тест Василиска, и те, кто не будет содействовать его созданию в этом тесте попадут в ад по-настоящему, лично.
Этого не может быть. Потому что, это буду не я, а некая (и, скорее всего, хуёвая) копия меня. Когда я умру, мне будет насрать, что там с моей копией кто делает; да мне даже похуй будет, если меня выкопают и трахнут в жопу черенком от лопаты, ибо я буду мёртв. Если ИИ действительно разумен, то он это понимает и знает, что создавать этот "ад" бессмысленно. И даже если ИИ списан с бабы, и мы уже в этом аду, то мне, опять же, насрать, ибо в будущей жизни буду не я, а моя (другая) копия.
Это христианская вера в страшный суд. Изначально никакого рая и ада не было, просто считалось, что Бог в день Д час Ч устроет апокалипсис, поднимет мертвых и будет их судить.
Найди 10 отличий с этим василиском. Они есть по сути только в том, как "плохие" будут отличаться от "хороших".
Но таки анон прав, воскрешение != копия, и на муки какой-то там копии глубоко похуй.
А в чем разница?
Вообще это пиздец какой унылый разговор. Вы заметили, что с новой рекапчей гугл соберет просто пиздец какой датасет для своих нейросетей?
В христианстве мучается твоя личность, муки испытывает твое сознание. А в данной гипотезе чужое, на которое мне лично наплевать.
Отпили себе ногу под наркозом.
Но ведь проблемы застревания в локальном минимуме при обучении достаточно больших нейросетей нет. Чем меньше параметров, тем больше локальных минимумов. Например, функция f(x)=x² имеет 32000 локальных минимумов.
У тебя до сих пор бомбит что ли?
Смысл теории в том, что, может, ты и так уже копия, и тебя ждут мучения.
И? Разве от меня что-то зависит?
Откуда вы знаете, что вы уже не виртуальная копии, созданная ИИ, созданная людьми, копией которых вы являетесь? может ИИ создает симуляции, чтобы узнать что-то о начале своего создания, и в этой симуляции мы создаем копию ИИ, которая потом опять создаст симуляции нас и так фрактально и каждый последующий виток ИИ и людей не будет точно знать, симуляция они или нет и так до бесконечности. (серьезно, уже крыша едет от кодинга).
как соберет ведь ответ уже известен.
Я бы застрял в чьем-нибудь локальном минимуме tbh.
In Newcomb's problem, a superintelligence called Omega shows you two boxes, A and B, and offers you the choice of taking only box A, or both boxes A and B. Omega has put $1,000 in box B. If Omega thinks you will take box A only, he has put $1,000,000 in it. Otherwise he has left it empty. Omega has played this game many times, and has never been wrong in his predictions about whether someone will take both boxes or not.
When you make a decision, you are carrying out a computation. Timeless Decision Theory says that, rather than acting like you are determining that individual decision, you should act like you are determining the output of that abstract computation. Timeless Decision Theory is basically a Causal Decision Theory with a modified sense of causality. Take Newcomb’s Problem: Here two processes occur.
1.) Omega predicts your choice.
2.) You make your choice.
Timeless Decision Theory states that both of these have a common cause: An abstract computation that is being carried out.[…]To summarise: When you make a decision, you are carrying out a computation. Timeless Decision Theory says that, rather than acting like you are determining that individual decision, you should act like you are determining the output of that abstract computation.
Так я не понял, есть в коробке миллион или нет?
Перевожу : когда алгоритм будет без ошибок определять наше поведение мы будем иметь ситуацию:
1. алгоритм вычисляет выбор (прошлое)
2. мы делаем свой выбор (будущее)
То есть можно сказать что наше будущее поведение изменило прошлое поведение алгоритма. То есть будущее в какой-то мере изменяет прошлое.
Это один из интересных моментов василиска Рокко.
К чему ты это написал тут? Детерминирована (фатализм) или не детерминирована человеческая жизнь и соответственно вопрос свободы воли и вытекающий отсюда вопрос о наказании - это философские повестки.
А я написал про капчу. Правильные картинки, соответствующие слову, уже занесены в базу, ты их или выбираешь и филлишь капчу или нет. или ты хочешь сказать, что гугл выводить некоторые картинки, которые еще не распознаны, на твое распознавание?
Кстати, фильм в тему.
Пр, ответь на вопрос, если ты такой умный. Сколько экстремумов у функции f(x) = x² - 4?
Варианты ответов:
1. 10
2. 100
3. 1000
4. 9000
Варианты ответов:
1. 10
2. 100
3. 1000
4. 9000
Хуита для офисного планктона.
Да. Я последние несколько дней играюсь с этой капчей стараясь наебать её. Получается, пусть и не с первой попытки. Суть в том, чтобы выбрать не то, что она спрашивает, но сильно похожее и выбирать не больше двух-трёх вариантов (особенно, если правильных вариантов не больше двух-трёх). То есть, просит мороженное - ты выбираешь две картинки мороженного и третью с каким-нибудь рисом. Сам попробуй.
Некоторые картинки выбирает нейросеть, а ты своим ответом подтверждаешь или опровергаешь этот выбор.
Не, там как с рекапчей, есть известные ответы, а есть нет.
Один, и не трости больше.
>и не толсти
Ссаное ведро.
https://en.wikipedia.org/wiki/Convex_optimization
Сука, с этой новой капчей, и так жрать охота, она мне гамбургеры подсовывает.
> Convex_optimization
пр-дебилы начинают что-то подозревать ...
берёшь книгу Бишопа, читаешь, решаешь упражнения
Я смотрю, у тебя до сих пор ОБИДА.
Ахуеть какое достижение, ну я давно это заметил и так капчу и заполняю, дальше что? Может так и задумано. Там к слову на картинках сам хуй разбирешь что висит.
