Мертвый тред мертворожденной технологии.
В оп-посте прошлого был мем про Peer Pressure, me, arxiv
Объясните! Пир прешр это давление типа?
посоветуйте тип нейросети из https://en.wikipedia.org/wiki/Types_of_artificial_neural_networks для 3д-игр ?
конфигурация нескольких ?
допустим есть 800х600px - 10fps входные данные
например сеть для moba игры по типу доты
акселерации (ускорения) судя по-всему нет, неуверен насчет прикручивания грида - сама идея неясна - сеть же в одном экземпляре - значит результаты (разные экземпляры обученных сетей) просто мержатся ?? не абсурд?
есть боты,
есть возможность обучить до начального уровня
подобный пример для dota 2 - https://blog.openai.com/openai-five/
>U-net
конфигурация нескольких ?
допустим есть 800х600px - 10fps входные данные
например сеть для moba игры по типу доты
акселерации (ускорения) судя по-всему нет, неуверен насчет прикручивания грида - сама идея неясна - сеть же в одном экземпляре - значит результаты (разные экземпляры обученных сетей) просто мержатся ?? не абсурд?
есть боты,
есть возможность обучить до начального уровня
подобный пример для dota 2 - https://blog.openai.com/openai-five/
>U-net
типа давление социума и ученой среды, мол высокая конкуренция среди двачеров - кто больше статей прочитает, я вот одну сегодня, а ты?
>кто больше статей прочитает
Читают лохи, норм пацаны пишут.
Кто-нибудь видел статьи по эмбеддингам графов как целого? Обычно под graph embedding понимается эмбеддинг его вершин, а меня интересуют эмбеддинги самих графов.
> а меня интересуют эмбеддинги самих графов.
Тебя вероятно заинтересует ембединг пихвоидов
> меня интересуют эмбеддинги самих графов
Т.е. у тебя куча графов и ты хочешь каждому вектор сопоставить?
Желательно.
А вот это вот истерящее, оно всегда в этих тредах?
Да, к сожалению.
graph2vec ?
О курва, точно, а я о нём забыл. Про node2vec помнил, а про него забыл. Посмотрю тогда.
Судя по введению, эта тема только-только развивается. Странно, я вроде обзор 2014 года видел.
Если ты такое спрашиваешь - скорее всего написать подобное ты не сможешь.
Стоит ли отдавать свои кровные 30к на курсы от Skillfactory, чтобы трудоустроиться и стать дата сайентистом? (они гарантируют трудоусловие). Возможно, у них есть система отсеивания. Но мне нужно здесь и сейчас получить работу (любым джуном. Я из ДС). Обычным программистом не тянет работать, к сожалению. А, и ещё, в ШАД не возьмут (2-3 задачи максимум могу решить, только если на платное обучение). однако численные методы и линейку с матаном знаю достаточно хорошо. Как быть? С самообучением проблем никаких.
>2-3 задачи максимум могу решить
Тогда о какой карьере дата сайентиста ты можешь мечтать? Бегом дрочить матан с теорвером и линалом, а не выебываться.
>Стоит ли отдавать свои кровные 30к на курсы от Skillfactory
Нет, это мошенничество
А сами курсы-то хоть годные?
Как энтрилевел сойдут.
Хотя я как-то мало написал.
Не знаю, я только ml-class.org проходил и могу советовать. Судя по содержанию, курсы похожи. Но это все энтрилевел. Лично я бы устроился обычным программистом в контору, где есть ML, и дальше уже горизонтально топал в сторону его (при чем можно на собесе так и сказать, мол, через 5 лет хочу MLем заниматься).
Во-первых, потому что кодить надо уметь, линуксы там знать, гит-хуит и т. д., во-вторых потому что джуна в ML будет устраивать только благотворитель, коих мало.
А вот за это спасибо, надумывал об этом, но всегда отбрасывал подобное как идею. Кстати, где лучше всего искать работу в ДС (в нормальные предприятия)? HeadHunter? Или есть площадки получше?
Ну это тебе в перезвоним-тред уже
Привет аноны, как там ваши пихвоиды?
Внутри Жопеншмульцера твоей мамки.
а есть vec2vec?
Слушай, у тебя ведь должно быть немножко self-reflection, да? Вот чего истеришь-то? Ну я могу допустить что ты оправдываешь себя что ты, типа, "хипстеров троллишь". Но на тебя ведь тут уже всем, в целом, насрать, а ты все вымучиваешь чего-то. Т.е. получается что это ты сам и есть затроленый. Ты честно расскажи от чего у тебя истерика - мы тут, в целом, добрые - поможем.
Начал читать глубокое обучение на python и охуел с того как во второй главе объясняется что такое градиент, зачем в производные тут и что такое обратное распространение ошибки, какие-то числа блять рандомные эпохи. Посоветуйте где вся эта математика доступнее. Эта книжка вроде написана с слоганом "питон вместо математических формул" но как-то вообще не легче стало.
Учебник Алгебра и начала анализа Колмогорова
>Колмогорова
мне бы конкретно для понимания маш. обучения. Уже нет времени особо распыляться.
>в целом, насрать,
Так насрать, что ты постоянно подрываешься.
>мне бы конкретно для понимания маш. обучения.
Конкретное понимание машоба П.Инус.
ищешь канал 3blue1brown на ютубчике, ищешь в плейлистах neural networks
Спасибо! Сначала подумал, что это гей порно.
> ты постоянно подрываешься
Я сюда изредка заглядываю и постоянно вижу как ты под ногами путаешься, тяфкаешь, ну, на тебя цыкают иногда. У тебя это с детства?
Анон, хочу вкатиться нейроночки, но надо подтянуть матешу. Подскажи конкретные учебники, пожалуйста, желательно прям с первого курса технического универа.
Ты просто завидуешь, что не можешь такие же смешные шутки придумывать.
> Слушай, у тебя ведь должно быть немножко self-reflection, да? Вот чего истеришь-то?
Он же как-то проговорился о причине своей анальной травмы - не осилил что-то, подробностей не помню. Вот с тех пор дегенерату и подпекает от осознания своей ущербности.
Какие есть варианты решения задачи регресии, если зависимость не линейная
input1 -> output1
input2 -> output2
...
где input_n, output_n - просто числа
0.1 -> 0.8
итд
задача: предсказать output по input
пока что решал задачу так: создал сеть
model = Sequential()
model.add(Dense(20, input_dim=1, activation='relu'))
model.add(Dense(1))
и тренерую её на заготовленных примерах,
все параметры взял из какого-то примера
точность у неё получается никакующая и предсказывает она значения близкие к среднему арифметическому всех output,
а мне нужно что б она предсказывала что-то близкое к наибольшим значениям output,
но искусственно приплюсовывать коэффициент бессмысленно...
как правильно вообще решать такую задачу?
input1 -> output1
input2 -> output2
...
где input_n, output_n - просто числа
0.1 -> 0.8
итд
задача: предсказать output по input
пока что решал задачу так: создал сеть
model = Sequential()
model.add(Dense(20, input_dim=1, activation='relu'))
model.add(Dense(1))
и тренерую её на заготовленных примерах,
все параметры взял из какого-то примера
точность у неё получается никакующая и предсказывает она значения близкие к среднему арифметическому всех output,
а мне нужно что б она предсказывала что-то близкое к наибольшим значениям output,
но искусственно приплюсовывать коэффициент бессмысленно...
как правильно вообще решать такую задачу?
>точность у неё получается никакующая
Добро пожалрвать в мир МЛ и пихвоидов.
Так ШАД это задачи на смекалочку, вышмат слабенький.
Нахуй тебе нейронка, используй обычную линейную регрессию с полиномами/сплайнами. Как я понял у тебя всего 1 переменная и зависимость вида Y = f(X). Построй график по точкам и прикинь какая функция от X тебе нужна, а потом преобразуй инпуты по этой функции и сделай обычную линейную регрессию на них.
Сколько сурикатов на пикче? Вопрос для нейронки.
Три
>Сколько
1.7
Последовал твоему совету
Синий график это те значения, которые мне нужно предсказывать
рыжая линия это результат работы sklearn.linear_model.LinearRegression
как мне аппроксимировать значения, чтоб они перекрывали большинство точек ??
Модет ест какой флаг, который скажет LinearRegression больше ориентироваться на большие значения функции?
есди брать
polynomial = PolynomialFeatures(degree=input_degree, include_bias=False)
features_polynomial = polynomial.fit_transform(features)
# Create linear regression
regression = LinearRegression()
# Fit the linear regression
model = regression.fit(features_polynomial, target)
то input_degree у меня равна 1
поэтому беру просто LinearRegression
Какой физический смысл у твоего датасета?
Проиграл с твоего графика. Ну да, аппроксимировать подобный шум линией как-то недальновидно.
Почему бы просто не сохранить input и output в табличку и не интерполирвоать промежуточные значения?
Двачую проиграл
Посторй скаттерплот чтоль
ось x - таймстемп
ось y - время выполнения определенного процесса в большой серверной программе
моя задача состоит в том, что бы натренировать модель на "хороших" значениях времени выполнения, что бы по ходу работы программы модель работала в фоновом режиме и делала предсказание, которое сравнивалось бы с фактическим значением в программе, если фактическое значение превышает предсказанное, то грядёт ошибка и об этом уведомляется сисадмин или запускается какой-нибудь скрипт
идея такая
>Почему бы просто не сохранить input и output в табличку и не интерполирвоать промежуточные значения?
примерно так?
https://scikit-learn.org/stable/auto_examples/linear_model/plot_polynomial_interpolation.html
Боже, погугли anomaly detection. Ты пытаешься натянуть сову на глобус
Так на пике хорошие значения или плохие?
Еще больше проиграл. У тебя вообще
> время выполнения определенного процесса
От таймстампа зависит? Типа от времени суток или как-то?
Представь я тебя посадил и сказал "вот часы, вот время процесса, предсказывай, сучечка, или током бить буду" ты бы в принципе смог?
Можешь посмотреть первый курс специализации deeplearning.ai на курсере, там все сильно разжевывается.
Напомнило
Можно ли рассматривать нейронку как некую хуйню, которая производит все действия сразу, но в результате обучения просто прекращает делать лишние?
Тебя можно как некоторую хуйню рассматривать. Зачем тебе это? Откуда вообще такая идея?
У кого-то в треде есть опыт написания резюме на должность джуна датасаентиста, или тут только теоретики? Поделитесь советами как быстро набить красивых строчек с сертификами и регалиями, а главное - на что будут смотреть и как это оформить.
Например отсюда
Плюс я смотрел видосы как работают нейронки распознающие изображения, не могу найти ни одного в данный момент, там из белого шума изображение постепенно преобразуется в исходный вариант.
Если я всё правильно уловил, тогда человеческое обучение это не обучение каким-то конкретным действиям, а обучение не делать действия, которые относительно требуемого являются случайными.
> белого шума изображение постепенно преобразуется в исходный вариант.
Бесполезная хрень.
> Можно ли рассматривать нейронку как некую хуйню, которая производит все действия сразу
Рекурсивные алгоритмы в Prolog. Там все логические задачи перебором(бэктрекингом) решаются.
Ты не поверишь, но все аномали детектион работают примерно таким образом
результат предсказаний на тестовых данных натренированной на хороших данных модели
пытаюсь найти зависимость времени выполнения от времени суток, то есть в определенное время суток такая-то нагрузка,
строго говоря зависимости между этими величинами нет, но ведь именно для таких случаев и есть ML
>ты бы в принципе смог?
с определенной точностью - да
Божечки, какие же вы долбоклюи. Динамический числовой ряд вместе с отметками времени линейной регрессией предсказывать, мне это точно не приснилось? Вы про динамические системы не слышали? Обчитаются своих сойбоев, потгм хуйню тут несут. Там сначала матрицу Ганкеля нужно сделать из значений, 3-4 столбца, последний - у, первые - х. Поди и словей таких не слышали, гейнии? Естественно, только сами значения, время не нужно, я так понял, там равные интервалы. И уже вот это можно пробовать регрессией, разумеется, нелинейной.
>матрицу Ганкеля
Прекрати, содомит
Хуй соси, унтерменш
> ось x - таймстемп
Попробуй ARIMA, у меня взлетело для подобной задачи.
Можно я заберу себе кого-то миленького чтобы вместе учиться? Я не могу в телеграмы, так что подойдет обычная почта.
мимоалхимик
Господин Вжопентрахен, не рвись
Как работает моцк никто не знает, тем более, сто нейронные сети к нему не имеют никакого отношения.
>Динамический числовой ряд вместе с отметками времени линейной регрессией предсказывать
То что это временной ряд стало известно позднее, не надо тут.
эм, если не ошибаюсь, то активации нейронов были подсмотрены с того, как это в мозге происходит сигмоид
>то активации нейронов
ниочем, ну активируются, ну возбуждаются там участки мозга, ну и что. Маркетинговый ход для форса нейроговна со стороны матанопетушни.
Как вкатиться в Data Science без ШАДа?
> пытаюсь найти зависимость времени выполнения от времени суток, то есть в определенное время суток такая-то нагрузка,
разбиваешь день на 15минутные интервалы. В каждом считаешь среднюю нагрузку иличтоутебятам. Всё. Не благодари.
Если ли такой учебник по математике (линейная алгебра, твимс, мат. анализ) для ML, где нет лишних глав. Не хочу учить/практиковать то, чем не воспользуюсь из этого (я про лишние главы. И не надо говорить, что все пригодится. Мне хотя бы для понимания нужно)
Скинь свой код. Я новичок, мне интересно глянуть на то, что пишут другие новички. Заранее благодарю
Вот когда до дегенератов вроде тебя дойдет что ты не можешь заранее знать какие главы тебе понадобятся. Учи импорт слесарьплов аз сп или даже импорт нейроночка и пользуйся готовыми решениями, хотя в индустрии таких отбросов и без тебя полно.
Огромное спасибо. Чтобы я без тебя делал ботал Зорича и прочих академиков, сливая часть времени в унитаз
Да нет, до меня уже дошло, что многие главы матана нужно для того, чтобы изнутри знать как построена библиотека, или попытаться самому привнести что-то новое. А не как макака использовать только готовое и балдеть от этого, считая себя царём машинного хуеверчения.
> То что это временной ряд стало известно позднее, не надо тут.
Будто после этого что-то изменилось. Кто-то, впрочем, вспомнил arima, ладно уж, хоть так.
Здесь что ли спрошу:
Читаю я книжку по лернингу-хуёрнингу и что-то вижу что те же линейные методы фактически один-в-один повторяют обычные численные методы, блять.
Это какой-то терминологический хипстеризм случился? Или есть всё-таки разница где надо называть алгоритм обучающимся, а где просто констатировать что он по итерациям идёт уменьшая разброс ошибок до заданного порога?
При этом в той же линейной регрессии используется немного другой набор букв, хотя по сути сама формула идентична, разве что добавляют плюсом теоретическую погрешность.
Читаю я книжку по лернингу-хуёрнингу и что-то вижу что те же линейные методы фактически один-в-один повторяют обычные численные методы, блять.
Это какой-то терминологический хипстеризм случился? Или есть всё-таки разница где надо называть алгоритм обучающимся, а где просто констатировать что он по итерациям идёт уменьшая разброс ошибок до заданного порога?
При этом в той же линейной регрессии используется немного другой набор букв, хотя по сути сама формула идентична, разве что добавляют плюсом теоретическую погрешность.
нахуй вы нужны?
один только ШАД с головой покрывает необходимость дата сайентистов в россии
да, что там, большинство выпусников оттуда идут работать простыми кодерами, тк не находят ничего по специализации своей
один только ШАД с головой покрывает необходимость дата сайентистов в россии
да, что там, большинство выпусников оттуда идут работать простыми кодерами, тк не находят ничего по специализации своей
> Это какой-то терминологический хипстеризм случился?
Да. Машобчик это и есть численные методы, потому что других методов что-то посчитать у человечества нет. Просто обычной макаке и даже phd индусу сойбою в клетчатой рубашке не нужно знать, что интегралы итд считаются некими алгоритмами из области численных методов, достаточно оппика с йобами и матанчика в объёме нескольких % от условного зорича. Такие знания даже не каждому создателю ПО для машоба требуются.
Да пошёл ты нахуй. Всю мотивацию прохерил. Как мне теперь дальше ботать?!
пока ты сам дома пытаешься че-то там выучится, тыкаешься туда-сюда, чуваков из ШАД натаскивают как сторожевых собак на эту специальность, им не надо думать о выборе, не надо решать, не надо сомневаться
просто как машины делать то что сказали
и это очень эффективно
а рынок в россии маленький, вакансий мало
>рынок в россии маленький, вакансий мало
Потому что стартапов мало. на внезапные прозрения руководств средних бизнусов рассчитывать не приходится, там сплошные кабанчики сидят
Ты учишь всю эту дрянь чтобы её применять в жизни. Нет вакансии? Находишь где эти методы могут быть полезны и начинаешь их двигать в этой сфере. Там уже рыночек порешает.
Ну, это временной ряд же. Потому надо и иинструменты для ряда использовать - рекуррентные нейронки (LSTM, GRU) или 1d сверки на первом слое учить. Таймстеп вижу меняется -это большая проблема, с этим надо перед обучением что-то делать. Можно, например нулями заполнять пустоты (и тогда надо будет понять на каких последовательностях учить, чтоб на одних нулях не учить и с результатами много возиться, чтоб понять качество всего этого и насколько результат соответствует тому,что надо и думать опять насчет еще предобработки, чтоб сеть училась, но училась корректно ) или просто надеяться что и так сработает если ря игреков загонишь (но это маловероятно). Еще надо понять сколько точек с данными у тебя есть. Если много - то можно и несколько рекуррентных слоев попробовать. Но в любом случае надо на практике с этим возиться, а не советовать.
Еще можно попробовать найти периодичность и тогда уже пытаться регрессии делать (например каждый день загрузка сервера меняется схожим образом). Но надо понимать, что происходит и откуда эти данные, чтобы знать, разумно ли какое-то деление на повторяющиеся периоды.
> надо и иинструменты для ряда использовать - рекуррентные нейронки (LSTM, GRU) или 1d сверки на первом слое учить.
И диплернинх на временных рядах намного превосходит arima или что-то подобное из прошлого века?
>Потому что стартапов мало.
У меня стартап, Коричневый Дудочник называется, го все ко мне.
Программа по матану становилась в середине 20-го века, когда отсутствовали компьютеры, поэтому основным умением было решение инженерами упрощенных дифференциальных уравнений. Поэтому программа по математике в вузах, особенно советских, очень специфическая. Но если ты занимаешься самообразованием, ты вряд ли это заметишь, читая книгу. Ведь мозг имеет свойство пропускать неинтересные моменты. Что не всегда хорошо, но это так.
Поэтому если брать конкретно матан, то можно поделить его на разные части.
1. Неплохая теоретическая - там лишнее только всякие задачи на сходимость, потому что, опять же, когда под рукой нет пеки, сходимость имеет важное практическое применение.
2. Совершенно ебанутая практическая. Так как взятие производных тривиально автоматизируется, то половина того же Демидовича это интегралы, которые тебе не понадобятся вообще никак.
Зато в вузах не дается matrix calculus, то есть взятие производных у матричных функций. А это нужно, при том, что это несложно.
Линал аналогично. Неплохая теоретическая часть, и ебанутая практическая со всякого рода вычислениями верхнетреугольных матриц вручную. Нахуя это делать больше двух раз - не понятно. В линале нет ничего лишнего.
Про тервер не скажу, я его в универе проебал.
>Программа по матану становилась в середине 20-го века
Есть прикладные инженерные задачи, которые требовали решения, они решались, алгоритмы этих решений пиздили матанопетухи, загоняли в рамки своих манятеорий и обмазывали говном, так появилась математика как наука. Естественно сама по себе она нихуя не может.
Ты не прав, мамкин нигилист. Математика появилась потому что решения в одной области переносятся на другую. Те же линейные диффуры, которые могут использоваться и в электронике, и в механике, и даже в машобе.
>что решения в одной области
Прикладной области.
>электронике, и в механике
Вот в этом и проблема, с точки зрения математики все гладко, а в реальности ниработает. Та же СТО это же чистый матаппарат далекий от реальности.
>в машобе
Кек. И что в машобе, красивая теория абсолютно неработоспособная на практике. Но практическая часть математиков то и не волнует, главное что бы циферки бились.
>а в реальности ниработает
>Та же СТО
Про жидовскую науку ещё не забудь.
>Про жидовскую науку ещё не забудь.
Посредством какой среды распространяются волны в вакууме?
>жидовскую науку
Жид Энштейн наебал гоев
самый умный здесь?
>Но практическая часть математиков то и не волнует, главное что бы циферки бились.
Меня волнует, если у меня что-то не будет работать, меня выпиздят с работы с заработком в четыре раза выше среднего по столице.
Петух неграмотный, ты поди и во вред прививок веруешь? Откуда вы лезете, мудни?
Помогите. Есть некая задача ДИСКРЕТНОЙ комбинаторной оптимизации.
Суть в том, что целевая функция не гладкая, а дискретная.
Самая главная проблема в том, что при небольшом изменении входных X может очень сильно меняться итоговый Y.
Точнее для подавляющего большинства X вообще не существует Y.
Но если уж для какого-то входного множества находится решение, то эти решения можно между собой "гладко" сравнить, чтобы качественно узнать насколько какое из них лучше.
Короче исследуемое многомерное пространство представляет собой кучу рандомно раскиданных точек, между которыми нет плавных переходов (задача дискретна).
Весь трабл в том, что даже если ты нашел какое-то решение, то это тебе вообще нихуя не говорит о том, что где-то рядом с ним могут быть другие решения.
И что делать блять? Большинство алгоритмов оптимизации заточены или вовсе на гладкие функции (тут вообще проблем нет) или что хотя бы для каждого входного икс дискретной функции можно будет получить игрек и что малое изменение икс также мало меняет игрек.
А тут это нихуя блядь не так.
Суть в том, что целевая функция не гладкая, а дискретная.
Самая главная проблема в том, что при небольшом изменении входных X может очень сильно меняться итоговый Y.
Точнее для подавляющего большинства X вообще не существует Y.
Но если уж для какого-то входного множества находится решение, то эти решения можно между собой "гладко" сравнить, чтобы качественно узнать насколько какое из них лучше.
Короче исследуемое многомерное пространство представляет собой кучу рандомно раскиданных точек, между которыми нет плавных переходов (задача дискретна).
Весь трабл в том, что даже если ты нашел какое-то решение, то это тебе вообще нихуя не говорит о том, что где-то рядом с ним могут быть другие решения.
И что делать блять? Большинство алгоритмов оптимизации заточены или вовсе на гладкие функции (тут вообще проблем нет) или что хотя бы для каждого входного икс дискретной функции можно будет получить игрек и что малое изменение икс также мало меняет игрек.
А тут это нихуя блядь не так.
>И что делать блять?
Изучать специализированные методы комбинаторной оптимизации. Известная проблема - у таких задач либо есть полиномальное решение, либо они явно NP-полные, исключений почти нет. Вторая проблема - релаксация в непрерывные может дать сколь угодно далёкий от истинного ответ.
Ты слил свои рассуждения, но так и не сказал задачу
1. Какая размерность задачи и в чем проблема забрутфорсить
2. Тебе нужно глобальное решение или квазиоптимальное сойдет?
И т. д.
При сочетании некоторых факторов - а именно что квазиоптимальных решений много, а из двух решений можно скомбинировать третье, можно сделать генетический алгоритм.
Поиск линеек Голомба заданного порядка.
1. Размерность может быть разной, задается вначале.
2. Квазиоптимальное сойдет.
>из двух решений можно скомбинировать третье
А вот тут очень жирный пиздец, ибо это нихуя не так.
Нет гарантированного способа из одной линейки Голомба получить другую линейку Голомба того же порядка.
Максимум что можно - изъять из готовой линейки 1 или больше элементов и это все еще продолжит являться линейкой голомба, но смысла в этом нет, ибо порядок (число элементов) уменьшится.
Я уже думал над всей этой хуйней, по-моему, эту задачу вообще невозможно оптимизационно решать. Только полный или случайный перебор.
Короче вся суть в невозможности такого изменения линейки голомба, чтобы она гарантированно продолжила являться оной.
Допустим, я бы изи накостылял алгоритм имитации отжига, муравьиной колонии и прочей хуйни к задаче коммивояджера или поиска самого короткого пути в графе.
Ибо я могу гарантированно изменять путь в графе так, чтобы он, блять, являлся корректным путем в графе.
Да, пусть длинным, но это все еще нормальный путь, длину которого можно посчитать.
А с этими ебучими линейками все не так.
Чуть изменил ее - и все, это уже просто рандомный набор чисел, а не линейка.
>в чем проблема забрутфорсить
Экспоненциальный прост сложности.
Считай как подбор пароля все более возрастающей длины.
>Поиск линеек Голомба заданного порядка.
В нейроночки-тред... А чего не сразу дискретный логарифм?
Я писал в тред алгоритмов, там вообще полтора аутиста.
>во вред прививок
А ты поди прививаешься каждую зиму и ходишь сопливый с темпером радуясь?
>линеек Голомба
Ааааа, прекратите, Голумнах, лол
Слишком абстрактно без конкретного датасета. Почитал в педивикии, что такое линейки Голомба, нихуя не ясно, что там может быть входом, а что выходом для конкретной задачи. А так, вот это
> Самая главная проблема в том, что при небольшом изменении входных X может очень сильно меняться итоговый Y.
Звучит как некорректно поставленная задача и т.о если машоб вообще применим к твоему случаю, то тебе нужен алгоритм, могущий в некорректно поставленные задачи.
Пшел нахуй отсюда, быдло тёмное.
>шел нахуй отсюда, быдло тёмное
Голумнах, релакс
>Нет гарантированного способа из одной линейки Голомба получить другую линейку Голомба того же порядка.
Если у тебя есть линейка, задача решена. Тут вопрос о другом - является ли комбинация двух "почти линеек" "почти линейкой" с более-менее тем же качеством хоть иногда. Если является, то кроссовер в генетическом алгоритме будет работать и это может быть эффективнее брутфорса.
Вот кто-то сделал что-то
https://www.researchgate.net/publication/2532838_Genetic_Algorithm_Approach_To_The_Search_For_Golomb_Rulers аж в 2000 году.
Тебе бы не на бордах это спрашивать, а пейперы читать.
>https://www.researchgate.net/publication/2532838_Genetic_Algorithm_Approach_To_The_Search_For_Golomb_Rulers
Хуясе, интересненько, сейчас ознакомлюсь.
>является ли комбинация двух "почти линеек" "почти линейкой" с более-менее тем же качеством хоть иногда
Тут даже шире вопрос. Если последовательность не является линейкой - можно ли узнать, насколько она к ней близка?
Я написал функцию, которая вычисляет "рейт" любой последовательности.
Рейт= длина линейки x (количество повторов расстояний + 1).
В линейке голомба количество повторов всегда будет ноль. И рейт будет равен длине линейке.
Если есть повторы, но их мало, то, по идее, эта последовательность как-то "близка" к линейке.
И что характерно, минимальный рейт по результатов тестов действительно получается именно у оптимальных линеек Голомба.
То бишь, нельзя создать такую последовательность, которая не будет линейкой Голомба, чтобы у нее рейт был меньше, чем у линейки Голомба.
Я писал алгоритм имитации отжига для поиска на основе этого рейта как целевой оптимизируемой функции.
И на малых порядках линеек он даже сходится и находит линейки.
Но далее он начинает сходится на какой-то странной хуйне.
На неких локальных экстремумах этого маня-рейта, но которые не являются линейками Голомба.
Очень странно короче.
>что там может быть входом, а что выходом для конкретной задачи
Есть массив [0, 1, 4, 6] определенной длины, какой - смотря какой длины линейку ищем.
На выходе - линейка Голомба как можно более малой длины.
Но трабл именно в том, что нет способа построить линейку Голомба иначе кроме как перебором.
То бишь, ты можешь проверить, являются ли эти числа линейкой голомба или нет.
Но не можешь знать (скорее всего, но это не точно), насколько некая рандомная последовательность далека от линейки.
Если данных много - однозначно да. Если нет (до 100000 сэмплов) , то всякая эмпирика/средние/ряды/арима вполне могут лучше работать предсказать. Но в сложных задачах, например nlp они не работают никак. Плюс если первый слой сверточный - он очень быстро обучится работе аналогично таким "простым" моделям, если они работают. Если смотреть на kaggle, то там в задачах по временным рядам если и встречается что-то не глубокое, то оно обычно в хвосте по результатам. Но там задачки специфические. Плю забыл добавить, что с в конкретно данной задаче имеет смысл решать не регрессия, а бинарнуб классификацию - все y выше чего-то это 1,остальные 0. Ну и возиться с несбалансированными классами и понимать цену ошибок 1-2рода,чтоб норм оптимизировать все.
>Хуясе, интересненько, сейчас ознакомлюсь.
Перед решением сложной задачи следует ознакомиться с опытом человечества, а то можно выяснить, что ты делаешь что уже делали.
Целевая функция в моей статье предлагается, а еще в ней много ссылок на другие статьи такого рода. Правда я бы нашел не такую древнюю статью первым делом, чтобы так ссылочки поковырять.
Ты прав. Кстати, в статье чувак тоже походу намутил похожий метод вычислений рейта последовательностей
Блядь, на бордах кто-то мне написал, что я прав. Пойду зарежу барана в честь этого.
>Пойду зарежу баран
И это правильно
Сап двощ, планирую запилить нейроночку, которая будет стрелять в шутанах за меня и как следствие разбогатеть. Подводные?
> Подводные?
Ты слишком тупой, чтоб это реализовать?
>Зато в вузах не дается matrix calculus, то есть взятие производных у матричных функций
Это же обычная многомерка, не?
линал и ангем
Ну учитывая то, что у меня есть интернет, за год я точно управлюсь.
Еще что-нибудь?
Короче поиск линейки Голомба очень смахивает на задачу о N ферзях.
https://ru.wikipedia.org/wiki/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B0_%D0%BE_%D0%B2%D0%BE%D1%81%D1%8C%D0%BC%D0%B8_%D1%84%D0%B5%D1%80%D0%B7%D1%8F%D1%85
По сути сейчас у меня самый быстрый алгоритм для поиска этой хуйни как раз такой, причем, в силу своей тупости, я додумался до него сам.
Берем линейку [0].
Добавляем туда элемент. Если получилась линейка Голомба - заебись, идем дальше.
Если нет - удаляем этот элемент.
Таким образом, как и в задаче о ферзях происходит поиск с возвратом.
Единственное, до чего я еще додумался - на каждом шаге рандомить не от нуля до какого-то M_MAX, а с некого среднего для данного индекса данного порядка значения.
Ибо линейка Голомба возрастают постепенно, так что когда мы генерим значение для какой-нибудь 10-й метки, там точно нет смысла рандомить с нуля, можно сразу с 50.
А так нихуя больше и не сделаешь походу.
https://ru.wikipedia.org/wiki/%D0%97%D0%B0%D0%B4%D0%B0%D1%87%D0%B0_%D0%BE_%D0%B2%D0%BE%D1%81%D1%8C%D0%BC%D0%B8_%D1%84%D0%B5%D1%80%D0%B7%D1%8F%D1%85
По сути сейчас у меня самый быстрый алгоритм для поиска этой хуйни как раз такой, причем, в силу своей тупости, я додумался до него сам.
Берем линейку [0].
Добавляем туда элемент. Если получилась линейка Голомба - заебись, идем дальше.
Если нет - удаляем этот элемент.
Таким образом, как и в задаче о ферзях происходит поиск с возвратом.
Единственное, до чего я еще додумался - на каждом шаге рандомить не от нуля до какого-то M_MAX, а с некого среднего для данного индекса данного порядка значения.
Ибо линейка Голомба возрастают постепенно, так что когда мы генерим значение для какой-нибудь 10-й метки, там точно нет смысла рандомить с нуля, можно сразу с 50.
А так нихуя больше и не сделаешь походу.
>нейроночку, которая будет стрелять в шутанах
>как следствие разбогатеть
Не понимаю, как одно следует из другого
Ну типа вместо себя на чемпионаты посылать будет.
Что тут непонятного? Если уж не киберкотлетам толкать, то обычной школоте. Например на всякие игрульки типа пубга/фортайнта/r6 sage итд итп, цена на всякие читы в районе 100баксов В МЕСЯЦ. Античиты сосут хуй, ибо нет вмешательства в игровой процесс. Супер нейроночка, подходящая под сразу все виды шутанов нужно будет просто загрузить модельки под нужную игру и все, которая даст на клыка любому античиту. Звучит как идея на миллион.
>Античиты сосут хуй, ибо нет вмешательства в игровой процесс
Ну заебись, всего-то прицепил на игру хуйню, которая стреляет за тебя.
Даю задачу лучше: пиши покер-бот. Хоть прямой источник денег.
Заодно научишь нейросеть косить под нормисов, чтобы не банили.
Были же новости, как одни шутливые пацанчики с помощью ботов ограбили казино на несколько лямов...
Взаимодействия с процессами игры нет. Разве что можно задетектировать эмулированное перемещение мыши. Ну это легко фиксится собственным драйвером мыши.
Покер боты уже есть и нейроночки там не нужны. Хватит обычных простых алгоритмов. Плюс бот не гарантирует победу. Обычно они вывозят на том, что фармят 24/7 и лишены фактора человеческой ошибки.
Подводные в том, что лучшие спецы мира с 2014 года этим занимаются под патронажем гугла и вряд ли за недельку ты сможешь их нагнуть. https://ru.m.wikipedia.org/wiki/DeepMind
Они не этим занимаются. Ему нужен банальный аим-бот, а не йоба, которая побеждает в дотку
Это несложно.
Нейросети с распределёнными дб и вычислениями завезут?
Так это вообще разные вещи. Для дотки прям ИИ нужен. А мне хватит обычного real time object recognition, который будет распознавать модельки игроков. Вообще уже такие йобы есть, но только на питонах, следовательно не оптимизированное говно и работает медленно. Я же планирую пилить на плюсах + обмажусь писаниями каких нибудь шизанов помешанных на производительности.
> Вообще уже такие йобы есть, но только на питонах, следовательно не оптимизированное говно и работает медленно.
Вот ты и попался, плюсовод проклятый.
Я бы вообще в эту задачу с машобом не совался. Лучше её сформулировать в теории типов и прувером доказать обитаемость нужного стрелочного типа или типов из входы в выход. А потом свои примеры сортировать по принадлежности к типам. Теорему о 4х красках доказали же так.
Неужели ты думаешь, даунич, что в библиотеках для машоба математика на питоне? Это тупо обёртка (если, конечно, владелец компьютера не кретин и настроил компилятор).
Я знаю, что на питоне библиотеки крестовые. Но ты наверное не юзал тенсерфлоу с питоном на винде. Это боль и мучение с анальными 5 фпс. Ахуеть, вы питонисты думаете, что мы крестобояре не знаем как у вас там все устроено? Мы на этой параше в нотепадах пишем.
>Взаимодействия с процессами игры нет.
Это вообще никого не ебет.
В покере даже распространена практика фотанья через вебку твоего ебла во время игры.
И если твои действия на видео не согласуются с твоей игрой, тебя банят.
Я уж молчу про то, если тебя вообще там не обнаружат или ты запретишь доступ к вебке.
На больших лимитах обычное дело.
Но в игрульках для детей, конечно, так париться никто не будет. Просто забанят нахуй и все, кому ты нужен блядь
> real time object recognition, который будет распознавать модельки игроков
Ты в курсе что твоя игруля изо всех сил гоняет твой GPU чтоп из координат модельки нарисовать картинку из которой ты теперь хочешь гонять GPU чтоп получить координаты модельки?
Подозреваю что джентельмена интересует сферическое в вакууме конструирование ИИ нежеле ресурсоэффективное. Хочется поупражняться.
На самом деле это довольно эффективно - не надо больше тратиться на крякеров, если у тебя есть универсальная сетка.
Я это прекрасно понимаю. В прототипе будет использоваться удаленный комплюктер. На одном играешь, на другом вычисляешь протеины модельки игроков.
Разве у дотки о которой речь идёт нету како-го то АПИ для ботов, чтоб не распознавать скриншот игры? Openai же вроде так и делали, напрямую управляя ботом, а не через распознавалку экрана.
У каждой игры есть свой внутренний интерфейс. Внутренние читы так и работают, подключаются к этому интерфейсу и чо хотят то и делают.
> Я это прекрасно понимаю.
А насколько прекрасно ты понимаешь что сам не знаешь чего хочешь?
> На одном играешь, на другом вычисляешь
> На одном играешь
Тыж бота хотел
https://ai.google/research/pubs/pub46697
Офигенно же
Офигенно же
>Офигенно же
Ежедневный говноpapel.
Скажите, на кой хрен поступать в шад, если способен сдать вступительный экзамен? Если я хорошо знаю матан, линал и статистику, то я и сам смогу прочитать deep learning book, лол.
мимо-подтягиваю-математику-по-вечерам
мимо-подтягиваю-математику-по-вечерам
Универ вообще больше для обретения связей нужен.
Если это не совсем конченая шарага - препод знает дохуя нужных людей, которые ищут годных спецов.
>препод знает дохуя нужных людей
>Если это не совсем конченая шарага - препод знает дохуя нужных людей, которые ищут годных спецов.
Причем здесь универ? Я про шад. Там обычно учатся те, у кого нет сложности с поиском работы.
Есть ли такая нейронка, которой можно скармливать звуковые файлы, чтобы голоса потом можно было подделать? Например, во входном потоке подать речь Путина, а на выходном уже транслировать что-либо (заранее задать текст, как в говорилке)
Если существует, скиньте ссылку
Если существует, скиньте ссылку
Что по теорверу и статистике посоветуешь почитать? (задачник, учебник)
ЗДРАВСТВУЙДЕ ПЕТОНИЗДЫ, КАК САЗДДАТЬ ТОКОЙ ИНТЕЛЕКТ, КОТОРЫЙ БУДЕТ ПРИРИСОВЫВАТЬ ТЁТЯМ хуй?
>КОТОРЫЙ БУДЕТ ПРИРИСОВЫВАТЬ ТЁТЯМ хуй?
Смотря куда, если в рендомное место то нисложна и ученые-математики уже почти решили эту проблему.
Другими словами - делать трапов из неполоценных тян.
Учёные математики всерьёз решали проблему как бабе в рандомное место пихнуть член?
Математика гораздо интереснее чем ты думал!
Да
4 сезон холмса прямо шикарен. Смотри как Бенедикта загриммировали, и не узнать!
Если ты совсем нулевый, то khan academy
Ну вроде проблем нет, сплошные профиты.
Нейрач, как мне сделать нейронку на R, чтобы генерировать музыку в midi? Я могу предположить, что можно парсить исходные midi файлы в формат типа https://gist.github.com/cosmologicon/310dfe3aa8a5b9b8f558caa995e0ee68/ , потом брать какую-нибудь lstm нейроночку и заставить ее прогнозировать файлы такого же формата, а потом сконвертировать обратно. Собственно, первый и последний этапы я могу с помощью chords провести, или послушать результат в http://ufx.space/stuff/procmusic/ . А с нейроночкой что делать? Я как-то потерялся, все имеющиеся в гугле кернелы и черновики на питоне сделаны, например.
Через пихвоиды ебани
Ты сам способен на всё. Вообще 100% своего курса ты можешь пройти в инете. Причём 5 летний курс за год. Но толку то?
В R есть враппер для кераса, либа так и называется - keras. Ищешь нужный пример для кераса, переписываешь в R, профит.
> lstm
Markov-chain достаточно.
У меня появилась такая идея как раз после написания поста. Так-то годно, спасибо.
Тоже годно, благодарю. Я на цепях Маркова только тексты для вайпа генерировал.
Я хуй, тред не читал. У меня есть задача - обучить сеть классифицировать картинки. Как я это вижу: на вход подаю картинки и сам классифицирую их на несколько групп по содержанию. Групп будет предположительно 10, больше не надо. Потом смотрю как работает нейронка и корректирую её. В результате добиваюсь высокой точности классификации.
Что у меня есть? Пека c AMD вижеокартой и риг с AMD вижеокартами. Понимаю, что большинство фреймворков работают с Nvidia, кудой, тензерными ядрами и т.д.
И тут вопросы:
1) что можно использовать для обучения распознавания изображений на AMD? Это должно работать с Пайтоном.
2) реально ли это реализовать именно так, как я прописал выше, не вникая в тонкости математики?
3) может есть уже готовые сервисы, позволяющие использовать чужие нейронки под мою задачу?
Что у меня есть? Пека c AMD вижеокартой и риг с AMD вижеокартами. Понимаю, что большинство фреймворков работают с Nvidia, кудой, тензерными ядрами и т.д.
И тут вопросы:
1) что можно использовать для обучения распознавания изображений на AMD? Это должно работать с Пайтоном.
2) реально ли это реализовать именно так, как я прописал выше, не вникая в тонкости математики?
3) может есть уже готовые сервисы, позволяющие использовать чужие нейронки под мою задачу?
Я хуй вопрос не читал.
Истпользуй game.py
что там у пидора на первой пикче за формула?
Аноны, вопрос по nltk и topic modelling
Есть неразмеченный набор текстов разной длины (13к текстов) на русском языке.
Хоту сделать topic классификатор вида - [Новости=0.75, Чувства=0.52, Реклама = 0.12]
Появился вопрос с тем как размечать данные(лол).
и у меня 2 варианта:
1) Через LDA сделать topic modelling и потом результаты LDA(слов от топиков) прогнать через корпус языка, чтобы узнать к каким категориям относятся эти слова и результатом будут уже топики, которые сможет прочитать человек и потом "удачные" топики можно использовать для разметки.
Проблема в этом подходе в том, что на русском языке я пока не нашел корпус в котором будут слова размечены по категориям ( может у вас есть? )
2) Разметить часть данных руками и потом натренировать классификатор, чтобы он доразметил всё остальное.
На какой из двух стульев сесть?
Возможно я вообще не так к задаче подхожу?
Есть неразмеченный набор текстов разной длины (13к текстов) на русском языке.
Хоту сделать topic классификатор вида - [Новости=0.75, Чувства=0.52, Реклама = 0.12]
Появился вопрос с тем как размечать данные(лол).
и у меня 2 варианта:
1) Через LDA сделать topic modelling и потом результаты LDA(слов от топиков) прогнать через корпус языка, чтобы узнать к каким категориям относятся эти слова и результатом будут уже топики, которые сможет прочитать человек и потом "удачные" топики можно использовать для разметки.
Проблема в этом подходе в том, что на русском языке я пока не нашел корпус в котором будут слова размечены по категориям ( может у вас есть? )
2) Разметить часть данных руками и потом натренировать классификатор, чтобы он доразметил всё остальное.
На какой из двух стульев сесть?
Возможно я вообще не так к задаче подхожу?
StarSpace пейсбуковский разбирай, вот реальное будущее NLP, зачем тебе все эти лда и топикмоделинг из 90-х?
>StarSpace пейсбуковский
Закапывай это жидовское говно
>размечены по категориям
У Хуяндекса есть, ему вся Толока размечает. Садись на любой всервано соснешь.
Спасибо, посмотрю.
Он с русским текстом тоже работает?
Можешь скинуть ссылку?
Ну или хотя бы намекни как искать.
вундерфавлю делать не собираюсь, появилась идея и хотим с другом проверить на практике.
>хотим с другом проверить
Дайте формулу мочи для распознования капчи.
Кароч качаешь ембеддингсы из https://rusvectores.org/ru
Потом кластеризуешь вектора для слов из твоего примера через k средние (можно заморочиться и по другому, но влом объяснять). Количество кластеров для такой простой задачки вручную подбирай, чтоб норм по смыслу деление было. Название топиков для кластеров сам вручную подписываешь. Ну а потом с готовым делением на топики делай что хочешь.
Для норм классификации неплохо бы все предложения через lstm гонять, но там с разметкой вручную придется возиться и на 13к датасете обучение не вариант - мало
>Возможно я вообще не так к задаче подхожу?
Конечно. Проще выкинуть нахуй твои 13к текстов и спарсить уже размеченные с любого говносайта типа яндекс.дзена.
Дайте формулу кала для распознавания ебала
Держи
if pravilno == True:
/t w[i, j] += lr if i == 1else w[i, j] -= lr
else:
/t w[i, j] -= lr if i == 1else w[i, j] += lr
Посоны, сосаны. Правильно я понимаю, что дип лернинг - это вообще не про программирование, а про статистику и математику? А то выглядит все интересно, но непонятно стоит ли выкатываться из уютной жавы.
>про статистику и математику
да
Нет, это своя отдельная область CS
>Правильно я понимаю, что дип лернинг - это вообще не про программирование, а про статистику и математику?
Ну как бы тебе сказать... С точки зрения заблуждающихся программирование непрерывно состоит из пиления алгоритмов хотя бы уровня красно-черного дерева. Хотя мы-то знаем, что это не так. В лучшем случае кто-то умеет запилить такое дерево с нуля, а чтобы придумать алгоритм такого уровня, это вообще большое исключение.
Так и дипленинг. Кнопки "сделать пиздато" нет, поэтому большую часть времени ты будешь пилить инфраструктуру для автоматического обучения.
Само описание нейросетей больше похоже на программирование на языках типа VHDL или на электронику. Ну, типа, вместо if(yoba)A=B else A=C нужно писать A = yoba x B + (1-yoba) x C. Вот таких изъебств полно. Но это все равно программирование прежде всего.
>пилить инфраструктуру для автоматического обучения
т.е. писать одноразовые говноскрипты на петоне
Если практик и хочется сделать"чтоб работало", то много знать не надо, можно тупо юзать api либ, того же tf/scikit или keras. Но если охота пилить новую годноту, которой ещё принципиально нет, то надо хотя бы понимать, как все работает и знать много статов, линала, немного матана и комбинаторику. Хотя б чтоб понимать, backprop и самому быть способным с нуля его написать в матричный форме. Но знания они пригодятся не для этого скорее всего, а для понимания, как данные обрабатывать и придумывания какие архитектуры нужно и и можно в каких случаях использовать.
С дивана оно охуенно видно конечно. Ты не забывай, что все в мире дебилы, кроме тебя, поэтому обожают делать одну и ту же работу постоянно выкидывая свой старый код.
> Но если охота пилить новую годноту, которой ещё принципиально нет, то надо хотя бы понимать, как все работает и знать много статов, линала, немного матана и комбинаторику. Хотя б чтоб понимать, backprop и самому быть способным с нуля его написать в матричный форме
Надо думать, что эксперт все это знает и уже запилил новую годноту, которой еще принципально нет.
>т.е. писать одноразовые говноскрипты на петоне
Так нормально?
Нет, это диванная токсичность ни о чем.
Если бы ты просто здесь тралил это одно, но тут чувак как бы серьезно спросил, что такое этот дипленинг на практике. А на практике ты с говноскриптами быстро соснешь, как с любым говнокодом.
Спасибо, то что искал.
Добра тебе
>токсичность ни о чем
А ты попробуй собери реальное рабочее приложение с нейронками под винду, чтобы на GPU работало. Или это не "дипленинг на практике"?
> под винду,
Теперь понял, с чего тебе печет, лол. Спермобоярин, ты себе в штаны срешь. Ещё теано несколько лет назад была под глинукс онли, там даже на сайте было написано, что основная версия это х64 глинукс, а остальное просто чтобы было, и просьба не слать багрепорты по версиям, отличным от х64 глинукс, т.к не факт что их вообще кто-то читать будет.
Датасаентисты, выручайте. В датасете есть три переменные, которые в сумме всегда дают единицу.
- Доля существительных мужского рода среди существительных
- Доля существительных женского рода среди существительных
- Доля существительных среднего рода среди существительных
Должен ли я дропнуть одну колонку, чтобы избежать мультиколлинеарности?
- Доля существительных мужского рода среди существительных
- Доля существительных женского рода среди существительных
- Доля существительных среднего рода среди существительных
Должен ли я дропнуть одну колонку, чтобы избежать мультиколлинеарности?
Ну т.е c = 1 - a - b ?
>Доля существительных
А как ты их определил?
https://tech.yandex.ru/mystem/
Есть обертка под питон
https://github.com/nlpub/pymystem3
Ну или
https://github.com/kmike/pymorphy2
Это онлайн хреновина?
pymorphy2 точно нет, да и pymystem3 тоже скорее всего
Будет НГ, родственники спрашивают что я хочу. Подумал, что это хорошая возможность оплатить мне какой-то хороший курс с домашками, проверками и ответами на мои дебильные вопросы. С питоном знаком нормально через веб. Кто порекомендует курс хороший, чтобы до уровня джуна натаскали (желательно с сопутствующей математикой).
ШАД
2 года это как-то очень долго
Хочу написать predictive model для ставок на спорт(просто для себя, чтобы импрувнуть скилы).Так вот что именно для этого нужно?
Какие технологии , какой язык?
Какие технологии , какой язык?
Хорошие бесплатные, имей совесть, не дои родственников
> Хочу написать predictive model для ставок на спорт
На этом не заработаешь из-за маленьких кэфов. Даже если модель будет угадывать 6-7 из 10 игр. Причём, не каждый спорт подходит, и там не дурачки сидят. Например, даже в MLB, бейсбол, где по 12-14 матчей в день, матчи часто между близкими по силам командами (и т.о модель часто ошибается, т.к вероятности очень схожие) и за весь сезон между конкретными командами может быть всего 3-4 матча, что недостаточно для статистики. Причём, бейсбол проще ещё и тем, что там нет ничьих, которые тоже очень все портят в плане предсказания. Я с этим долго ебался в своё время, в итоге понял, что ловить нечего.
Сап. Подскажите, куда копать. Есть видео, снимаемое в 30 fps - скрин релейтед. В целом это шумное изображение разряда, в котором крутится пыль. Мне нужно извлечь координаты частиц.
Я попробовал поиграть с картинкой, отрезая шум, усиливая яркость, добавляя гауссово размытие, контраст, извлекать пробовал тупо через connectedComponentsWithStats() в opencv. В целом, что-то получается, но часто бывает так, что частицы целыми рядами сливаются в одну область (в частности из-за линейчатого сжатия или как это говно называется - видно на частицах, т.к. они быстро двигаются, что половина строк из одного кадра и половина из предыдущего).
На видео присутствует вибрация камеры, так что его по-хорошему нужно ещё стабилизировать, но я пока этим не занимаюсь.
Как мне лучше натренировать фильтр для этого?
На данный момент я хочу тупо сделать автоэнкодер и обрабатывать его вывод, но я хз насколько такой подход прокатит, в особенности в реальном времени. Кроме того, тренировать энкодер я естественно буду не на видео, а на отдельных изображениях - то есть динамика будет выкинута, а это очень значительная информация. Но я думаю, что это малоэффективный подход, пусть и позволит убрать кучу шумов.
Я попробовал поиграть с картинкой, отрезая шум, усиливая яркость, добавляя гауссово размытие, контраст, извлекать пробовал тупо через connectedComponentsWithStats() в opencv. В целом, что-то получается, но часто бывает так, что частицы целыми рядами сливаются в одну область (в частности из-за линейчатого сжатия или как это говно называется - видно на частицах, т.к. они быстро двигаются, что половина строк из одного кадра и половина из предыдущего).
На видео присутствует вибрация камеры, так что его по-хорошему нужно ещё стабилизировать, но я пока этим не занимаюсь.
Как мне лучше натренировать фильтр для этого?
На данный момент я хочу тупо сделать автоэнкодер и обрабатывать его вывод, но я хз насколько такой подход прокатит, в особенности в реальном времени. Кроме того, тренировать энкодер я естественно буду не на видео, а на отдельных изображениях - то есть динамика будет выкинута, а это очень значительная информация. Но я думаю, что это малоэффективный подход, пусть и позволит убрать кучу шумов.
отклеилось
>На видео присутствует вибрация камеры, так что его по-хорошему нужно ещё стабилизировать, но я пока этим не занимаюсь.
Ну так займись. http://nghiaho.com/?p=2093 , код можно использовать как есть.
Можно взять стабилизатор из avisynth.
>в частности из-за линейчатого сжатия или как это говно называется - видно на частицах, т.к. они быстро двигаются, что половина строк из одного кадра и половина из предыдущего
Это называется interlace и оно убирается процедурой под названием deinterlace. А еще лучше сменить камеру на нормальную - в том числе с нормальной чувствительностью, чтобы смазов частиц не было.
>Как мне лучше натренировать фильтр для этого?
Добиться максимального качества изображения - стабилизировать, избавиться от интерлейса, настроить время экспозиции камеры и освещение. Далее создать датасет, придумать метрику проверки его качества и дальше в полуавтоматическом режиме сидеть и подбирать параметры твоих фильтров. Вполне возможно метод Виолы — Джонса сработает.
>На данный момент я хочу тупо сделать автоэнкодер и обрабатывать его вывод, но я хз насколько такой подход прокатит, в особенности в реальном времени
Если под автоэнкодером подразумевать u-net, то вполне прокатит при достаточном размере датасета, чего ты добьешься вряд ли.
Камеру сменить возможности нет, но есть датасет этих видео гигов на 50. Качество такое говёное во-первых из-за камеры, во-вторых, из-за херового освещения - сильная засветка от разряда и слабое освещение нужных объектов. Кроме того, частицы прыгают в подсветке - из-за этого яркость для многих сильно скачет.
Сейчас попробую сделать описанное тобой, посмотрим как выйдет. Спс.
>Камеру сменить возможности нет
В твоем распильном госзаводе нет денег на камеру, но есть деньги платить за полгода твоего бесполезного труда?
А потом удивляются, почему зарплаты низкие, лол - нахуя нам вкладываться в инструменты, проще раба посадить ебаться с цифровой фильтрацией.
>Качество такое говёное во-первых из-за камеры, во-вторых, из-за херового освещения - сильная засветка от разряда и слабое освещение нужных объектов.
Это решается, например, подсветкой лазерным диодом за 100 рублей и узкополосным светофильтром на нужной длине волны на камере - не за 100 рублей, конечно, а за 1000. В узкой полосе твой разряд уже не будет таким ярким, зато пыль можно будет сколь угодно яркой для хорошей экспозиции.
https://ru.coursera.org/specializations/deep-learning
вот норм серия курсов.
Если питон нулевой можешь пройти
https://ru.coursera.org/courses?query=python%20for%20everybody (питон с нуля)
и
https://ru.coursera.org/specializations/data-science-python (если не очень уверен в подготовке, парсинге и первичной обработке данных)
Если не хватает математики для понимания, то
https://ru.coursera.org/learn/machine-learning (базовый линал + статы + подробно как машоб работает, правда курс старый и на матлабе, поэтому некоторые примеры по распознаванию устарели)
Сорь, я не знаю где спросить просто (я не программер),
Короче есть сигнал, из этого сигнала можно получить спектр. Получится некая двухмерная хуёвина в виде карты температур, двухмерная картинка.
Но это ещё один способ представить тот же самый сигнал, который не добавляет ему никаких бонусных характеристих, или это уже, всё таки, другой сигнал, а изначальный не двухмерен?
Но вопрос не в этом, двухмерная карта температур в виде спектра это двухмерная карта, а если получить карту температур из набора трёхмерных спиралей, а не синусов, это будет карта температур натянутая на поверхность цилиндра, верно?
Сколько мерностей будет у такой карты температур, она же уже не будет двухмерной? Правильно же что она трёхмерной тоже не является?
P.S: Что почитать по этому поводу, это вот всё, но меня чисто сигналы интересуют.
Короче есть сигнал, из этого сигнала можно получить спектр. Получится некая двухмерная хуёвина в виде карты температур, двухмерная картинка.
Но это ещё один способ представить тот же самый сигнал, который не добавляет ему никаких бонусных характеристих, или это уже, всё таки, другой сигнал, а изначальный не двухмерен?
Но вопрос не в этом, двухмерная карта температур в виде спектра это двухмерная карта, а если получить карту температур из набора трёхмерных спиралей, а не синусов, это будет карта температур натянутая на поверхность цилиндра, верно?
Сколько мерностей будет у такой карты температур, она же уже не будет двухмерной? Правильно же что она трёхмерной тоже не является?
P.S: Что почитать по этому поводу, это вот всё, но меня чисто сигналы интересуют.
>Сколько мерностей будет у такой карты температур, она же уже не будет двухмерной?
Это основной вопрос, забыл его выделить.
>Но это ещё один способ представить тот же самый сигнал, который не добавляет ему никаких бонусных характеристих, или это уже, всё таки, другой сигнал, а изначальный не двухмерен?
Изначальный у тебя тоже двухмерен, ты просто пропускаешь один этап.
Можно взять сигнал длиной, допустим, 1000, и получить спектр из 1000 значений. И там и там все одномерно. Получение спектра это на самом деле линейное преобразование в тысячемерном пространстве, оно размерность не увеличивает, просто немного преобразует один тысячемерный вектор в другой умножением на матрицу Фурье.
А чтобы получить хитмап, в котором спектр меняется во времени, ты берешь изначальный сигнал, допустим, длиной 100000, делишь его на 100 частей длиной 1000 (хотя правильно делить с наложением), у каждого находишь спектр и формируешь из этого двумерный хитмап.
Иными словами, ты сначала берешь одномерный сигнал, делишь его на N частей с перекрытием, и получаешь такую табличку - изначального одномерного сигнала со сдвигом. И дальше ты уже у этой таблички находишь спектр - у каждой строчки независимо. При этом у тебя возникает принцип неопределенности: чем на большее число частей ты делишь, тем точнее ты можешь определить время возникновения чего-то в спектре, но тем грубее сам спектр. И наоборот.
При этом спектр ты получаешь комплексных чисел, а у них есть амплитуда и фаза, поэтому когда ты получаешь карту температур, ты еще и проебываешь информацию о фазе - ведь такая карта будет содержать только амплитуду. Плюс определенные потери будут из-за spectral leakage, но с этим не заморачивайся. Поэтому такой хитмап содержит меньше информации, чем исходный сигнал. Хотя в целом это не критично.
>Но вопрос не в этом, двухмерная карта температур в виде спектра это двухмерная карта, а если получить карту температур из набора трёхмерных спиралей, а не синусов, это будет карта температур натянутая на поверхность цилиндра, верно?
Твои спирали будут базисными функциями, а что именно ты раскладывать собрался?
если используешь деревья, то наплевать
Не решается это увеличением мощности подсветки из-за светового давления, умник. Здесь узкополосная подсветка и достаточно узкий фильтр. У меня вызывает сейчас вопросы, почему там выбрана именно такая длина волны подсветки - немного перекрывается с излучением разряда, но лазерным диодом за 100 рублей подсветить не получится из-за особенностей системы. Они как-то объясняли мне, почему не вышло использовать другую длину волны, но я уже не помню, почему
на самом деле этот водоворот примерно 2 мм во внешнем диаметре снимается камерой видеонаблюдения с высокой светочувствительностью с расстояния около 2 метров.
В любом случае, стабилизация получилась в какой-то степени, деинтерлейсинг отлично сработал, спасибо.
Насчёт подготовки датасета, я в принципе сейчас этим и занимаюсь, но всё равно остаются вопросы, я не знаю как быть именно с видео.
Я не подразумевал u-net, вообще говоря, хотел попробовать просто в лоб сделать - несколько свёрточных слоёв в одну сторону и затем развернуть в исходное. Погуглю насчёт этого.
>Изначальный у тебя тоже двухмерен
Одномерен же тогда (из твоего текста так тоже следует), параметр только один, ты наверное опечатался. Один параметр - одна мерность, правильно?
>у каждого находишь спектр и формируешь из этого двумерный Хитмап, получается же, на самом деле состоит из срезов, 1024-мерный срез делается обновляется последовательно после каждого 1024-единичного отрезка. Тогда это же не совсем двухмерная поверхность, выходит, а только с приближением если рассматривать, какой бы длины отрезок бы ни был, правильно? Если есть пустота, тогда это уже не двухмерная поверхность, а просто набор никак не связанных кусков?
>что именно ты раскладывать собрался?
людей, но мне никто не поверит всё равно, при достаточном навыке можно скопировать в человеке всё что в нём есть
Так или иначе на свой вопрос
>Сколько мерностей будет у такой карты температур
я ответ нашёл, просто срез цилиндра это тоже сплюснутая спираль без толщины, у меня получилось что эта фигура имеет 4 параметра, то есть 4х мерна, если не учитывать время: 2 - двухмерная поверхность цилиндра, 1 температура, 1 - сплюснутая спираль.
Вот только частота обновления длиной в количество отрезков вызывает вопросы.
>Не решается это увеличением мощности подсветки из-за светового давления, умник.
Ну вот нахуя ты хамишь? У меня были ответы на твои вопросы, а теперь я понимаю, что лох, который помог тупому хамлу, которое помощи не заслуживает. Все настроение испортил, иди нахуй.
Ĝi estas magio!
Сам хуями покрыл, потом жалуешься, что ответили? Иди мамке поплачься.
Для убирания цензуры тоже пихвоиды уже есть. Скажи спасибо!
Нужны нейросети оголяющие 2д-дев. Панцу убрать, или полностью одежду.
Вот ахуенно будет. Как на пикрилейтеде, взяли скрин и в фотошопе отредактировали.
Выглядит некрасиво и не вызывает возбуждения. Смысла нет, есть хентай, который в сотню раз больше чисто потому что в него вкладывалась фантазия и мастерство автора.
Не пизди, норм выглядит.
мимоподрочил
> Выглядит некрасиво и не вызывает возбуждения
Вымядрочер, ты?
Я как раз на бейсбол хочу.Тем не менее можешь пожалуйста сказать ответы на мои вопросы,важен сам процесс и плюс в том, что мне эта тема интересна.
P.S у Berryhorse получилось же сделать успешную модель
Ребят, тут внезапно мне подарили Titan V, серьезно подарили. Что с ним можно поделать такого, чего с обычной говновидяхой сложно\долго?
Сам С++ макака, про машоб знаю только картиночки с градиентным спуском
Сам С++ макака, про машоб знаю только картиночки с градиентным спуском
покатать в игры
>Titan V
Продай
Давай встречаться? Можно я поставлю у тебя считаться пару вещей? А вообще, дорогой, дай почту и сделай для меня пользователя c ssh.
>Давай встречаться?
А ты няшный?
Самое прекрасное что ты видел в своей жизни.
Я не крыл тебя хуями.
Прости, но самое прекрасное, что я видел в своей жизни - это мультизадачные сетки.
на авито? Я бы махнулся на RTX 2080 ti, но чет кому нахуй титан нужен
Учитывая, что 2080 стоит в два раза дешевле, с тобой любой барыга поменяется, где еще такого лоха найдешь
Как нейронки могут работать на сервере??
Просто я запускал свои поделия только локально.
Предположем есть некий скрипт на питоне, который содержит в себе логику, которую реализует нейронка, а также саму нейронку,
как его можно запустить на сервере, как распределенное приложение?
Просто я запускал свои поделия только локально.
Предположем есть некий скрипт на питоне, который содержит в себе логику, которую реализует нейронка, а также саму нейронку,
как его можно запустить на сервере, как распределенное приложение?
Как любое другое приложение.
Немного больше гемора будет если тебе для нейронки нужен GPU, но не похоже, что у тебя проблемы с этим.
А еще есть https://aws.amazon.com/sagemaker/ , но я не ковырял
По класической концепции. Запускаешь запрос - нейронка - ответ. Можно ещё аякс с прикольной крутящейся гифкой загрузки приебошить.
Посаны, чому все пишут на Python, если matlab оптимизирован для решения задачек по линалу?
Мимо-прохожу-курс-на-курсере
Мимо-прохожу-курс-на-курсере
Пистон в моде у хипстеров, а с матлабом тебя сойбои на коворкингах засмеют. Ну и ты его системные требования видел? Эту хуйню просто запустить гиг 8 оперативы надо.
>сойбои
У вас там адекваты в растянутых свитерах с оленями хотя бы есть?
Матлаб проприетарный и очень дорогой, а как язык на данный момент хуже питона, в который из матлаба спиздили все, что можно было спиздить, и плюс там есть еще куча того, чего в матлабе и не было никогда
У кого у нас, этот шизик тут в одном экземпляре
>У кого у нас
В неронобигдата сообществе ИРЛ
Я о том, что этот шизик не принадлежит никакому сообществу, кроме глюков в собственной голове
А я тебе про адекватов ИРЛ, как нейроебарь выглядит, носит ли подвороты с хипстерской бородкой?
Лучше лапака всё равно не будет, а лапак в нумпае есть.
всякие есть, от тп до бомжей
Правда ли, что нужен мощный пк для учебы по нейронкам? Или хватит какой-нибудь 1060 для начала
Для учебы и Google Colab хватит с бесплатным GPU
Ограничения там есть? Денег не потребует со временем?
Можно и на телефончике считать для учёбы.
Нет, единственный минус, в том что тетрадка (notebook) живет не больше 12 часов, т.е. если у тебя модель будет обучатся больше, то неудобно получится. Хотя и это можно абузить: перед истечением срока выгрузить параметры модели, потом переоткрыть тетрадку, загрузить их и продолжить обучение. Но сомневаюсь, что у тебя в рамках учебы возникнет подобная задача. Можешь ещё попробовать Google Cloud Platform, там дают триал на год с халявными 300$. Вначале тебе этого должно хватить, потом когда возникнет нужда свою машину соберешь.
Если бы меня профинансировали, то я создал бы AGI. Но никто не хочет.
Я вкатывальщик, хочу у вас спросить, насколько реальна перспектива вката сразу в нейронки и вот это все? Я могу в матан, связанные с ним специфические штуки, чем меня и привлекает тема, но спецовой вышки у меня нет. Ютубные гуру уверяют, что стоит начать с какого-нибудь веба, а в дальнейшем каким-нибудь образом перекатится, при этом став на тот момент мидлом. Другие гуру говорят, что это нуващепиздецсук, все эти курсы в инете и прочее для надмозгов с вышкой, а лучше кандидатов но никак не для уличного сброда. Те и другие советуют учиться на реальных проектах, которые были бы лично мне интересны, но тут такая хуйня, что лично мне интересны вещи связанные именно с ИИ, но никак не очередной сайт-визитка, крестики-нолики и т.п. кстати, их я уже сделал. Кто прав? Как быть?
Импосибуру.
Нужно быть и математиком и программистом одновременно. С чистого листа вкатываться сложно, долго и дорого. Учи питон, C/C++, а как выучишь уже можно подумать и перекате в машоб.как раз через пару годиков, когда эту сырую парашу допилят.
>математиком
лол, почему не теологом?
> Нужно быть и математиком и программистом одновременно.
Ни тем ни другим быть не требуется. Хотя, это поможет, конечно. Тут точно как с пидарской бородкой, дебильными татухами и штанами с подворотами. Можно и без всего этого, но не канон, засмеют.
> С чистого листа вкатываться сложно, долго и дорого.
Не сложно, не долго и даже бесплатно. Благо, все нужное в свободном доступе.
Молодой, няшный, в постели актив. Не токсик.
Можем вместе лампово ботать алгоритмы и ML.
Молодой, няшный, в постели актив. Не токсик.
Можем вместе лампово ботать алгоритмы и ML
>Я вкатывальщик, хочу у вас спросить, насколько реальна перспектива вката сразу в нейронки и вот это все
Рынок труда - это рынок, если ты готов за копейки делать чудеса с пруфами, то рано или поздно найдется человек, который готов рискнуть, и вы обменяетесь: он получит работу за копейки, потому что у него больше нет, а ты получишь опыт. Надо просто понимать вероятностный характер этого.
Я делал домашки иностранным студентам, например. Это было невыгодно, а вокруг меня были успешные веб-программисты с таким же рейтом, но которые работали хотя бы по 30 часов в неделю, а не по 10, как я, но зато я занимался чем-то прикольным, а не ненавистным вебом. Вакансии надо смотреть конкретные. Открываешь хх.ру, забиваешь ключевое слово типа numpy и смотришь.
Впрочем, что я никогда не делал, это не спрашивал "насколько реально". Мне было похуй. Я делал что должен был делать.
Сап двачик. Есть какие-то гайды по организации кода или архитектуре проэкта на питоне? Есть гавнакод по компутер вижну и нужно его подготовить к продакшину.
>перспектива вката сразу в нейронки
около 10ти реальных вакансий на весь ex-ussr с более чем средней зп, 2-3 вакансии с нормальной зп
это все что ты должен знать
> какие-то гайды по организации кода или архитектуре проэкта на питоне?
отдать бородатому дяде чтобы он переписал на с++
Немножко НАУКОЙ XXI ВЕКА освежу
https://m.youtube.com/watch?v=tZhkw40gDkE
> кумулятивная функция..ну, как это математически выразить? хммм
> ну можно захуярить все и иксгебустить..хммм, что-то не выходит ничего, эта все шум новерное
> в итоге получили одну фичу скользящего среднего
> ну блин, сложно, не стоит тратить время
> зато смотрите интересно как, вот этим долбикам удалось захардкодить кучу if elsов так чтобы за лимиты не выйти))
Господи, этот манялернинг моё любимое комедийное шоу.
О, первая бизнес молодость рванула.
>рванула
Ну тебе-то видней. Кстати, как кегля связана с ноукой-то? И такой вопрос-детектор: сколько ты реальных задач бизнесу решил?
Ищем молодых, талантливый, амбициозных и полных энтузиазма сотрудников на различные позиции
Не удержался
>Кстати, как кегля связана с ноукой-то?
Пусть обьясняют те кто про существование дата саенса как науки все время говорит.
>реальных задач бизнесу решил
А что такое реальная задача бизнеса? Перелопачивание эксельных табличек чтобы очередное более лучшее говно лохам толкать? Говно не жру, сори.
Это вальхалла на пикрилейтед?
Стоит вкатываться?
1C закрывает 95% "реальных задач" требующихся бизнесу в этой стране
Да, игра для молодых и перспективных.
валидна только версия на ангельском
> валидна только версия на ангельском
Почему? Алсо, игру же японцы делали?
А кто говорит про дата саинс как науку? "Science" в "data science"; также как "science" в "rocket science". И то и другое инженерные дисциплины с разными степенями научности. И как инженер может как дергать за рубильник на заводе и участвовать в статьях в CERN, так и data scientist может быть самым разным.
Можно быть инженером и работать с готовыми библиотеками, а можно таки математиком и ученым - разрабатывать новые модели и методы обработки данных для какой-то специфической области/датасета.
Ты, наверное, и девственник, потому что не нашел ту самую
>математиком и ученым или гейшлюхой
Математика не наука, даже сама матанопетушня это признает
> Математика не наука
А Р Г У М Е Н Т Ы
Р
Г
У
М
Е
Н
Т
Ы
Нихуя себе, давно не видел, чтобы кто-то так писал.
Вопрос об основаниях математики и о том, что представляет собой в конечном счёте математика, остаётся открытым. Мы не знаем какого-то направления, которое позволит, в конце концов, найти окончательный ответ на этот вопрос, и можно ли вообще ожидать, что подобный «окончательный» ответ будет когда-нибудь получен и признан всеми математиками.
«Математизирование» может остаться одним из проявлений творческой деятельности человека, подобно музицированию или литературному творчеству, ярким и самобытным, но прогнозирование его исторических судеб не поддаётся рационализации и не может быть объективным[12].
Герман Вейль // Клайн М. Математика. Утрата определённости
> но прогнозирование его исторических судеб не поддаётся рационализации и не может быть объективным
Типичный яскозал. Всё в нашем макромире можно предсказать. На макроуровне наш мир полностью детерминирован.
>Всё в нашем макромире можно предсказать. На макроуровне наш мир полностью детерминирован.
Типичное шаблонное манямышление маняматика, уже на фондовом рынке разбогатился, м?
> уже на фондовом рынке разбогатился, м?
Нейросеть поруинила фондовый рынок Турции.
Твои рякания.
>поруинила
Лол, нейросайентистов надеюсь расстреляли
> ВРЕТИ
Не умеешь гуглить->вали с треду.
>Нейросектанта абасали пруфами и ему ниприятно
Скиньте тысяч 20 на биткоен для финансирования прорывного ИИ проекта.
>прорывного ИИ проекта.
Котегов распознавать?
Нет. Сильный ИИ.
>Сильный ИИ.
Огогог, паберегись.
Страшно??
Ну диалог смешной, но ситуация страшная.
Пруфы прорыва
мимо инвестор
Откуда прорыв, если нет стартового капитала?
Утром деньги, вечером стулья?
Привет!
У меня есть документ в формате .doc в котором различное содержимое - тексты, таблицы и тд. Для работы с word файлами я использую библиотеку python-docx.
Мне нужно написать программу которая находит в этом документе фразу с определенным семантическим смыслом.
Например:
find('Дополнительные сведения')
Найденные совпадения: 'Дополнительная информация', 'Вспомогательные данные', 'Добавочные знания'.
Что мне нужно сделать для этого? Использовать методы машинного обучения? WordEmbeddings, Word2Vec?
Спасибо.
У меня есть документ в формате .doc в котором различное содержимое - тексты, таблицы и тд. Для работы с word файлами я использую библиотеку python-docx.
Мне нужно написать программу которая находит в этом документе фразу с определенным семантическим смыслом.
Например:
find('Дополнительные сведения')
Найденные совпадения: 'Дополнительная информация', 'Вспомогательные данные', 'Добавочные знания'.
Что мне нужно сделать для этого? Использовать методы машинного обучения? WordEmbeddings, Word2Vec?
Спасибо.
Ворд2век, сравнивай векторслова в фразе со словами в искомой фразе. Чем меньше евклидовое расстояние, тем вероятнее что ближе по смыслу.
Есть ли возможность "обучать на лету" модель по ходу обновления данных?
То есть, существует папка с текстовыми файликами, на которых обучается модель,
данные постепенно обновляются,
хотелось бы что бы прогресс обучения на старых данных "сохранялся", что бы можно было приплюсовать к нему новые данные.
Еще хотел бы узнать, есть ли возможность "открыть модель" из файла конфигурации нейронки или сериализированного классификатора и начать тренировать её на новых данных, что б при этом предыдущий прогресс был сохранен
Знаю, что для моделей (классификаторов,сеток итд) из sklearn такая возможность присутствует, это вроде как называется partial_fit и существует далеко не для всех моделей.
Есть ли такая возможность для моделей keras?
То есть, существует папка с текстовыми файликами, на которых обучается модель,
данные постепенно обновляются,
хотелось бы что бы прогресс обучения на старых данных "сохранялся", что бы можно было приплюсовать к нему новые данные.
Еще хотел бы узнать, есть ли возможность "открыть модель" из файла конфигурации нейронки или сериализированного классификатора и начать тренировать её на новых данных, что б при этом предыдущий прогресс был сохранен
Знаю, что для моделей (классификаторов,сеток итд) из sklearn такая возможность присутствует, это вроде как называется partial_fit и существует далеко не для всех моделей.
Есть ли такая возможность для моделей keras?
> сравнивай векторслова в фразе со словами в искомой фразе. Чем меньше евклидовое расстояние, тем вероятнее что ближе по смыслу.
Какая же тупая хуйня.
"Курсы ро глубокому обучению" близко к "Курсы по глубокому", что близко к "Курсы по глубокому минету". И все у вас в маньшинлернинге так.
Ты че, деб. Тут никакого глубокого обучения нет. Я предложил самый быстрый способ без хуйни.
Просто загугли "керас слхранять веса"
Потому что российский перевод сосет самый большой эклер в мире. И нет, игру сделали в стране победившего коммунизма.
Венесуэла
Дайте хотябы один нормальный пример кода lstm на tensorflow. Почему в доках его нет?
Возьми keras
Не в жизни.
> Потому что российский перевод сосет самый большой эклер в мире
Все настолько плохо? Ну даже если так другого выбора кроме как русиш у меня нет.
> Венесуэла
Не верю.
как a simple-but-tough-to-beat-baseline сгодится, можно еще tf-idf поверх навернуть
ты все-таки абсолютно тупой и вообще в машобе не разбираешься, вектора у "обучению" и "минету" будут сильно различаться, так как используются в абсолютно разных контекстах, и косинусное расстояние будет большим.
>и косинусное расстояние будет большим
А теперь разбирающийся исключительно в маньшинлернинге митрофанушка идет гуглить что такое расстояние и почему для расстояния, да еще и в эвклидовом пространстве не может быть такого что x близко к y, y близко к z, но x далеко от z.
Какое-же шизанутое говно этот ваш seq2seq. Даже марков лучше генерит.
>первое , что у вас в июле 2015 года осенью осени , осень – лето . любимое лето – это лето . в июне года осенью 2015 года у меня уже было лето . в декабре 2015 года у меня начались приливы , головные боли , мигрень , приливы , сердцебиение , приливы , головная боль , приливы жара . сон стал крепким , потом чувствую облегчение . <unk> дома , пью пустырник , пустырник , пустырник . все приливы были очень сильные . приливы начались внезапно , ночью 10 мин . утром , потом . . ночной сон , приливы 42 дня . приливы , <unk> , приливы . у меня скоро один час приливы - приливы . приливы . приливы , нервные расстройства и приливы . изредка приливы всё ещё проходили . приливы . приливы , мы спали ночью . приливы был более ровным .
>первое , что у вас в июле 2015 года осенью осени , осень – лето . любимое лето – это лето . в июне года осенью 2015 года у меня уже было лето . в декабре 2015 года у меня начались приливы , головные боли , мигрень , приливы , сердцебиение , приливы , головная боль , приливы жара . сон стал крепким , потом чувствую облегчение . <unk> дома , пью пустырник , пустырник , пустырник . все приливы были очень сильные . приливы начались внезапно , ночью 10 мин . утром , потом . . ночной сон , приливы 42 дня . приливы , <unk> , приливы . у меня скоро один час приливы - приливы . приливы . приливы , нервные расстройства и приливы . изредка приливы всё ещё проходили . приливы . приливы , мы спали ночью . приливы был более ровным .
>seq2seq
НЛП это тебе не хуету на митапах задвигать и графики показывать, тут видно сразу, что ниработает. Хотя для аналитических говноязыков типа англопараши, результат может быть чуточку лучше.
Извините за грубость, но я понять не могу нахуя создавать тред с ссылками на англ ресурсы при условий что только 6% жителей России владеют английским языком? Это все для того, чтобы оп потешил свое чсв по типу смарите ряя на пендоских сайтиках сижу пержу шарю?
>только 6% жителей России
Сам считал?
Хочешь изучать технологии - владей английским. Это минимальное требование вообще для того чтобы считаться человеком.
Русские люди имеют лучшее в мире образование и понимают, что машинленинх это хуета, а англофоны туповатые по природе, им можно нести дичь.
>изучать технологии
>жрать говна в джва раза больше
Мань, английский не нужен
Не думаю, что существа не понимающие английский, вообще являются разумными.
Бугурт англодебилов ИТТ доставляет
Тут надо ОЧЕНЬ много текстов. Тогда она не только текст будет генерить, а еще пояснять за содержание текстов и в принципе правильно и осмысленно отвечать на вопросы.
Есть переводчики онлайн, нет, хотим жрать говно и учить недоязык в 2к19
>правильно и осмысленно отвечать на вопросы.
Ловите наркомана
> Не хочешь жрать аналитическое говно с ебанутой орфографией
> ррряя ниразумин!
Мы тебя поняли.
Иди гугли системы Вопрос-Ответ и как seq2seq там можно применить.
>Иди гугли системы Вопрос-Ответ
А ты смешной, в каком классе учишься?
>ебанутой орфографией
>недоязык
Ты прав
>seq2seq
>секель2секель
Русская версия
> щекель2щекель
Еврейская версия.
Статистика гласит 11% но я сократил до 6% ибо 11% это накрутка. Загуглить можешь и сам.
И как эта пропаганда так хорошо работает? Русский в интернет сегменте занимает второе место если чо.
Мне лично интересна данная тема машинного обучения и я нашел по ней множество книг/видео на русском языке. Почему ОП решил что если на английском то это сразу лучше? И да даже при убитой образовательной системе каким-то чудным божественным образом в России порой бывают очень умные люди настоящие гений. Возможно весь секрет в 47 хромосоме которая является частицей бога. Святой завет Инвгелиа второго
Речь идет о публикациях, а не мемесах. Самый образованный народ в мире не может осилить язык на который требуется от силы пара месяцев. Страдания быдла которое терпит пока ему переведут то что десять раз устареет - бесценны.
Семенчик, ну успокойся, попроси старших чтоб они помогли тебе домашнее задание сделать по английскому.
Виликое AI посчитало, верь.
Тот школьник хотел сказать следующее, есть Болонская система образования у подпендохенов, где нужно высирать определенное количество статей в год, вот всевозможные профессора философии и срут паперами, бесмыссленными и беспощадными, состоящих из воды и говна, но этих паперов овердохуя и у школьников создаются некоторые иллюзии.
>то что десять раз устареет
Тоесть если не читать, ничего не потеряешь? Ох лол
Очередной раз блевада опросила косарь бабок из Подмосковья? Охуенно.
Ты ещё не забывай, в каком разделе сидишь.
>второе место
Хорошо. Разрыв с первым местом какой? Целый порядок? Вероятность нахождения более-менее адекватного контента выше.
Книга на русском указана в шапке. Там же, блять, написано, что в ней охват уже.
>я нашел по ней множество книг/видео на русском языке
Я тебя поздравляю. Сколько из них перевод оригиналов от издательств о'райли и проч?
И с чего ты взял, что шапка должна содержать что-то большее? Её и так не читают нихуя
>в России порой бывают очень умные люди настоящие гений
Это ты сюда нахуя приплёл?
>Извините за грубость, но я понять не могу нахуя создавать тред с ссылками на англ ресурсы при условий что только 6% жителей России владеют английским языком?
Среди специалистов по машобу 100% владеет английским языком, а среди посетителей /pr/, думаю, процентов 80.
>Мне лично интересна данная тема машинного обучения и я нашел по ней множество книг/видео на русском языке
Например? Я знаю книгу Николенко, она у опа есть. В основном пересказы любителями
Математика это пучкообразный способ представления мышления
Да там и было 400к статей на ОДНУ тематику. 5 гигов в utf8. Обучал до плато, а в итоге ПРИЛИВЫ ПРИЛИВЫ ПРИЛИВЫ 2015 ОСЕНЬ ЗИМА ЛЕТО ПРИЛИВЫ ПРИЛИВЫ
тематика была "климакс"
Похоже тебе регуляризации не хватает
>климакс
Лол, какой дебил вот решил, что можно захуярить статистичаские методы распознавания текста у нормальных языеов? Я понимаю, там англоговно или токипона какая то, но бля язык с флексиями и свободным порядком слов?
Мне на архиве в пейперах обещали "state of art" language modelling и machine translation. В том числе русского и китайского языка. А даже если модель не скатывается в самоповторы, на стейт оф арт не тянет
>очень важным фактом является осуществление пропуска первого часа день, в среднем час – (не более 10 часов) и закончился (на протяжении суток, не менее 6 часов), в продолжительность от 16 до 16 часов.
>в отличие от непрерывного непрерывного перерыва, как правило, в течение 10 дней, были скудные менструальноподобные выделения. но если это происходит ночью, возможно, у вас проявились различные отклонения в половой сфере.
>при этом нормализуется общее состояние организма, состояние здоровья, работоспособность, жизнь, психическое развитие женщины, эмоциональное напряжение и бодрость.
>однако при длительном приеме лекарств, тяжелых гормональных расстройствах женщины проявляются следующими симптомами:
>для замены препарата на новые половые органы и применение лекарств на менструальный цикл следует отнестись как можно скорее.
>принимаю витамины, в отличие от синтетических гормонов, такие как «йодомарин», «парацетамол», «фенюльс», «велаксин», «мифегин» и другими.
>такой сон является замечательным антиоксидантом и не препарат, обладающее высокой целительной силой. однако при этот корректировке должны вас подчеркнуть следующие практические правила:
>в результате в плазме крови содержится натрия цитрат, который экскретируется в полости матки и синтезируется с помощью гормонов серотонина, прогестерона и пролактина.
>также в течение 5 дней после полового акта рекомендуется тщательно соблюдать диету для усиления эффекта, уменьшив дозировку. или дополнительное употребление та же железа.
>ничего страшного в этом не случится, но налаживают курс. если же женщина один, то ей необходимо пройти полное обследование и пройти необходимое обследование.
>помимо этого, если у вас имеются явные симптомы нарушений в балансе гормонов, необходимо выявить причину нарушений в организме, а также исключить факторы, способствующие развитию патологии в первой половине менструального цикла.
>следует отметить, что в последние годы жизни многие врачи не использовали гормональные лекарства в качестве женского препарата для нормализации цикла.
>эта ситуация требует тщательного рассмотрения.
>каждый человек должен помнить об этом. что касается запретов, то упаковка из них похожа на средство в виде таблеток или раствора для приема внутрь.
>другой вопрос, как долго же пить противозачаточные таблетки, волнует многих женщин. причем, они должны быть максимально приближенными к своему здоровью и самочувствию. так как некоторые женщины утверждают, что если у вас продолжаются зуд и жжение во влагалище, это может вполне возможно.
>а при появлении, как и у любого другого. как правило, они носят временный характер и устраняют не только на собственном здоровье, но и на здоровье ее сопутствующих заболеваний:
>поэтому женщине стоит часто использовать средства на основе прогестагенов в этом случае. иногда перед употреблением нужно показаться врачу и пройти курс лечения девочке.
>поскольку прогестины и андрогены имеют ряд побочных эффектов, его может проводиться в течение 2 дней после окончания менструации. считается, что при приеме подобной еды некоторые женщины отказываются от приема противозачаточных уколов.
>другие существующие побочные явления, а также побочные реакции, основанные на взаимодействии гормональных таблеток с гормональными препаратами:
>наиболее распространенные побочные реакции как некоторые из побочных эффектов, которые проявляются в первые дни цикла. кроме этого, возможны и негативные реакции.
>первое правило, что общее состояние «идет», это проявляется появлением болей, зуда и жжения ночью.
>в подавляющем большинстве случаев отмечается более сильный эффект от использования «канцерогенными» препарата:
>во время курса нужно принимать обезболивающие препараты.
>в некоторых случаях лечение будет долгим и сложным. однако)
>но в отличие от других контрацептивов, по отзывам, применимо к более щадящим в отношении менструальных выделений. здесь целесообразно задумываться о том, как искусственно принимать «тайм-фактор», чтобы не усугубить состояние.
>основными симптомами, сопровождающими подобную симптоматику, являются:
>если же заболевания стоит лечить, что бы облегчить состояние, необходимо срочно:
>в случае лечения, нужно строго соблюдать рекомендации врача, если в дальнейшем проходит курс противоклимактерических средств или же в полной мере.
>при выявлении аллергии на газообразующих продуктах или лекарственных препаратах, нужно обязательно проконсультироваться с врачом.
>внимание: перепутать действие препарата на биологические гормоны, которые применяются с целью купирования болевого синдрома внизу живота, в височной области. при этом важно соблюдать постоянно сбалансированную диету: не употреблять фрукты, ягоды, готовить фрукты, рыбу и мясо, их рацион и витамины в обязательном порядке совмещены. в противном случае в больших дозах (меньше 60 мг) могут закончиться тяжелыми осложнениями и преждевременными родами, переломом желудка или желудка.
>в процессе лечения воспаления могут возникнуть: нежелательные реакции, боли внизу живота, беспричинные головные боли, сонливость, головокружения и вялость.
>среди основных показаний к применению «бронхоксол» можно выделить:
>гинекологи же выделяют следующие рекомендации о том, как снизить риск возникновения такого явления:
>как показывает практика, врачи считают, что данное состояние является нормой, а желудок воспринимает их как лекарство, так и неприятный побочный эффект наименьший.
>чаще всего <unk> речь может идти о наличии пропуска лекарственного средства. помимо этого, есть побочные эффекты (особенно при беременности), и побочные реакции должны быть разной: как в случае, так и в хронической форме.
>в состав средства «<unk>» входят вещества, входящие в состав средства для купирования симптоматики.
>в таких случаях, как правило, помогает прием гормональных препаратов – гестагенов и гестагенов.
>положительное влияние эстрогенов на организм женщины во время беременности
>наступление беременности бывает маловероятно при применении гормональных препаратов от беременности. в таком случае ее эффективность снижается от 99 и более ммоль/л.
>В том числе русского и китайского языка.
Лол
> Извините за грубость, но я понять не могу нахуя создавать тред с ссылками на англ ресурсы при условий что только 6% жителей России владеют английским языком?
Потому что на русском по этой теме, и по многим другим, кстати, нет нихуя. Так что как-то так вот, либо учишь английский, либо сосешь шляпу.
> Мань, английский не нужен
Бабке с семками у падика, вроде тебя? Да, не нужен.
и при чем тут это? расстояние будет просто большим между словами "минет" [0, 0, 100] и "обучение" [1,0,0], а вектор для "глубокое_обучение" [1,10,0] вообще будет близким к совершенно другим словам ("нейронки" [1,20,0] там какие-нибудь). Какую-то ерунду себе выдумает и сидит кукарекает.
Averaged word2vec (или tf-idf) как бейзлайн болеем-менее работает, зачастую лучше, быстрее и легче LDA или BigARTM.
Как же тяжко тебе по жизни придётся, без знания английского. Даже русские специалисты публикуются исключительно нём. Вся документация DeepPavlov, например, написана на ангельском.
На русском не заебашить себе кибервайфу на питоне.
>DeepPavlov
>Дип Хуявлов
неработоспособное грантоотсосное говно, еще Алису хуяндекса приплети
сегодня у нашего шизика стадия отрицания
Ну так ведь технология еще не готова и не обкатана. Я верю в ребят из МФТИ, они умные и работящие.
Со временем, возможно, выйдет что-то годное.
Дай свою почту. У тебя есть платье с чулками?
Гайз, там FindFace закрыли. (Поиск профиля ВК по фотке)
Есть какая-нибудь готовая либа с гитхаба для реализации похожего функционала?
Есть какая-нибудь готовая либа с гитхаба для реализации похожего функционала?
openface + faiss
на самом деле шизик в чем-то прав, 250 миллионов для лаборатории из пятнадцати студентов - многовато. Да и за два (?) года результаты не самые впечатляющие. NER на FactRuEval я и сам могу натренировать.
Анон, взлетит ли идея?
Алгоритм простой:
1. Заливаем в алгоритм через метод train две картинки, допустим, идентичные картинки, отличающиеся только тем, что в одной 2д-вагиня одета, а другой раздета.
2. Ищем разницу между цветами для каждого пикселя.
3. Записываем правила по типу "[x,y]=>#color", опять же для каждого пикселя.
4. Goto 1 n раз
5. Заливаем контрольную картинку в метод run, оголяем некую 2д-вагиню.
6. ????????????
7. PROFIT!!!!
Алгоритм простой:
1. Заливаем в алгоритм через метод train две картинки, допустим, идентичные картинки, отличающиеся только тем, что в одной 2д-вагиня одета, а другой раздета.
2. Ищем разницу между цветами для каждого пикселя.
3. Записываем правила по типу "[x,y]=>#color", опять же для каждого пикселя.
4. Goto 1 n раз
5. Заливаем контрольную картинку в метод run, оголяем некую 2д-вагиню.
6. ????????????
7. PROFIT!!!!
Пользуюсь гугл транслейт.
К тому же, большинство доков интуитивно приятны.
В итоге у тебя получится набор цветов, которые будут перекрашиваться в телесный цвет.
Что за метод train?
поезд, ты что, тупой?
Ты че, шизик, где ты это вообще делаешь и что означают эти методы и операторы.
Мы же
> "[x,y]=>#color"
делаем.
Т.е получается создаем вероятностную матрицу, где каждый пиксель - это вероятность того, что именно этот пиксель нужно окрасить в телесный цвет.
Я совершенно не понял нихуя, но если тебе нужно подсчитать по байесовской формуле, то надо считать ещё и с условием цвета всех остальных пикселей или какой-либо области.
А конкретнее?
с инглишом всё в порядке. Только вкатываюсь в ML
> надо считать ещё и с условием цвета всех остальных пикселей или какой-либо области.
Бессмысленно. Цвета по большому счету монотонны. Хуй определить где должен быть сосок, а где пупок.
> Я совершенно не понял нихуя
Проще говоря.
Записывается правило: если находим пиксель с координатами [х,у]=>окрашиваем его в цвет #color.
Это условности. Методы у класса в котором будут реализован алгоритм.
> train
Тренировать.
Что за хуйня тут у вас программируется, поясните кратко и по делу? Нахуй это учить надо?
В этом и смысл. Если сосок тама, то значит пупок тута, так как вероятность что это сосок почти нулевая. Но я всё равно не понял.
Спасибо. Анончики, какую книгу по ML читать для вкатывания в нейроночки? Или лучше библиотеки типа Pandas, keras, tf заботать?
> Нахуй это учить надо?
Что бы послать нахуй мясной мусор более эффективными алгоритмами. Робот>человек.
Но человек не работает на алгоритмах.
Keras - фреймворк для которого даже не нужно знать как работают нейроночки. TensorFlow - фреймворк для которого нужно знать как работают простые нейроночки и иметь терпение для бесконечной ебли с доками, которые просто хуйня. PyTorch - фреймворк человека.
Книги в шапке.
> Если сосок тама, то значит пупок тута, так как вероятность что это сосок почти нулевая
А как она определять то будет?
У меня то понятно, потому что если в каком-то пикселе часто встречается colorname то скорее всего в контрольной пикче этот же пиксель тоже надо окрасить в colorname.
Биологическая система - это математическая модель с примесью энтропии.
То есть твоя модель не устойчива к банальному изменению баланса белого. Так себе подход.
Двачую. Общество как и сам человек просто результат энтропии.
> То есть твоя модель не устойчива к банальному изменению баланса белого.
Не совсем понял.
Алгоритм не все пиксели при обучении сравнивает, а только те, что разнятся.
> все пиксели при обучении сравнивает
Не сравнивает, а добавляет в правила.
фикс
Смотри, суёшь пиксели в матрицу в одного измерение в качестве индекса, другое измерение нумируешь теми же пикселями, третее и четвертое измерения нумируешь цветами пикселей, а значения в матрице - P(1пиксель = color_n | 2пиксель = color_m). Всё считаешь по байесовской формуле. Я сейчас понял, что это пиздец какой затратный алгоритм.
Короче не еби мозг и бери unet, на вход одетую, на выход голую.
Твои маняидеи работать не будут
> Твои маняидеи работать не будут
Один раз сработали, и ахуенно сработали. Без движения не достигнешь вершины горы©.
> unet
Она же сверточная, вам ресурсов не жалко?
Главный ресурс это труд человека
Поэтому это самый дешёвый и легкодоступный ресурс?
Ну твой может быть и дешевый, а мой дорогой. Лучше пусть видюха попыхтит, чем я.
Учитывая, что никакие линейные относительно входных данных способы работать тут не будут, а твой подход, судя по всему, линейный
> труд человека
Нинужен. Человек зарплату требует, нахуй надо, нейронка эффективней и денех не требует.
Видюхи могут за неделю просадитьсумму равную зарплате топового саентиста за весь год пока он эту нейронку собирал.
Спасибо, я понял. А есть ещё какие-то интересные замечания по типу этих? Типа Kaggle - фигня и дроч по типу олимпиадного программирования для прыщавых нердов.
Бля двач я слизь и не могу даже вашу шапку осилить разобрать. Но побаловаться говном этим новомодным хочется. Дай плиз ссылку на самый туториал для даунов не знающих не матёши не питона этого. Прямо вот чтобы чёнить сделать, а потом, как обычно, забить нахуй.
Ты путаешь видюхи и облачные сервисы.
Еще бы нейронки умели обучать другие нейронки
На облачных сервисах тоже процессоры
https://www.hackerrank.com/challenges/saveprincess?hr_b=1
Есть решение этой задачи?
Не спрашивайте зачем, мне так реально проще.
Мне так, чтобы сориентироваться для решения последующих задач.
Есть решение этой задачи?
Не спрашивайте зачем, мне так реально проще.
Мне так, чтобы сориентироваться для решения последующих задач.
Аноны, подскажите как сделать в керасе несколько полносвязных скрытых слоев
Просто тупо прописать несколько раз model.add(layers.Dense(N, activation='tanh')) не выходит
Вроде как нужно прописывать return_sequences=True, но все равно ошибку выдает
Просто тупо прописать несколько раз model.add(layers.Dense(N, activation='tanh')) не выходит
Вроде как нужно прописывать return_sequences=True, но все равно ошибку выдает
Мм, ошибку выдает.
Эй, нейробляди, держите тушканчика
('Keyword argument not understood:', 'return_sequences')
В инете нашел только про несовместимость версий
Ты бы питон учил, а не нейронки. Нету у словя Dense параметра return_sequences, это про LSTM
Так в процессе и учу
В целом я так и понял, что этот параметр для LTSM или рекуррентных сетей, но как тогда сделать несколько полносвязных слоев?
https://keras.io/getting-started/sequential-model-guide/
Пример Multilayer Perceptron (MLP) for multi-class softmax classification
Можно и без дропаутов
Спасибо, почитаю
На Kaggle вполне реальные задачи.
Но датасеты там часто полное говно.
> unet
Погуглил. Эта хуйня есть обычный классификатор с координатами. Мне не это нужно.
Ты что-то не то нагуглил, если ее применяют для сегментации это не значит, что ее можно применять только для сегментации
А где эта библиотека на tfjs то?
В итоге меня все же прокинули
Потому что ты пидор
based and redpilled
Кинь свою телегу/почту. Быть может, у нас с тобой что-нибудь получится.
И чо из этого применяется для "аномали детектион" в чистом виде??
Классификация и регрессия понятно, но зачем они про аномали детектион пихнули?
Классификация и регрессия понятно, но зачем они про аномали детектион пихнули?
>осквернять аватарфаженьем лучшего персонажа
IsolationForest, говорящее название. Открыть методы и прочитать их описание не судьба?
>датасеты там часто полное говно
не настолько говно, как обычно в реальности
Ты снес почту? Если нет, то сделай ее на нормальном почтовике.
Короче. Я сейчас пишу кое-что и мне нужна помощь в качестве пояснения за тензорфлов. Когда идет сессия с нейроночкой и через градиентный спуск идет обучение, изменяются ли сразу веса переменных? Мне нужно оптимизировать один набор тензоров, а потом на выходе благодаря этим результатам оптимизации оптимизировать еще и второй набор. Еще такое необходимо, допустим у меня есть переменные, одну из них я хочу обучать с learning rate = 0.1, а другую допустим с learning rate = 3, при том что ошибка у них одна и вообще это часть одного графа. Как мне это сделать, не запуская вычисления дважды? Вопрос конечно чисто в рамках уменьшения вычислений, но возможно я что-то не так понимаю. Буду благодарен любой помощи и ссылке на доки.
Ахахпхаа. Годно)
Я сейчас вот подумал. А блять, пиздец. Как я найду датасет то для своей модели, если это подразумевается как ресерч и вообще никогда еще не было опробывано?
>Как я найду датасет
поищи в трудах Жопеншмульцера, у него много всего есть
Какие существуют альтернативу генетическому алгоритму?
Отжиг сойдёт?
Альтернатива в чем? Для максимизации функции стоимости - любой алгоритм оптимизации.
>Отжиг
Надо посмотреть, что это. В любом случае спасибо.
>любой алгоритм оптимизации.
А нейронные сети умеют решать задачу оптимизации?
Нейронные сети аппроксимируют любую задачу, а с задачей оптимизации еще и неплохо справляются.
*любой алгоритм
Знаю, чет меня понесло. Больше не буду
Каким образом это происходит, нейронная сеть же, насколько мне известно, может только обучиться какому-либо алгоритму оптимизации, если ей дать информацию на входы и на выходы.
А как она сама может это делать?
Но это, если не считать сеть Хопфилда, которая не очень эффективная.
Это же шутка?
мимопроходил.
Аутизм какой-то. На каждую неделю в качестве материала даются многомесячные онлайн курсы, которые еще и нельзя начать когда хочешь.
Сегодня впервые был на митапе машинлёнеров. И знаете что? Выглядит так что они просто знаю названия нескольких десятков алгоритмов и конфигураций сетей и последовательно пробуют их, выбирая наилучший результат. Примерно так это было: нейронка А не подошла, Б не подошла, поэтому я применил сняла А, потом Б и попал в топ-50 каггла. Какой-то особой научности я не заметил, просто дохуя новых терминов и сокращений, которые при желании можно изучить за пару месяцев.
> которые еще и нельзя начать когда хочешь.
Можно, просто ты тупой и не пройдешь.
Где митап проходил?
Далеко за мкадом.
Московская область.
Живу в деревне, но учусь в Москве
дядя Федор?
Вкатываюсь в нейроночки
Покаж гитхаб.
Где искать датасеты? Этот ваш убогий гугол датасет не даёт нифига.
Каггл же.
Аналогично
Есть датасет с картинками, ~25000; на каждой примерно по центру расположен Х локально достаточно однородный и фон тоже весьма однородный. (например это могли бы быть фотки пакета из ашана на грунтовой дороге лол). Для ~2000 картинок есть баундинг бокс выделяющий X. Как и что мне обучить чтобы повесить боксы и на остальные картинки?
Вообще мне кажется, что тут зашел бы EM алгоритм тупо: априори центр бокса распределен нормально, как-то и для размера его тоже распределение априорное прикинуть ну и учиться там на HOG фичах. (не уверен, что взлетит)
Но хочется разобраться с нейронками, как такое ими зарешать?
Вообще мне кажется, что тут зашел бы EM алгоритм тупо: априори центр бокса распределен нормально, как-то и для размера его тоже распределение априорное прикинуть ну и учиться там на HOG фичах. (не уверен, что взлетит)
Но хочется разобраться с нейронками, как такое ими зарешать?
ну или какое тут самое правильное решение вообще?
а какой тебе нужен
Есть Хаар, должен помочь
Крепёжные изделия, вид сверху (винтики, болтики)
Сделай сам ёпта
Да тут пол треда - дяди Фёдоры. Некоторые даже с котами и собаками
Да тут пол треда - дяди Фёдоры. Некоторые даже с котами и собаками
Похоже, придётся. И никуда не выложу, пусть страдают так же, как и я(
Смотри, если у тебя коммерческий проект, то делай как мы - нанимай стуентов-гуманитариев для сбора датасетов. Если же некоммерческий то ты нахуй никому не нужен.
>нанимай стуентов-гуманитариев для сбора датасетов
245 УК РФ.
Проиграл, спасибо
Малобюджетный, придётся самому. Сколько фоточек наснять необходимо, если стоит задача классификации на 4 класса?
>Какой-то особой научности я не заметил
Немудрено, ведь там нет никакой науки, чисто мартыханская деятельность. Как ты и описал.
Такой вопрос у меня, как у обывателя:
В чем несовершенство нейронных сетей и искусственного интеллекта на данный момент? Прошу, пожалуйста, изложите свою мысль детально.
Хочу связать свое будущее с этим, но пока не уверен и хочу знать о минусах, так как я, прежде всего, во всем ищу только минусы.
В чем несовершенство нейронных сетей и искусственного интеллекта на данный момент? Прошу, пожалуйста, изложите свою мысль детально.
Хочу связать свое будущее с этим, но пока не уверен и хочу знать о минусах, так как я, прежде всего, во всем ищу только минусы.
>В чем несовершенство нейронных сетей и искусственного интеллекта на данный момент?
В том, что это одно не относится напрямую к другому? В том, что ты не понимаешь, что это такое? В том, что ты ждешь, что тебе в готовом виде кто-то информацию разложит?
Еб твою мать, ну сука, открой ты книгу Бишопа или Мёрфи.
Я и не утверждал, что это одно и то же. В общем-то, ты меня неправильно понял. Разве в этой книге описаны проблемы нейронных сетей? Их несовершенство и т.п. Если да, завтра гляну обязательно.
Делай файнтюнинг какого-нибудь детектора с агрессивными аугментациями. Если эти 2000 картинок более-менее репрезентативны для всего датасета, то должно зайти.
> В чем несовершенство нейронных сетей
В том, что это асимптотическиоптимальные алгоритмы, т.е они не рассчитаны на конечность датасета. Отсюда все минусы.
>никто в мире не понимает какконкретно работают все эти структуры, максимум математическое доказательство
>ошибка всё ещё существует, хотя и всего пара процентов
>никто не знает как сделать обучение как у человека, поэтому для поиска глобального минимума будут крутиться тпу несколько недель вжирая десятки тысяч долларов
>алгоритм не является на самом деле более чем аппроксимацией функции и аппроксимации программы для лстм
>ресерч не настолько выгоден, как ты думаешь
>вайфу на десктоп уже сделали до тебя
>когнитивная психология - дно ебаное, нейробиологи не знают на че смотрят вообще
Нужен датасет чтобы в нем были классы и слова его описывающие. Например {стол: [деревянный, прямоугольный], медведь: [животоне, бурый]}
Подскажите че.
Подскажите че.
> никто в мире не понимает какконкретно работают все эти структуры, максимум математическое доказательство
Маня, математическое доказательство это и есть понимание, "как работает".
Вчера засыпал и думал про такой же датасет. Найдешь - скажи
Покажи мне это доказательство и я поясню тебе почему ты не прав.
>как работает
И как? Нейронорабам нужно пидорнуть математиков на парашу, где им самое место и полностью пересмотреть свою концепцию.
Дебилок, нейроночки начались с попытки применить матлогику к функционалу биологических нейронов. Я понимаю, что ты не слышал про работу макКаллока и Питтса 1943 года, но хоть про Розенблатта должен бы знать. Убрать математику из машоба это примерно как убрать биологию из биологии, медицину из медицины итд.
>матлогику к функционалу биологических нейронов
Лол, я же говорю, что пидорить маняматиков нахуй. Еще сакажи, что у живих существ мозг работает в двоичном или десятичном исислении.
>макКаллока и Питтса 1943 года, но хоть про Розенблатта
Ноунеймы уровня Жопеншмульцера
> Ноунеймы уровня Жопеншмульцера
Для дебилоида без мозгов - безусловно. Ты и сам понимаешь, что твои кукареканья ничего не стоят, кукарекаешь ты просто из-за своего школьничества, безотносительно реального возраста. Хотя бы потому, что тебе нечего предложить вместо того, что ты "критикуешь" из-за неосиляторства. Ты ж просто папуас из северной Нигерии и сам прекрасно это понимаешь.
Чтд, ты даже не знаешь о существовании математического доказательства.
А сейчас ты мне показываешь нейросеть находящую все светофоры на пикче. Я жду.
макКаллок, Питтс или Розенблатт на пикриле?
возможно, вы хотите онтологию (только на практике они кривые и вечно недоделанные, описывающих слов обычно за исключением гипонимов нет)
http://www.labinform.ru/pub/ruthes/te/13/004/117079.htm
https://www.wikidata.org
dbpedia.org
http://wordnetweb.princeton.edu/perl/webwn?o2=&o0=1&o8=1&o1=1&o7=&o5=&o9=&o6=&o3=&o4=&s=bear&i=1&h=100000000000000000#c
поэтому легче запилить свое решение на синтаксическом парсере + определение частей речи (или вообще word2vec + pymorphy2)
Какой же ты дебил, пиздец. Даже на фоне окружающей фауны. Коллектором не пробовал работать? Там обычно звонари примерно твоего уровня. Попробуй, вдруг это как раз то, что ты искал всегда.
>кококо МакКаллок, Питтс или Розенблатт все доказали111
>но я вам нипакажу, покпокпок, кудахкудахтахтах
ясно
https://www.youtube.com/watch?v=8jfscFuP_9k
распознать светофор (особенно красный) вообще-то сложная проблема, так как отличить от задних фонарей машин можно лишь по контексту
>вообще-то сложная проблема, так как отличить от задних фонарей машин можно лишь по контексту
Никто не спорит, что сложно, но также адептам следует признать, что современные подходы неработосбособны.
Лолблять. Сам нихуя не понимает и выёбывается. Доказательство нейронных сетей где?
Тред необратимо инфицирован быдлом, которое с упорством шизофреника лезет рассказывать про то что математика не нужна, нейроночки не нужны, диплернинг не нужен, все вокруг или смузихлебы, или маняматики, а единственный способ вкатиться это неосилить и гореть от этого каждый тред.
Предлагаю игнорировать любые посты, если они не относятся к проекту над которым человек работает, или без ссылки на пейпер/пример, который или тематику которого человек хочет обсудить. Все "обывательские" вопросы сразу после прочтения хотя бы вступления во что-то из шапки.
Предлагаю игнорировать любые посты, если они не относятся к проекту над которым человек работает, или без ссылки на пейпер/пример, который или тематику которого человек хочет обсудить. Все "обывательские" вопросы сразу после прочтения хотя бы вступления во что-то из шапки.
Лмао. Шизик выдвигает правила.
>вообще-то сложная проблема
Там же три идеальных кругляка друг над другом. Если на один цвет смотреть, то конечно не распознаешь.
>Предлагаю игнорировать любые посты, если они не относятся к проекту над которым человек работает,
Ну так тебя первого игнорировать и нужно, ты же не показал свои проекты.
>пейпер
Манятеория нинужна.
>что математика не нужна
Что там математики полезного за последнее время сделали?
>Там же три идеальных кругляка друг над другом.
Это если не под углом смотреть, а с фронта.
Можно ли научить нейронку составлять модель, которая смогла бы объяснить то, что происходит на видео и предсказывать?
Например, если обычной нейронке показать несколько обьектов, что не касаются друг-друга напрямую, но при этом влияют друг на друга, то она будет просто запоминать их состояние и пытаться искать закономерности.
А я хочу, чтобы она выделила новую сущность Или несколько и пыталась понять, как изменение состояния одного объекта влияет на неё и как она влияет на другой объект.
Надеюсь, что из моей косноязычной шизофазии вы что-то поняли, это имеет смысл?
Например, если обычной нейронке показать несколько обьектов, что не касаются друг-друга напрямую, но при этом влияют друг на друга, то она будет просто запоминать их состояние и пытаться искать закономерности.
А я хочу, чтобы она выделила новую сущность Или несколько и пыталась понять, как изменение состояния одного объекта влияет на неё и как она влияет на другой объект.
Надеюсь, что из моей косноязычной шизофазии вы что-то поняли, это имеет смысл?
Так гугол вроде делал такие нейронки, в которых там объясняют что на видео происходит.
Что происходит - можно. Предсказать - нет если это не что-то шаблонное
Что конкретно хочешь?
Я видел только инфу об этом.
https://www.csail.mit.edu/news/creating-videos-future
У меня движение воздушных потоков, хочу, чтобы нейросеть смогла бы предсказать, как будут себя вести объекты, помещённые за лопастями, форма которых может варьироваться.
По факту мне надо только узнать, какая сила, в какой момент и в каком направлении будет прикладываться.
> У меня движение воздушных потоков, хочу, чтобы нейросеть смогла бы предсказать, как будут себя вести объекты, помещённые за лопастями, форма которых может варьироваться.
Т.е тебе нужна физическая симуляция динамики газовых потоков, лопастей и всего такого. И как ты дошёл до мысли использовать для этого машоб? Какие-нибудь профильные CADы типа nastran уже не в моде?
> быдло быдло было непонемает ничево
Попку твою впечатленную наупопом порвали? Бывает, ты не растраивайся.
если разрешение низкое (а оно низкое, если у тебя не нвидиа теслаЧ100), то очень похоже на задние фонари машин.
Гей Маркус, из статьи которого твоя картинка, никчемный рак еще похуже Сираджа, только самопиаром занимается.
Покатились, упыри
Если только 2-3 задачи можешь решить, нахуй тебе машоб? Задачи там отсевные, отделить имбецилов от идиотов. Весь машоб состоит в задачах на смекалочку, только гораздо сложнее и с применением инструментов вышмата.
Продолжаем спрашивать очевидные вещи, о которых знает любой индус, прочитавший хоть одну книгу по машобу.
FAQ:
Я ничего не понимаю, что делать? Либо в тупую import slesarplow as sp по туториалам, либо идти изучать математику курсы MIT тебе в помощь. Не нужно засирать тред вопросами типа "что такое сигма?".
Какая математика используется? В основном линейная алгебра, теорвер и матстат, базовый матан calculus многих переменных.
Что почитать для вкатывания? http://www.deeplearningbook.org/ | Николенко и др. "Глубокое обучение" На русском, есть примеры, но уже охват материала
В чем практиковаться нубу? http://www.deeplearning.net/tutorial/ | https://www.hackerrank.com/domains/ai | https://github.com/pytorch/examples
Где набрать первый самостоятельный опыт? https://www.kaggle.com/ | http://mltrainings.ru/
Где работать? https://www.indeed.com/q-deep-learning-jobs.html
Где узнать последние новости? https://www.reddit.com/r/MachineLearning/ | http://www.datatau.com/ На реддите также есть хороший ФЭК для вкатывающихся
Где посмотреть последние статьи? http://www.arxiv-sanity.com/
Где ещё можно поговорить про анализ данных? http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека? Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. Иначе выгоднее вложиться в 1080Ti или Titan X.
Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/
Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Архивач:
http://arhivach.tk/thread/407566/
Остальные в предыдущих тредах
Там же можно найти треды 2016-2017 гг. по поиску "machine learning" и "НЕЙРОНОЧКИ & МАШОБЧИК"
Предыдущий тред: