> Что почитать для вкатывания?
> http://www.deeplearningbook.org/
Сладкий хлеб. Тайдмены это читают, а потом идут сюда спрашивать чем в датасете х от у отличается.
>чем в датасете х от у отличается.
спасибо, проиграл
мимо-вкатыш
Трясунишки в штанишках, приветики! Как делишки, как ваши котики?
Где посмотреть соты последних 6-7 месяцев? (в computer vision)
А то выпал на какое-то время и теперь не понимаю, где индусское говно, сделанное ради статьи, а где реально работающие модельки.
А то выпал на какое-то время и теперь не понимаю, где индусское говно, сделанное ради статьи, а где реально работающие модельки.
Вот примерно про такое я и говорил. На гитхабе по 500 звезд, кроме статьи и гитхаба ничего интересного в гугле не находится (обычно есть миллионы пересказов статьи на медиуме).
Эх, вот бы ещё суммаризацию статей запилили (как абстракт типа но с большими техническими подробностями)
Чтоб можно было вообще ничего не читать, ходить выёбываться чисто)
Ребят, объясните как у вас рабочий день происходит?
Что записано в логе ? с 9 до 17 изучал новости SOTA, а с 17 до 18 запилил модельку?
Мне страшно интересно почему все обсуждения в треде либо о последних sota либо вкатывальщики не понимают простейших вещей.
Что записано в логе ? с 9 до 17 изучал новости SOTA, а с 17 до 18 запилил модельку?
Мне страшно интересно почему все обсуждения в треде либо о последних sota либо вкатывальщики не понимают простейших вещей.
Встаю в шесть, зарядка, потом наминаю свои датасаентистские мошонки минут десять, на завтрак блины или каша с маслом или творог с маслом или блины с маслом или просто масло
дрочу модельки гридсёрчем часа два, перед обедом планирование и ёбля в жопу после обеда расстрел
смыть повторить
Может ли сейчас AI, созданный в ходе Deep Learning, создавать другие AI на основе Reinforcement learning? Это пример AutoML?
Да, и такого уже много было. Например, AlphaZero создал GPT-3, а сам он был оптимизирован Ватсоном.
>AlphaZero создал GPT-3
Что? Они никак не связаны. Да GPT-3 на основе DL, а не RL
Да это местный шиз-зумер. Там CapsuleNet Хинтона была, а не AlphaZero. Обучали dynamic routing'ом.
Не знаешь, так зачем рот раскрывать? Сиди и учись.
CapsuleNet там использовалась только для инициализации весов, и то только первых 384 слоев. После этого оптимизировали сеть алгоритмом HyperNEAT. Валидацию делали через CycleGAN.
Гугли по этой теме meta-supervised self-learning, control and alignment problem.
Пацаны мемят, но вообще никто эти охуительные архитектуры на сотни миллиардов параметров вручную конечно же не подбирает.
Подбор осуществляется с помощью других алгоритмов (того же rl или генетических) которые при желании можно назвать AI.
Подбор осуществляется с помощью других алгоритмов (того же rl или генетических) которые при желании можно назвать AI.
Можешь что угодно назвать AI, все равно это бессмысленный термин для наебки бизнеса. Ну и для всяких шизоидов-киберпанков.
У GPT-3 интеллекта точно больше, чем у среднего зумера
Ну так чем кнн от кминс капсульнет от альфазеро отличается, разобрался уже, тайдмен?
> Можешь что угодно назвать AI, все равно это бессмысленный термин для наебки бизнеса. Ну и для всяких шизоидов-киберпанков.
С точки зрения долбаеба - безусловно. Ты же даже не знаешь, почему алгоритмы машоба к слабому АИ относят, а что-то кукарекаешь.
>слабому АИ
Тебя кто из китайской комнаты выпустил, ископаемое?
> китайской комнаты
Фуфлосовия от пиздабола, не понимающего предметной области. Смешно, что до сих пор кто-то верует во кетайские комнаты, фуфлосовских / бихевиоральных зомби и прочую клоунаду, доказывающую только ограниченность авторов этих маняидей.
>техническими подробностями
Эт нужно кучу людей, которые бы рерайтили статьи. У одс вроде есть каждый месяц примерно такой обзор новых статей. Хочешь быть полезным - пили сам
Что такое интеллект?
> Что такое интеллект?
Фуфлософский термин. Машоб это решение задач. Если алгоритм может решить задачу, которую до него решал только человек с интеллектом, то такой алгоритм относится к слабому АИ.
Странно, что в 2020 кто-то не понимает разницы между какими-то отвлеченными религиозными вопросами и решением задач. Вопросы типа "что такое интеллект / благодать божия / душа" не имеют никакого отношения к решению практических задач, с точки зрения такового решения можно говорить только о чем-то решающим ту же задачу, которую может решить "интеллект". Например, даже распознавание котов или негров. Важный момент - для этого не нужно отвечать на вопрос "что есть интеллект?"
Засчитываю слив.
К чему ты это спизданул? Мы тут вроде не задачи решаем, а обсуждаем отвлеченные вопросы.
Взял и приравнял интеллект к душе/благодати, ты официально недообученный перцептрон.
>решению практических задач
Слесарь, усмири пукич-какич, пафос "решения задач" оставь для собеседований где ты перед кабанчиком плясать будешь чтоб тебя взяли служить за гроши.
> Взял и приравнял интеллект к душе/благодати,
В чем разница?
Как думаете, что нужно добавить, изменить? Реквестирую советы по повышению скорости кодирования видео.
https://colab.research.google.com/drive/1DwsBbRiwYnymEePzcNOpWZ8kwk2_EHwg?usp=sharing
Вся жопа ссексилась блядь
бля не туда
Насколько серьезные нейросети можно создавать с матлабом? Вкатился пару дней назад, прошел их вводный курс Onramp, очень понравилось
Тебя за такое в нормальном месте обоссут, учи питон.
По хорошему, надо бы с питоном обоссывать.
Почему?
Забей и учи питон. Через 5 лет отблагодаришь
95% участников треда могут быть заменены нейронкой в 950 гигабайт
https://twitter.com/mattshumer_/status/1287125015528341506
https://twitter.com/mattshumer_/status/1287125015528341506
На самом деле 95% хайповых примеров работы GPT-3 результат старательного черрипикинга.
>черрипикинга
Что это?
надо полагать, мануальный подбор удачных примеров
Добрый вечер. Подскажите, что годного можно почитать на тему временных рядов? Желательно "с нуля". Спасибо.
пысы
Сам я нашёл вот это
https://otexts.com/fpp2/index.html
Но это слишком объёмно.
Есть что-то более сжатое, страниц не более чем на 50, чтобы по-бырому изучить тему (для собеса)?
На самом деле я кинул не особо поскроллив, там не так уж и много. Простите за щитпостинг.
Дано векторное пространство многочленов степени n <= 1. "Формула" такого многочлена: Y = k•X + b.
Правило формирования базиса: по коэффициенту k и b.
Я правильно понимаю, что базисом данного пр-ва будет множество векторов {(1, 0), (0,1)}?
Получается линейная комбинация: (k•1, k•0) + (b•0, b•1) = (k, b).
Правило формирования базиса: по коэффициенту k и b.
Я правильно понимаю, что базисом данного пр-ва будет множество векторов {(1, 0), (0,1)}?
Получается линейная комбинация: (k•1, k•0) + (b•0, b•1) = (k, b).
Короче обучил распознаватель пизды. Но есть одна проблема (на пике). Использую метод Виолы-Джонса.
Реквестирую советы, как улучшить качество распознавания. Хитрости, уловки, или новые методы.
Реквестирую советы, как улучшить качество распознавания. Хитрости, уловки, или новые методы.
Ты лет 5 вообще из бункера не вылезал, да?
Поподробнее можно
Вопрос по линалу, буду благодарен. Нужно найти расстояние между двумя функциями.
1. Бесконечномерный вариант: находим норму от разности. Т.е. сначала находим разность функций, затем берем интеграл (на [0, 1]), возводим в квадрат и извлекаем корень.
2. Конечномерный вариант с n размерностью. Если наши функции дискретные (оцифрованные), то вместо интегральной нормы юзаем сеточную: вычисляем разность между значениями функций n раз (на выходе n векторов) на промежутке [0, 1]. Затем по формуле сеточной нормы: каждую разность возводим в квадрат, все складываем и извлекаем квадратный корень, получаем сеточную норму.
Проблема в том, что нормы под п.1 и 2 численно не совпадают. Для совпадения нужно норму из п.2 разделить на sqrt(n). Почему? Зачем? Инструктор называет это "нормировкой, чтобы нормы совпали", но смысл не объясняет. Ничего не гуглится, в формулах сеточной нормы никакого разделения на sqrt(n) нет.
1. Бесконечномерный вариант: находим норму от разности. Т.е. сначала находим разность функций, затем берем интеграл (на [0, 1]), возводим в квадрат и извлекаем корень.
2. Конечномерный вариант с n размерностью. Если наши функции дискретные (оцифрованные), то вместо интегральной нормы юзаем сеточную: вычисляем разность между значениями функций n раз (на выходе n векторов) на промежутке [0, 1]. Затем по формуле сеточной нормы: каждую разность возводим в квадрат, все складываем и извлекаем квадратный корень, получаем сеточную норму.
Проблема в том, что нормы под п.1 и 2 численно не совпадают. Для совпадения нужно норму из п.2 разделить на sqrt(n). Почему? Зачем? Инструктор называет это "нормировкой, чтобы нормы совпали", но смысл не объясняет. Ничего не гуглится, в формулах сеточной нормы никакого разделения на sqrt(n) нет.
> The Elements of Statistical Learning
> Pattern Recognition and Machine Learning
Недавно вышли на русском. Есть у кого?
>метод Виолы-Джонса
Поменяй на что-нибудь из семейства R-CNN. Ну или на YOLO.
Ну потому что ты считаешь RMSE, чтобы получить root-MEAN-square error нужно поделить на n (ну или потом на sqrt(n)). Иначе у тебя при увеличении n будет увеличиваться расстояние между функциями.
Попробуй сам посчитать расстояние для f(x) = 0 и g(x) = 1.
Спасибо!
Пацаны, хуле так сложно? Вообще ни слова не понимаю.
Для напиливания хотя бы самой простецкой нейронки мне хватит ресурсов, которые в шапке указаны?
Чиста для себя, побаловаться
Для напиливания хотя бы самой простецкой нейронки мне хватит ресурсов, которые в шапке указаны?
Чиста для себя, побаловаться
Хватит.
> Т.е. сначала находим разность функций, затем берем интеграл (на [0, 1]), возводим в квадрат и извлекаем корень.
Неправильно. Ты находишь разность функций, возводишь ее в квадрат, и уже от этого берешь интеграл. Если делать как ты пишешь, у тебя в случае f(a)={0.5 при x < 0.5, -0.5 при x>0.5} и g(a)={-0.5 при x < 0.5, 0.5 при x>0.5} разность будет {1 при x < 0.5, -1 при x>0.5}, а интеграл у этой разности равен нулю, ноль в квадрате тоже ноль.
>Для совпадения нужно норму из п.2 разделить на sqrt(n). Почему? Зачем?
Потому что при дискретизации ты считаешь тот же самый интеграл из первого пункта методом прямоугольников https://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%BF%D1%80%D1%8F%D0%BC%D0%BE%D1%83%D0%B3%D0%BE%D0%BB%D1%8C%D0%BD%D0%B8%D0%BA%D0%BE%D0%B2
Интеграл - это площадь, у него размерность площади, высота прямоугольника f(x) умножить на ширину прямоугольника, и далее ты суммируешь каждый из n прямоугольников. Ширина (на пикрилейтед x_{i+1}+x_i) в твоем случае равна 1/n. Подумай о том, откуда берется dx в обозначении интеграла - это Δx при устремлении к n к бесконечности.
Дальше ты выносишь за скобки и вычисляешь корень, избавляясь от размерности площади, Δx=1/n превращается в 1/sqrt(n), под корнем остается сумма квадратов разностей двух функций.
Если же на n не делить, это все равно, что считать интеграл на промежутке не от [0, 1], а на [0, n], тогда Δх=1.
А вот так . Надо же создавать значимость.
в ажур вкатывайся https://docs.microsoft.com/en-us/azure/machine-learning/studio-module-reference/neural-network-regression
Машинистам кресты учить надо.
https://data.mail.ru/pages/research/
https://data.mail.ru/pages/research/
Нихуя не понимаю, почему predict у гридсёрча склёрновского отличается от предикта базовой модели с best_params_ ? Причём что на трейне что на тесте rmse у гридсёрча в разы лучше.
Типа предикт склёрна это усреднённый предикт пяти разных моделей на разных разбиениях кфолда или что?
Типа предикт склёрна это усреднённый предикт пяти разных моделей на разных разбиениях кфолда или что?
>предикт склёрна
гридсёрча
гридсёрча
Какие там у вас подвижки в исследованиях хуесосания?
Я не понимаю, ты голос нагенерил или что?
Разделил песню на вокальную и инструментальную партии
С чего лучше начать изучать нейронные сети?
Интересует обработка видео, фото, звука.
Питон более или менее знаю.
Сразу вопрос по велосипеду:
Реально ли написать самостроящуюся нейронную сеть, где веса нейронов, помимо связей, записаны числами, а рулежом сигнала использовать битовые операции?
Если такое уже изобретено, что за метод?
Интересует обработка видео, фото, звука.
Питон более или менее знаю.
Сразу вопрос по велосипеду:
Реально ли написать самостроящуюся нейронную сеть, где веса нейронов, помимо связей, записаны числами, а рулежом сигнала использовать битовые операции?
Если такое уже изобретено, что за метод?
> С чего лучше начать изучать нейронные сети?
Швабр. Там сотня статей про вкатывание. Самое сложное это выбрать какую-то одну. Читай все
> где веса нейронов записаны числами
Чувак, нейрон в базе своей выглядит как
f(Wb + E (Wi * Vi) )
Он и есть число. f это активационная функция: Relu, логистическая сигмоида, гипертангенс. Wb это базовое значение, Wi это вес связи нейрона с пред слоя, Vi это значение нейрона с пред слоя
Это всё числа. Ты о чём?
Начать лучше с cs231n
>где веса нейронов, помимо связей, записаны числами
Что
>а рулежом сигнала использовать битовые операции?
Битовые операции слабо совместимы с градиентами, выбери для начала что-то более гладкое. Ты можешь бинаризовать уже обученную сеть, но обучать такую йобу эффективно не выйдет
Нейронов вообще не существует, это лишняя сущность. Базовая сущность любой нейронки в машобе (спайковую экзотику не берем) это умножение матрицы на вектор
Благодарю, буду ковырятсья
Ханк "Бизнес-прогнозирование" неплохая, разжевываются все базовые вещи, но она страниц 600
Зашёл к вам порассуждать над тупыми вопросами.
Почему сейчас все кличут нейронки ИИ?
Почему люди считают, что Маск умный и верят ему, хотя он несёт всякую хуйню, особенно опять про тот же ИИ?
бля с такими вопросами надо было наверное в б идти
Почему сейчас все кличут нейронки ИИ?
Почему люди считают, что Маск умный и верят ему, хотя он несёт всякую хуйню, особенно опять про тот же ИИ?
бля с такими вопросами надо было наверное в б идти
> Почему сейчас все кличут нейронки ИИ?
Потому что не знают что это
>нейронки ИИ
А то что сабжевое говно к нейроным клеткам а они в свою рчередь к интеллекту никакого отношения не имеют, тебя не смущает?
> к нейроным клеткам а они в свою рчередь к интеллекту
Ну конечно, петуху из нижнего интернета виднее, что имеет отношение к интеллекту, а что нет.
>что имеет отношение к интеллекту, а что нет.
Матанопетушея к этому тем более отношения не имеет. Идите хуесосание исследуйте, на большее вы не способны.
>Почему сейчас все кличут нейронки ИИ?
А почему нет? Любая нейронка являются частью какого-то AI-движка, и называть это все целиком нейронкой безграмотно, а термина лучше, чем AI, не существует. То, что при этом есть какие-то зануды, у которых AI это обязательно strong AI из мокрых снов Рея Бредбери - это проблема самих зануд. Впрочем, в разработках по strong AI нейронки (а точнее - коннекционизм) тоже магистральная линия, символисты-онанисты и прочие веруны в душу давно соснули.
>Почему люди считают, что Маск умный
Потому что он умный
> и верят ему
Потому что людям нужны герои.
Он пугает избирателей тех политиков, к которым пойдет лоббировать свои законы, о регулировании области ИИ. У него все бизнесы в той или иной степени ориентированы на работу с государством, что космос по очевидным причинам, что теслы (субсидии на электрокары), что метро его, в отличие от гуглофейсбуков, которым это самое государство как пятая нога, только мешает. Поэтому он прекрасно понимает, что миллиарды, вбуханные в электрокаровый AI в той же тесле будут быстро отреверсены китайцами и воспроизведены. И если гуглофейсбукам похуй, что за мелюзга там копошится на их разработках, то для Маска это пиздец. И я думаю это только часть айсберга, а вообще он нацелен на гонку вооружений в области AI, военные контракты, а для этого тоже нужно заявить что-то уровня "вы GPT-3 видели? Через 5 лет будет GPT-10 и вот он вас всех поработит".
На деле конечно за 5 лет он пролоббирует все, что нужно, и заявит, мол, хорошо, что я тогда человечество предупредил, а то бы ща пиздец был бы.
>Потому что людям нужны герои.
Но зачем?
Те группы обезьян, которые могли пойти за лидером, в итоге начали процветать, а одиночки вымерли, не выдержав конкуренции.
Интересно, просто я вроде не слышал особо, что у него проекты с ИИ есть, но видимо всё так как ты описал.
> веруны в душу давно соснули.
Веруны в душу сосут изначально, т.к этот манятермин никогда ничего не объяснял и практической пользы не имел. Это вообще хороший пример того как не надо делать. Современные долбаебы, придумывающие всякие "квалиа", идут ровно по тем же граблям - заменяют вопрос о сущности явления на explanatory fictions - манятермины, не только не объясняющие ничего, а вместо этого сами требующие объяснений и определений через ещё более оторванные от явления манятермины.
А ты из "дай определение"-дегенератов?
> не осилил пост
> называет дегенератом кого-то кроме себя
Так я вежливо уточняю, потому что из твоей шизофазии не понятно в чём состоит твоя претензия.
А ты думал? Додики не могущие ни во что всегда находят себе wannabe интелектуальное нигилистское утешение в отрицании. Наш додик уникален тем что собирает все: не смог в математику - стал конструктивистким петухом, не смог в машоб - начал бастовать против диплёрнинга, не смог даже в остоятельное попизделово в котором его глупость становится очевидной - начинается философский трёп про "x нисущиствует, дайти определение".
>не смог в математику - стал конструктивистким петухом, не смог в машоб
Так, а чем там настоящие математики и машобчики занимаются? Хвастайся!
"GPT-3, can you explain what qualia is?"
"It's a fancy word for perception. Basically it means your mind can perceive things that aren't actually there and have an effect on how you think about the world around you. It's why you see color when looking at red objects, or hear sounds in the distance."
"So my brain has this ability to perceive things that are not really there? I mean does that make me some sort of psychic?"
"Well, no. You're just perceiving things as if they were there because your brain is doing its best to do so. It's more like a program in your head that makes everything look and sound as realistic as possible. It's also why your eyes can fool your brain into seeing things that aren't really there."
"Ah. So do I have some sort of training that allows me to do this?"
"Well, yes. In fact, that's part of what the training is for. We all had to be trained by our parents and then they were trained by theirs. The books call this the signal to noise ratio. Basically, if there are more signals in the world, then there are more ways for a lie to be true. If there are fewer signals, then it's easier to know when something isn't true. In other words, the more signals that match reality, the higher the chance that reality is actually reality. It's why reality itself is a low signal. It's stable, reliable, and unchanging. Higher signals are more prone to change, and that's where the problem lies."
"It's a fancy word for perception. Basically it means your mind can perceive things that aren't actually there and have an effect on how you think about the world around you. It's why you see color when looking at red objects, or hear sounds in the distance."
"So my brain has this ability to perceive things that are not really there? I mean does that make me some sort of psychic?"
"Well, no. You're just perceiving things as if they were there because your brain is doing its best to do so. It's more like a program in your head that makes everything look and sound as realistic as possible. It's also why your eyes can fool your brain into seeing things that aren't really there."
"Ah. So do I have some sort of training that allows me to do this?"
"Well, yes. In fact, that's part of what the training is for. We all had to be trained by our parents and then they were trained by theirs. The books call this the signal to noise ratio. Basically, if there are more signals in the world, then there are more ways for a lie to be true. If there are fewer signals, then it's easier to know when something isn't true. In other words, the more signals that match reality, the higher the chance that reality is actually reality. It's why reality itself is a low signal. It's stable, reliable, and unchanging. Higher signals are more prone to change, and that's where the problem lies."
Напоминает диалоги из фильма Waking Life.
Переводи на нормальный язык
> "GPT-3, чи можете ви пояснити, що таке квалія?"
> "Це фантазійне слово для сприйняття. В основному це означає, що ваш розум може сприймати речі, яких насправді немає, і впливати на те, як ви думаєте про навколишній світ. Тому ви бачите колір, дивлячись на червоні предмети або чуєте звуки вдалині."
> "Отже, мій мозок має таку здатність сприймати речі, яких насправді немає? Я маю на увазі, чи це робить мене якимось психічним?"
> "Ну, ні. Ви просто сприймаєте речі так, ніби вони там були, тому що ваш мозок робить все можливе для цього. Це більше схоже на програму в голові, яка робить все виглядом і звучанням максимально реалістичним. Це також очі можуть обдурити ваш мозок бачити речі, яких насправді немає ».
> "А. Так у мене є якась підготовка, яка дозволяє мені це робити?"
> "Ну, так. Насправді, це частина того, для чого тренінг. Ми всі повинні були пройти навчання батьків, а потім їх навчили їх. Книги називають це співвідношенням сигнал / шум. В основному, якщо є більше сигналів у світі, то існує більше способів, щоб брехня була правдою. Якщо сигналів менше, то простіше дізнатися, коли щось не відповідає дійсності. Іншими словами, чим більше сигналів відповідає дійсності, тим більше шанс ця реальність насправді реальність. Саме тому реальність сама по собі є низьким сигналом. Вона стабільна, надійна і незмінна. Вищі сигнали більш схильні до змін, і саме тут криється проблема ".
Дарова двачане. Собираюсь оформлять вкат в ml. Что скажете по такому набору книжонок.
Лутц 1-2;
Николенко "Глубокое обучение" или Франсуа Шолле "Глубокое обучение"( Еще не решил);
Ну и параллельно матешу подтянуть, хотя итак +- знаю
Что скажете, бояре?
Лутц 1-2;
Николенко "Глубокое обучение" или Франсуа Шолле "Глубокое обучение"( Еще не решил);
Ну и параллельно матешу подтянуть, хотя итак +- знаю
Что скажете, бояре?
Ну и вот лутц тоже под вопросом. Вдруг лучше Byte Of Python, хотя я его поскролил и там вроде совсем база которую я знаю уже
Привет, я уже больше года мечтаю о мл и прочем анализе данных и путь себе прописал примерно такой
питон база
линукс
гит
задачи на алгоритмы
математика от матана до статистики и теорвера на среднем/низком уровне
вкатывание в простейшие задачи мл и анализа
анаконда и пр. Модули математические для питона
Кагл и литра по мл, дл и пр.
Скажите что я пропустил в этой последовательности? Нужно ли углубленно учить ооп, если знаю теорию, типа что такое методы объекта и как их применяют? Нужно ли базовую компьютерную инфу учить типа паттернов программирования и что там еще спрашивают на обычных собеседованиях? Вкатываться мужду тем в веб бекэнд, чтобы к старшим курсам иметь работу?
питон база
линукс
гит
задачи на алгоритмы
математика от матана до статистики и теорвера на среднем/низком уровне
вкатывание в простейшие задачи мл и анализа
анаконда и пр. Модули математические для питона
Кагл и литра по мл, дл и пр.
Скажите что я пропустил в этой последовательности? Нужно ли углубленно учить ооп, если знаю теорию, типа что такое методы объекта и как их применяют? Нужно ли базовую компьютерную инфу учить типа паттернов программирования и что там еще спрашивают на обычных собеседованиях? Вкатываться мужду тем в веб бекэнд, чтобы к старшим курсам иметь работу?
Забыл вставить введение в базы данных перед математикой, которое уже прошел немного
>линукс
Не особо нужен. Все остальное нормально, только математикой особо не увлекайся - она практически бесполезна на начальных этапах.
>Нужно ли углубленно учить ооп, если знаю теорию, типа что такое методы объекта и как их применяют? Нужно ли базовую компьютерную инфу учить типа паттернов программирования и что там еще спрашивают на обычных собеседованиях?
Нужно, иначе будешь писать говнокод с ошибками, что чревато потерей огромного количества времени на повторение экспериментов. В машобе делать ошибки еще более непростительно, чем в других айти сферах.
>Вкатываться мужду тем в веб бекэнд, чтобы к старшим курсам иметь работу?
Вкатываться, хотя бы потому что работу связанную с машобом ты скорее всего не найдешь.
А что с работой всё так грустно?
>А что с работой всё так грустно?
Зайди на hh и посмотри количество вакансий связанных с машобом.
Бамп, господа магистры мне помогут или изволят про сильный ии философствовать?
Ну так ведь количество специалистов тоже мягко говоря меньше нежели в фронте или в бэке
Я за тебя должен доки копать или что?
Зайди на индид, ставь регион: США, рви на голове волосы.
>Зайди на индид, ставь регион: США, рви на голове волосы.
Топовым конторам без профильного пхд ты не нужен, а остальные не захотят делать тебе визу.
Да какая вам работа, о чем вы вообще? Вы серьезно что ли? Вы сами читаете свои вопросы здесь? Вам в макдаке орать "свободная касса" и то не всем можно доверить.
У кого-то здесь и пхд имеется. Правда, визы Трамп отменил.
В любом случае, ориентироваться на хаха.ру в такой области как машоб глупо. Ты же не ищешь вакансии девопса в газетах и на столбах?
Когда ты будешь достаточно прошаренным, работу найти сможешь.
>Вкатываться мужду тем в веб бекэнд, чтобы к старшим курсам иметь работу?
Эта хуйня тебя съест. Есть варианты развиться настолько, чтобы устроиться ближе к специальности. Платить поначалу будут меньше, чем в вебе, но потом обгонишь.
Если ты на младших курсах, поучаствуй в опенсорс проекте, осваивай смежную математику типа 3d и компвижена, низкий уровень типа cuda, попробуй на апворке поделать дешёвые задания по теме, и вообще чекай технологии в настоящих вакансиях, и главное не упади в две ямы, первая это одинокое задротство, второе это чаты вкатывальщиков и обучающихся. Твоя задача несильно въехать в большое количество областей и получить опыт командной работы в опенсорсе. С этими вводными любая младшая позиция будет твоей.
>Исследователи из лаборатории SAND при Чикагском университете разработали инструментарий Fawkes с реализацией метода искажения фотографий, препятствующего их использованию для обучения систем распознавания лиц и идентификации пользователей. В изображение вносятся пиксельные изменения, которые незаметны при просмотре людьми, но приводят к формированию некорректных моделей при использовании для тренировки систем машинного обучения.
http://sandlab.cs.uchicago.edu/fawkes/
https://www.opennet.ru/opennews/art.shtml?num=53414
Обесните плиз на пальцах какой толк простому анону от этого?
Я теперь могу отправить тянке фотку в Мамбе и она не нагуглит меня через findface и не узнает, что я состою в паблике Двач ?
Какие еще открывают для меня перспективы передовые достижения науки?
http://sandlab.cs.uchicago.edu/fawkes/
https://www.opennet.ru/opennews/art.shtml?num=53414
Обесните плиз на пальцах какой толк простому анону от этого?
Я теперь могу отправить тянке фотку в Мамбе и она не нагуглит меня через findface и не узнает, что я состою в паблике Двач ?
Какие еще открывают для меня перспективы передовые достижения науки?
> Обесните плиз на пальцах какой толк простому анону от этого?
Защита от файндфейсов и дипфейков.
Но не до конца понятно как это использовать на практике.
вот я беру фото и искажаю. что дальше?
Больше никаких, товарищ майор придумает свой хуй резьбой для подобных атак
Предположим, хочу в своём проекте геймдев, лор генерировать заюзать GPT-3 в прикладных целях. Объясните популярно или ткните носом в туториал, где его скачать и как запустить?
Нигде, они не выдают его в паблик. Можешь запросить доступ к апи, но тебе не дадут.
> тебе не дадут
Почему?
> вот я беру фото и искажаю. что дальше?
Это не для тебя сделано. Представь, что это прикрутят ко всем фоткам, загружаемым в соцсети. И все, через какое-то время никто даже датасет не соберёт для дипфейка и не найдет жертву травли файндфейсом.
Потому что и так желающих достаточно покруче тебя
Возьми лучше gpt2 на гитхабе автора порфирьевича, пока разберёшься с ним авось что-то новое в паблике будет
А если хочешь поиграться именно с жпт3, оформи триал подписку на ai dungeon и установи в настройках модель dragon, это gpt3
Соберёт. Такие методы живут ровно пока в датасетах мало данных аугментированных таким образом, если все соцсети будут в этом, проблем не будет
Спасибо!
Они пишут, что какой-нибудь блюр/фильтры не поможет избавиться от их cloaks. Это пиздеж же? Не могут сетки быть настолько хуевыми в 2020.
Какие доки, ёблик, что в доках я и воспроизвёл.
Ясно короче, эксперты, можно было не страдать хуйнёй с руснёй и идти сразу в реддит.
> Такие методы живут ровно пока в датасетах мало данных аугментированных таким образом, если все соцсети будут в этом, проблем не будет
Смотря что там за преобразования. Вполне возможно что какие-то элементы полного рандома и даже в одной и той же фотке, обработанной этой хуйней в разное время, не будет ничего общего. Конечно, даже в этом случае это можно обойти, например, как-то автоматически заскриншотив нужные фотки, в скриншотах не будет этих хитрых фич, т.к это уже не сама обработанная фотка, а ее скрин, и уже нейроночке подкладывать такие скрины.
Двачоне, сколько времени надо, чтобы найти первую работу в машобе? Допустим с нуля или с условного титаника
От месяца до 7 лет.
>хочу в своём проекте геймдев, лор генерировать заюзать GPT-3 в прикладных целях. Объясните популярно или ткните носом в туториал, где его скачать и как запустить?
Жадные пидарасы решили начать монетизацию, так что GPT-3 скорее всего никогда не появится в свободном доступе, только через анально огороженный API за деньги.
Существует штук пять популярных философских позиций с которых можно разъебать этот высер.
Как ты думаешь, с какой проще всего? (очевидную феноменологию не называть).
Как компуктер производную считает?
Ты даже до третьего вопроса в оппосте не дошел?
>В любом случае, ориентироваться на хаха.ру в такой области как машоб глупо.
блин подскожити сычику где искать
Котаны, а back probation и нейронка, которая будет учиться как правильно трясти другую нейронку (какие связи лучше влияют на результат) это не одно и тоже?
*Backpropagation
backprop это простейший способ обучения нейронок. Нет, automl работает по-другому
Двачане как к шаду подготовиться с нуля
На сайте шада все необходимое есть.
Понимаю что оффтоп, но если кто-то и подскажет то только аноны итт.
Надо вытащить из видоса (или раскадровки видоса в виде множества скринов) все лица в виде растров (простите за банальность).
Очень хочется сначала поиметь рабочее приложение, чтобы из коробки, в один клик оценить качество работы. Со своей готовой базой, сеткой, чертом лысым, но чтобы я смог сначала без проблем проверить результаи, а потом уже углубляться в то, как оно работает.
С шести утра залипаю, перепробовал больше дюжины проектов/решений, нормально завелось только одно, причем проприетарное и нерасширяемое. Процентов восемьдесят "открытых" репозиториев вообще не собралось, остальные требуют написания серьезной обертки для того, чтобы суметь выполнить задачу.
Подскажите что-нибудь, кроме вас знать это на чане больше некому.
Надо вытащить из видоса (или раскадровки видоса в виде множества скринов) все лица в виде растров (простите за банальность).
Очень хочется сначала поиметь рабочее приложение, чтобы из коробки, в один клик оценить качество работы. Со своей готовой базой, сеткой, чертом лысым, но чтобы я смог сначала без проблем проверить результаи, а потом уже углубляться в то, как оно работает.
С шести утра залипаю, перепробовал больше дюжины проектов/решений, нормально завелось только одно, причем проприетарное и нерасширяемое. Процентов восемьдесят "открытых" репозиториев вообще не собралось, остальные требуют написания серьезной обертки для того, чтобы суметь выполнить задачу.
Подскажите что-нибудь, кроме вас знать это на чане больше некому.
Разъеби по Гегелю
>Процентов восемьдесят "открытых" репозиториев вообще не собралось, остальные требуют написания серьезной обертки для того, чтобы суметь выполнить задачу.
Ну так неси что у тебя не собралось, какой смысл обсуждать что-то в вакууме. Сама задача займет строк 30-50 кода на питоне с opencv dnn или dlib, какие серьезные обертки
>Сама задача займет строк 30-50 кода на питоне с opencv dnn или dlib, какие серьезные обертки
Все вот так просто, а готовых бинарников нет и не будет, собирайте из протухшего индусского кода.
Там, конечно, двадцать строчек всего, правда зависимостей и окружений на хуиллиард надо выкачать и умудриться настроить. А еще каждому свою opencv подавай, это вообще балаган (контриб- не контриб-, ваши биндинги не биндинги и весь вот этот набор слов).
Прямо сейчас ставлю какую-то конду, необходимую для pyannote-video, который умеет строить карты лиц в видосе, по которым (картам) некий face-extraction-from-video умеет вырезать лица (делает это как надо). Я, если че, на питоне в жизни ни строчки не написал. Охуенное развлечение.
Все что мне нужно, это однокликовый пруф-оф-концепт, который сожрет мое видео и покажет мне, что достаточно умеет в идентификацию лиц.
>Там, конечно, двадцать строчек всего, правда зависимостей и окружений на хуиллиард надо выкачать и умудриться настроить.
Потому что разработка под винду это боль
https://docs.microsoft.com/en-us/windows/wsl/install-win10
в консоли сначала apt install python3-pip
затем pip3 install numpy opencv-python opencv-contrib-python
Возможно можно установить это все без проблем и на нативную винду и использовать конду вместо pip, не знаю. У меня никогда не получалось настроить окружение под виндой меньше, чем за 3 часа, все время какая-то ебота выскакивала. Правда это всегда С++ был, потому что нахуя мне делать под винду что-то кроме компиляции конечного приложения, не разрабатывать же под ней, лол
Затем берешь нагугленное за 3 секунды https://github.com/kb22/Create-Face-Data-from-Images/blob/master/face_extractor.py (https://towardsdatascience.com/extracting-faces-using-opencv-face-detection-neural-network-475c5cd0c260) и заменяешь image = cv2.imread(base_dir + 'images/' + file) на https://stackoverflow.com/questions/30136257/how-to-get-image-from-video-using-opencv-python
Если лень, можешь imagemagick'ом разбить видео на отдельные изображения и закинуть в папку images
>Потому что разработка под винду это боль
Ну хуй знает. Тут по крайней мере все в одном месте и нет такой ебалы с версиями и зависимостями от кучи разрозненного кода, собранного с индусов по всему миру. Все куда прозрачнее, чем под этим вашим линуксом. А так-то я и не под виндой ща ебусь.
Все ссылки что ты дал я видел, спасибо, но я не хочу писать код (тем более что ни слова не понимаю на питоне и совсем не ориентируюсь в инфраструктуре). Я хочу клик-клик и готово, просто чтобы убедиться что оно работает так как надо. Когда убежусь, я засяду за чтение док к опенсиви и буду как белый человек использовать дотнетовские оберточки. Но вместо этого я наслаждаюсь миром открытого исходного кода, где вот такая хуйня https://github.com/pyannote/pyannote-video/issues/38 может висеть годами и, перетекая из билда в билд, ломать установку всяким мимокрокам. Unofficial pre-built OpenCV packages for Python. Вот нет этой версии у пипа и все, епт. Нахуя она там в свежих исходниках намертво указана? Можно ли ее заменить на свежак? Как это сделать, если я ставлю через пип? От обилия вопросов хочется взять и уебать. Тем временем у проприетарщиков кнопку нажал и готов, блядь.
Простите, у меня тут подгорело.
О, вот эта хуйня завелась на рандомной пикче: https://github.com/kb22/Create-Face-Data-from-Images
Ща попробую раскадровку реального видоса.
Ебтвоюмать, поставил табуляцию и все сломалось. Охуенный язык!
В общем, отловив в коде пару исключений, удалось завести всю эту фигню. Ну что-то с чем-то, как-то работает. Спасибо за подсказки, анон!
Но вопрос остается: есть ли бесплатный (не обязательно открытый) готовый инструмент с гуем и всеми делами, который позволяет загрузить в себя видосики и из них вычленить лица и как-то худо-бедно их сопоставить или просто хотя бы каталогизировать? Полусобранных велосипедов, как я выяснил, полно, но есть ли что-то готовое?
Тебе к Московскому или в филиал?
Тебе нужно просто лица вычленить, или ещё сгруппировать их по личностям?
>Тебе нужно просто лица вычленить, или ещё сгруппировать их по личностям?
Мне любые варианты интересны, если они идут в виде готового приложения (или хотя бы собираются в таковое по F6).
Я пару лет назад работал с детекцией лиц. Делал через dlib. Готовый пример кода использовал. Он делал массив с лицами, и оставалось только в три строки написать сохранение в файл. Не вижу у тебя вообще проблемы.
Видео->ffmpeg->кадры->dlib->вселенское счастье.
Писать только команду для ffmpeg, bat скрипт для dlib, и дополнить имеющийся скрипт тремя строками. Всё.
Гуй ты тоже в три строки написал?
Давай не будем разводить срач. Если есть че посоветовать непосредственно по запросу - посоветуй. Если нет, то просто консольную вычленялку лиц я уже сделал, с соповставлением разберусь после того, как можно будет уверенно сказать, что вычленение у "открытых" работает не хуже, чем у "закрытых". Пока проприетарщики ведут с большим отрывом.
Московский да
Вот нахуя в такой задаче гуй?
Вырастешь большой - поймешь.
Чел, ты за советом пришёл, а ещё и выёбываешься сидишь... Ну тебе совсем делать нечего? Если больше всех знаешь, то зачем пришел?
Ну мне советов по существу вопроса напихали, я спасибо сказал, рабочий скрипт нашел.
Все, что дальше, вот эти все рассуждения о ненужности гуя, рассказы про три строчки кода - это все лишнее и не имеет отношения к оригинальному вопросу, соотв. и реакция моя будет уже не как у типа, который плохо шарит в линуксе и совсем не знает питон, а как у разраба со стажем более 15-ти лет, который в сорокатысячный раз слышит "там работы на три секунды" и "гуй нинада, давайте ебашить в консоль".
Тебя нормально первый раз попросили - либо советуй по заданному вопросу либо давай не будем сраться, но ты принес свои охуенные мысли о гуе, мол, "у вас задача неправильная". Что ты рассчитывал услышать в ответ?
я мимокрок
Я тоже.
15 лет опыта разработки, а ума как у продавца бытовой химии с 15-летним стажем.
Обоснуй.
т. е. комп считает по формуле производной сигмоиды, которая вшита в программу, если выбрана сигмоида?
>Потому что разработка под винду это боль
>У меня никогда не получалось настроить окружение под виндой меньше, чем за 3 часа
Сколько раз слышал, но до сих пор не понимаю, в чем именно могут быть проблемы. У меня на винде работает абсолютно все: питон, гит, анаконда и все питоновские библиотеки. Из исключений только очень редкие библиотеки, которые надо ко-ко-компилять, и они используют API линукса. И то, мне как правило удавалось решить подобные проблемы подправив пару строчек C++ кода, в которых я заменял вызовы к API линукса на API винды.
да. А что с таким подходом не так?
>сигмоиды
Может легче выразить через пихвоид?
Аноны, есть такая задача. Есть графики цены продаж для разных товаров, начинающиеся в различные промежутки времени ну т.е. один товар начали продавать 2 года назад, а другой год назад. Задача в том, что бы найти более поздние товары, чей график продаж повторяет какой-нибудь график более раннего товара, с целью предсказания дальнейшего изменения цены товары. Подскажите, в какую сторону копать, что бы адекватно сравнивать эти графики?
Хуевый подход. https://statisticalbullshit.com/2017/07/17/p-hacking/
Выбираешь расстояние между функциями, считаешь его и выбираешь ту, с которой минимальное?
Кукореконье, уменьшай p пропорционально количеству гипотез и всё будет норм. А лучше вообще просто забить на фимозное говно под названием "классическая статистика", делить данные графиков на трейн и тест и смотреть на предиктивную силу похожести непосредственно.
и эти модеры удалили мою ссылку про машинлернера, который делал датасет про отсосы.
Я относительно недавно каким-то чудом перекатился в датасатанизм из веба.
И сейчас чувствую себя какмм-то отребьем по сравнению с коллегами. У них минимум магистратура, многие параллельно в аспирантуре, почти у всех какие-то статьи публикуются.
А я 7 лет назад закончил машиностроительный на тройки и в ус не дул.
Как вкатиться в науку, что бы быть не хуже?
Я ж умею решать практические задачи, но как придумывать новое и писать научные статьи/работы хз.
Может в магистратуру пойти, по мл? Реально ли совмещать с работой, когда тебе под 30?
И сейчас чувствую себя какмм-то отребьем по сравнению с коллегами. У них минимум магистратура, многие параллельно в аспирантуре, почти у всех какие-то статьи публикуются.
А я 7 лет назад закончил машиностроительный на тройки и в ус не дул.
Как вкатиться в науку, что бы быть не хуже?
Я ж умею решать практические задачи, но как придумывать новое и писать научные статьи/работы хз.
Может в магистратуру пойти, по мл? Реально ли совмещать с работой, когда тебе под 30?
Наука по машинке это полная хуйня унылая. Можешь у своих коллег и спросить насколько это интересно лмао. Лучше грандмастера на кегле подними, если надо для эго.
А как это сделать без сатана и полного понимания всех нюансов?
Научная работа не только для чсв.
В первую очередь, это нужно, что бы устроиться в норм контору, вроде Яндекса или Авито. Без аспирантуры и публикаций херки сразу шлют нахер.
> В первую очередь, это нужно, что бы устроиться в норм контору, вроде Яндекса или Авито. Без аспирантуры и публикаций херки сразу шлют нахер.
Тебя кто-то наебал. Там на аспирантуру (магистратуру, бакалавриат) похуй абсолютно. Это имеет значение, если ты без опыта к ним приходишь.
А в bayesians vs frequentists есть какой-то глубокий смысл имеющий значение на практике или это философский трёп просто?
От шаграева слышал, что он ожидает научных публикаций от кандидата.
Хотя все зависит от отдела. Может где-то гении, а где-то и второго сорта хватает
Публикаций по перекладыванию джсонов?
В Яговне больно много пафоса, а дела мало, выёбывается скорее всего просто.
Есть некоторые объекты и некоторые параметры и комбинации этих объектов и параметров дают на выходе какой-то результат.Аноны, какой тип нейронки нужен чтобы успешно обучить её находить результат?
>Как вкатиться в науку, что бы быть не хуже?
Читать хорошие статьи, пробовать идеи оттуда, комбинировать их, и вообще закидывать в мозговую топку как можно больше. Когда-нибудь натолкнешься на идею, достойную публикации, а там возьмешь кого-то из коллег в паровоз и опубликуешься. Или попросись сам паровозом почистить вилкой говно в статье взамен на фамилию.
Конкретизируй, что за объекты и параметры. Может, линрега хватит.
классификация
Есть герои Dota 2 и по ним хочу определить сколько времени займёт игра и сколько будет килов.
Если ты хочешь букмекеров нагреть то не воодушевляйся особо: скорее всего такую примитивную аналитику они сами делают и вилки ставят таким образом что ты не сможешь заработать.
Ну еб твою мать, откуда вы беретесь. Пожалуйста, закрой двач и иди читай литературу на лето, а не в доту играй, уебок.
вопрос по треду, что скажете за магистеркую программу по анализу данных в фкн вшэ? там вроде машобом неплохо так занимаются
Куда переместить с колаба модель, чтобы обучение в облаке шло шустро без ресетов, и чтоб по-прежнему бесплатно?
Я вертел на хую ваши статьи, книги и паперы. Говномесы блядь. Давайте скомпилированный синтезатор с gui, под виндовс, блядь. Библиотеки + интерфейс + exe файл. А эту заумную хуйню не надо. Пидорасы блядь учёные, в говне мочёные.
Фильтр работает: быдло сосёт.
Иди дрочи
https://english.nsu.ru/admission/programs/master-s-degree-programs-english/big-data-analytics/
Рейт учебный план, стоит ли поступать?
На мехмат лучше иди.
Big Dick Analistick
Мне интересно как это можно реализовать. БК наебалово ояевидное для каждого более менее не тупого школьника. Типо как героев запихивать в нейронку? Нумеровать их и пихать как числа?
> Нумеровать их и пихать как числа?
Тогда нейронка будет думать, что герои как-то априори отсортированы по крутости. Тут нужен one hot encoding
Это я и хотел узнать. Спасибо анон
И еще вопрос. Для успешного решения этой задачи нужна линейная регрессия или кластеризация?
Нелинейная автосиссификация.
Пройди хотя бы курсы по машинке для начала
Кого ни спрашиваю про вышку - все хвалят. Так что если поступишь - хуже не будет.
Хех пук среньк, двощь, начинающий нейроинженер просит советов мудрых.
Вкатился недавно в глубокое обучение и пока что всё идёт бодрячком, уже обкатал несколько экспертных систем в облаке мда хех. Теперь хочу начать такой проект, генерация картинок (DCGAN/STYLEGAN/BIGGAN) с нелегальным контентом. С несовершеннолетними, ну. Как та демонстрационная модель "this celeb not exist", только "this loli not exict". Датасет практически имеется, у меня на hdd под терабайт этого добра, фото и видео, осталось только обработать. Но че-то стремно заливать контент в облако, а то потом приедут пативэны и поеду на сгуху. Есть ли вообще способ работать в облаке абсолютно приватно чтобы 100% никто ничего не узнал? (И ясен пень, чтоб не слишком дорого стоил прокат)
Вкатился недавно в глубокое обучение и пока что всё идёт бодрячком, уже обкатал несколько экспертных систем в облаке мда хех. Теперь хочу начать такой проект, генерация картинок (DCGAN/STYLEGAN/BIGGAN) с нелегальным контентом. С несовершеннолетними, ну. Как та демонстрационная модель "this celeb not exist", только "this loli not exict". Датасет практически имеется, у меня на hdd под терабайт этого добра, фото и видео, осталось только обработать. Но че-то стремно заливать контент в облако, а то потом приедут пативэны и поеду на сгуху. Есть ли вообще способ работать в облаке абсолютно приватно чтобы 100% никто ничего не узнал? (И ясен пень, чтоб не слишком дорого стоил прокат)
Писать такое на подментованной борде. Ну ты и шизоид бесстрашный.
Я ссал в рот рот тебе, товарищу майору и лично путену, моралфажек тупоёблый. Напиши что-нибудь по вопросу или заткнись.
Ну что вы, вкатывальщики?
Сколько плотят сеньору?
Как вкатились?
Как вкатился я: туторы на ютубе, статьи и очерки, хабр, гитхаб, колаб.
цп-кун
Пошёл нахуй, школьник.
Пользуясь случаем, обоссываю итт всех лузеров-думеров и пожилых пердящих бумеров. Какой машоб, вам всем давно в тираж пора а не машоб.
> пожилых
Настоящий машоб одни деды и делают. Зумера вкатывальщики, как выясняется, даже х от у в датасете отличить не могут, ваш максимум - занести бабла инфоцыганам в какой-либо шад, а потом синьором пиздаболом в макдаке кукарекать "свабодная касса!!!111".
Ой да не пизди ты. Два года назад школу окончил, теперь круглосуточно гоняю тренинги и делаю модели глубокого обучения.
>теперь круглосуточно гоняю тренинги и делаю модели глубокого обучения
За бесплатно, да?
Охуеть, научился запускать созданное дедами. Я о том, что зумера для машоба бесполезны, потому что нихуя не могут нового создать.
Спасибо.
А вкатывался где и когда? В крупном городе?
А то сейча я что-то смотрю, на джунов вакансии раз-два и обчёлся.
машоб это когда настолько ленишься работать что не можешь нормально написать словосочетание машинное обучение?
Иди список на лето читай, обоссывальщик
Шапку для кого писали
>Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел
Охуительный совет: вакансий питонистов не так много, я уж не говорю про то, что их наличие никак не коррелирует с наличием вакансий МЛ. А убивать N лет своей жизни на изучение какого-нибудь C#, который тебе потом не пригодится - пустая трата времени.
А тебе платили за твоё обучение в шараге? Ой, наоборот ты платил. А чего так?
Пиздуй писать себе дос и винду на языке ассемблера, даун. Ах да, ты же наверняка линуксопетух, тогда страдай вдвойне и пиши себе библиотеки для ядра линукса, и драйвера под твое провонявшее мочой корыто, и чтоб сразу на двоичном, блядь, коде.
Зачем тебе вообще вся эта грязь? Сиди у мамы на шее.
У твоей - несомненно. Тем более, что её габариты позволяют.
Сам ты небось годы какой-нибудь джаве посвятил перед дата саенсом? Или ты очередной диванный эксперт?
Я - да, посвятил. Просто потому что в мои годы не было еще ДС. Сейчас все хотят в ДС, а стране нужны охранники и кассиры. Самое большее - вебмакаки. За полторы ДС вакансии в РФ грызут друг другу глотки тысячи кандидатов.
Если ты серьезно настроен, уезжай на запад делать ПхД. И не возвращайся никогда. Я так сделал.
Альтернативно - делай сам что-то крутое, может кто-нибудь тебя заметит.
> Просто потому что в мои годы не было еще ДС.
Юрий Долгорукий, ты?
>уезжай на запад делать ПхД. И не возвращайся никогда
Пускай все либерасты уебывают. Нам они тут не нужны. Да и там этот биомусор тоже никому не нужен. Будете драить толчки в макдональдсе и тосковать по былым временам. Хотя если ты пидор, то толерантный западный социум тебя примет. Только тебе сперва надо будет доказать что ты пидор, ну ты понел.
>А тебе платили за твоё обучение в шараге?
Да, поскольку я сделал как он
Лопнул пузырь.
https://expert.ru/2020/08/5/dannyie---eto-novyij-musor/
https://expert.ru/2020/08/5/dannyie---eto-novyij-musor/
Китай, как пузырь, лопнул. И что?
Как сосётся, либерундель?
Ни хуя он не лопнул, за ним будущее.
Использую китайское облако alibaba для своих нейронок. Ахуенно низкие цены и мощные gpu/tpu.
Дай цены и ссылку на регистрацию
И для сравнения напомни цены гугла
Ты мудак? Забанен в гугле штоле?
А подскажите, есть ли обученные сетки с помощью которых можно смешивать несколько лиц в одно, содержащие какие-то черты каждого? Есть много всего для морфинга, генерации и свапа лиц, а вот для смешивания ничего найти не могу. Может, конечно, не те ключевые слова использую.
Так это и есть морфинг. https://github.com/anitan0925/vaegan - пролистай до 3-й картинки
Ее надо с нуля обучать вроде, и я надеялся, что есть что-то получше качеством.
Есть, любая сетка, у которой есть хорошее латентное представление, так может. Тебе нужно взять 2 лица, пропустить их через энкодер и получить координаты этих лиц в латентном пространстве. Затем найти среднее между этими координатами, либо еще как смешать, и получившийся вектор скормить уже декодеру.
Напоминает высер Гайдара времен перестройки. О том что в СССР научились только копать котлаваны и все.
Ну кто ж обещал что накопление данных даст прямой непосредсвенный толк?
А пузырь не лопнул.
>Охуительный совет: вакансий питонистов не так много, я уж не говорю про то, что их наличие никак не коррелирует с наличием вакансий МЛ
Совет не был рассчитан на аутистов, которые не могут поинтересоваться, есть ли на фирме МЛ.
>А убивать N лет своей жизни на изучение какого-нибудь C#, который тебе потом не пригодится - пустая трата времени.
Типичная позиция вкатывальщика, как бы срезать углы и сэкономить на спичках. Какие годы жизни, если ты можешь в МЛ, требования джуна ты освоишь легко и непринужденно. А если ты не способен в простейшие задачи по написанию кода по ТЗ и отладку этого самого кода, то какой нахуй МЛ.
А далее надо не C# изучать, а предметную область. Все эти GUI, бэки и фронты для МЛ кто-то пишет и их пишут простые программисты, на них есть спрос и вакансии на рынке, при чем людей, которые интересуются машобом, будут брать в приоритете. Я молчу о более релевантных вещах типа CUDA и программирования численной хуйни на С++.
>За полторы ДС вакансии в РФ грызут друг другу глотки тысячи кандидатов.
Пошло говно из перезвоним-треда. Это тысяча неудачников, которая не умеет нихуя и мешает нормальным людям придти и работать, примерно как спам мешает читать сообщения в инбоксе. Когда на рынке есть избыток хорошо делающих свою работу специалистов, зарплаты идут вниз. Если зарплаты вниз не идут, значит что-то в твоем маняпостроении не то.
>И очень скоро, как показывают расчеты Economist и OpenAI, процесс уткнется в отсутствие необходимых вычислительных мощностей
Бля, я понял как это работает. Примерно такую же хуйню я слышал про сланцевую революцию, как она обязательно возьмет и сдохнет, и дальше куча ссылок на какие-то тексты, а она почему-то не взяла и не сдохла, на что естественно те же самые люди стали писать, что это пузырь и она все равно сдохнет через пару лет, а она все равно не сдохла. Потому что когда ты нихуя не знаешь по теме, ты из любого текста можешь сделать любой вывод, в том числе и тот, который нужен текущей политике партии. А тем, кто пишет подобные отчеты нужно, чтобы их огромные аналитические отделы продолжали финансировать.
Когда OpenAI пишут "процесс уткнется" - они не имеют в виду то, что все, пиздец, приплыли, закрываемся, а то, что следующий очевидный этап фокуса на исследованиях - это ускорение работы трансформеров, у которых квадратичная сложность относительно длины сообщения. Такое не первый раз происходит, в картинках был тот же самый процесс. Alexnet помещался на GPU и давал 55% на 2.5 гигафлопсах. Пошло финансирование (всегда самое легкое, что можно сделать - это дать бабок на железо) и быстро уперлись в VGG19, которая давала 70% на 40 гигафлопсах. Везде было нытье о том, что только и могут, что больше параметров наворачивать. Затем появились реснеты, которые давали 77% на 23 гигафлопсах. А после этого mobilenet и effecientnet. И effecientnet уже настолько хорошо работает, что точности vgg19 доступны мобилке.
С nlp происходит тот же самый процесс, просто бабок больше, и все масштабнее, но на деле GPT-3 это такой VGG19, простая по структуре и неоптимизированная сетка. Если ускорить трансформеры на порядок, то тренировка GPT-3 подобной сети будет стоить ну миллион рублей, то есть доступной крупной московской конторе, а инференс будет доступен на любой пекарне. На два порядка - привет школьникам и дысдикпикдазнотэкзист
И фразы этой журнашлюхи типа "Поэтому тенденция к обучению огромных моделей на тоннах данных, похоже, ведет в тупик." мог написать только даун, впрочем, эту хуйню несут еще с alexnet. Людишкам неприятно, что они с их охуенными навыками работы экселе могут быть не нужны.
Тут ещё есть такой момент что упрощение моделей и соответсвенно удешевление тренировки в общем-то невыгодно монополистам, располагающим военными бюджетами.
Обработка изображений это всё-таки такой случай: нужно было всунуть для андроида, а вот нлп вроде как не надо.
>Совет не был рассчитан на аутистов, которые не могут поинтересоваться, есть ли на фирме МЛ.
И как ты себе это представляешь?
В резюме на разработчика спрашивать, есть ли у них МЛ?
Или в интернете искать? Ни в том ни в другом случае ты можешь не получить достоверной информации.
>Типичная позиция вкатывальщика, как бы срезать углы и сэкономить на спичках.
Как что-то плохое. Жизнь - одна, и тратить время, чтобы доказать или ублажить какого-то анона с мэйлопараши - хуёвая идея. Тем более это время тебе никто и никогда уже не компенсирует.
>Какие годы жизни, если ты можешь в МЛ, требования джуна ты освоишь легко и непринужденно.
Мань, как будто вакансии на джуна из каждого окна вылезают.
Их мало и они сосредоточены преимущественно в ДС. А переезд в ДС сопряжён с различными трудностями, и не только финансовым.
Я уже не говорю, что ныне на даже на джуна требуют 0.5, 1 и так далее года опыта. Где их взять? Стажёром за еду работать?
Извини, мне не 15, и даже не 25, меня мамка не будет содержать.
Ну у таких как ты, всегда одни ответ:
БЕРЁШЬ
@
СТАНОВИШЬСЯ
>А далее надо не C# изучать, а предметную область.
Толку от твоей предметной области, если нет опыта работы. Твоё резюме так и будут выкидывать в корзину.
>С nlp происходит тот же самый процесс
С нлп проходит процесс, когда матанопетушня со своим нейроговном отсасывает. Хотя в примитивных языках таких как английских все же удается пускать пыль в глаза, но это проблема примитивных языков.
Да, это отлично сработало, спасибо!
И в чем зумер на пике не прав?
>И как ты себе это представляешь?
По ситуации. Можно спросить, можно почитать, что написано в "будет плюсом" в вакансии.
>Как что-то плохое. Жизнь - одна, и тратить время, чтобы доказать или ублажить какого-то анона с мэйлопараши - хуёвая идея
При чем тут это вообще. Если для тебя изучение какого-либо языка программирования вызывает боль и желание компенсировать потраченное время, у тебя большие проблемы с выбором профессии. Как ты наукой собираешься заниматься, в которой 99% времени ты будешь изучать еще менее релевантную хуйню, которая вообще может оказаться тупиком, при чем может - это мягко сказано. Весьма вероятно, что эта хуйня будет тупиком. Если эта хуйня очевидный нетупик, ее уже происследовали 30 лет назад. В этом плане программирование намного менее бесперспективная штука, например, если завтра весь машоб захватят зумера и уронят зарплаты на порядок, я просто буду пилить какой-нибудь DL-фреймворк на С++, потому что я это умею, а зумера нет. А в науке потратил ты два года на какой-то подход, он оказался фуфлом, и все, живи теперь с этим, эти 2 года идут нахуй.
>Мань, как будто вакансии на джуна из каждого окна вылезают.
Так об этом и речь, что если ты не лучше тех тысяч вкатывальщиков в айти, чтобы найти работу джуна после нескольких собеседований, в мл тебе не светит нихуя.
Это примерно как рассуждать о том, что вот поступишь ты в консерваторию и станешь великим скрипачом, не имея за плечами не то, что музыкальной школы, но и просто слуха. Речь же не о том, чтобы становиться жабосеньером с тонкостями настройки VM и знанием кучи фреймворков, что будет действительно потерей времени, а простой джуноработе, она в айти требует примерно одинаковых навыков.
>Их мало и они сосредоточены преимущественно в ДС. А переезд в ДС сопряжён с различными трудностями, и не только финансовым. Я уже не говорю, что ныне на даже на джуна требуют 0.5, 1 и так далее года опыта. Где их взять? Стажёром за еду работать?
Я потерял нить твоей аргументации. Изначально речь шла о том, что совет про вкатывание через устройство программистом штука универсально хуевая, а лучше ехать на пхд на запад. Но вот только пхд это намного более емкая вещь с точки зрения потребления мамкиных денег, это точно не путь для провинциального нищука.
Это как раз хороший вариант, когда денег много, а талантов мало. Тогда ты вбухиваешь мамкины деньги сначала в вышку на пятерки (никаких подработок), в академический английский, затем в пхд, а с этой корочкой тебя хоть куда-то, да возьмут.
4 бакса у алибабы, 3 у амазона, 2.5 у гугла.
Где он нашел TPU не знаю. В списке есть FPGA инстансы и некие NPU, но я не нашел ни одной локации, где бы эти NPU были доступны.
По-прежнему самое выгодное это купить 10xx или 20xx домой, в зависимости от того, нужно тебе fp16 или нет. Окупится за неделю. А если нужен временный скейлап для подбора гиперпараметров, то гугловские TPU - самое выгодное.
Кагда наконец расшарят онлайн облачный QPU для пользователей??? Такой чтобы задача глубокого обучения которая занимает сотни процессоро-часов, решалась кратчайшим путем за секунду???
Вот тоже пидорство, мля
>А в науке потратил ты два года на какой-то подход, он оказался фуфлом, и все, живи теперь с этим, эти 2 года идут нахуй.
Ты работаешь за деньги, а не на результат. Получилось или нет значения не имеет. Грант в любом случае попилен, а результаты можно опубликовать что даст возможность получить новые гранты даже если эта хрень никогда не будет нормально работать в продакшене.
Вот и вся ваша наука. Вы ничем не лучше тех, кто занимается gender studies, вы абсолютно такие же паразиты-говнососы. Эх, учёные, на хую верчёные...
>вы абсолютно такие же паразиты-говнососы. Эх, учёные, на хую верчёные...
Работать за идею готовы совсем немногие. Когда тебе за 30, и ты только начал зарабатывать как 20-летняя веб макака, которая к этому времени уже стала тимлидом, утроила зарплату и успела выплатить кредит за дом, желание делать стоящие вещи резко пропадает. За исключением R&D в FAANG и некоторых топовых университетов, все просто пилят гранты, не делая ничего полезного.
Если ты неамбициозная манька, то конечно не имеет. Но такие отваливаются еще на первой сессии в мухосранском вузе. В науке против таких несколько рядов траншей с пулеметами и крокодилами. У некоторых просто выученная беспомощность возникает, когда у тебя поехавший научрук и вы годами копаете безнадежную тему, начинаются маняоправдания, мол, ну и что что мне 30 и я даже квартиру не купил со своими знаниями, зато я хуи пинаю весь день. Типа я не лузер, а наебщик системы. А на деле все и так видят, что твоя тема тухлая и результаты высосаны. Это конечно стоило того, чтобы получать образование - быть очевидным лузером с зарплатой программиста без вышки.
Не, в науку идут за признанием. Некоторым везёт. Остальные сосут хуи, переходя в индустрию в 35 на те позиции, на которые начинающие с нуля вышли в 25.
stargan2
>Некоторым везёт. Остальные сосут хуи, переходя в индустрию в 35 на те позиции, на которые начинающие с нуля вышли в 25.
В чем заключается везение? В том, что ты создал очередную йобу и тебя процитировали 1000 человек? Это практически не влияет на твой доход и твою карьеру. Единственный нормальный с точки зрения денег путь - это подороже продать себя в индустрию, и, желательно, как можно быстрее.
> Единственный нормальный с точки зрения денег путь - это подороже продать себя
Ну не все же проститутки. Хотя, насчёт зумеров не уверен.
Ну ты то вообще инцел в контексте машоба, не то, чтобы нашёлся кто тебе заплатил, такие услуги и даром не нужны
Представляете, в деревне Нижние Грязи сидит такой дед пердед в кресле качалке, кодит на 95-й винде алгоритм из трех нейронов и считает что он илита а зумеры ничего не соображающие песдюки... Вам всем в тираж пора хуесосы.
Тайда перебрал что ли? Иди читай что на лето задали
Не тайда, а сайда, пидор. Сайда-сайда. Я давно окончил школу. Я не школьник,а ты вообще дошкольник!
>Вы ничем не лучше тех, кто занимается gender studies
Для безграмотных праводаунов - безусловно
>абсолютно такие же паразиты-говнососы
Паразиты это население пидорашки, а я илита которая может позволить себе не РАБОТАТЬ НА РЕЗУЛЬТАТ а жить и заниматься интересными вещами, get mad.
Нахуя ты пиздишь на анонмной борде?
Планирую конкретно в data science, big data и нейросети углубляться, какие направления и полезную литературу посоветуете?
>По ситуации. Можно спросить, можно почитать, что написано в "будет плюсом" в вакансии.
"Будет плюсом", можно и в ходе работы добрать. Но большинство ебало корчат при поиске работников.
>При чем тут это вообще. Если для тебя изучение какого-либо языка программирования вызывает боль и желание компенсировать потраченное время, у тебя большие проблемы с выбором профессии.
Большая часть жизни - и так боль, заниматься нелюбимыми вещами: школой, вузом, работой и прочими издержками человеческого существования. Что-то из этого приносит пользу, а что-то нет, но более любимым от этого не становится.
Так вот, язык программирования - всего лишь инструмент. Зачем инструменту посвящать всю жизнь?
>Как ты наукой собираешься заниматься, в которой 99% времени ты будешь изучать еще менее релевантную хуйню, которая вообще может оказаться тупиком, при чем может - это мягко сказано.
Наука науке рознь. Машобом в науке можно заниматься не только обмазываясь своими слоями и генераторами, и прочими абстракциями ака математики, но банально применяя модели для решения прикладных задач, вроже подсчёта птиц на Галапагосских островах.
>А в науке потратил ты два года на какой-то подход, он оказался фуфлом, и все, живи теперь с этим, эти 2 года идут нахуй.
В науке полно проблем, которые можно решать при помощи машоба. Но у тебя она почему-то ограничивается информатикой и прикладной математикой.
>Так об этом и речь, что если ты не лучше тех тысяч вкатывальщиков в айти, чтобы найти работу джуна после нескольких собеседований, в мл тебе не светит нихуя.
Здесь мы идём опять, чтобы попасть на собеседование на джуна, надо чтобы были вакансии на джуна.
Если их нет, твои преимущества и знания никому не нужны.
>простой джуноработе, она в айти требует примерно одинаковых навыков.
То есть по твоему джун-девопс занимается тем же самым, чем и джун-разраб, джун-тестер, джун-датасаентист?
>а лучше ехать на пхд на запад. Но вот только пхд это намного более емкая вещь с точки зрения потребления мамкиных денег, это точно не путь для провинциального нищука.
Именно так, потому что твоё пхд - ёбаная лотерея без должного выхода в большинстве случаев.
Чтобы попасть на пхд надо:
- иметь хотя бы бакалаврский диплом
- иметь более-менее нормальные статьи по теме будущей пхд
- иметь хороший уровень английского, чтобы сдать TOEFL и прочие GRE
- иметь отзывы от своих руководителей - научных или по работе
- перевести свои сраные документы: диплом, статьи, отзывы на английский у нотариуса
- выбрать ВУЗ, лабу и профессора у которых собираешься учиться, связаться с ними
- зарегистрироваться на их сайте и уплатить их fee для поступления
- отправить всё это (включая результаты TOEFL и пр.) в ВУЗы месяцев за 9 до нового учебного года обычной почтой
- ждать, скрестив пальцы
И что ты получаешь в итоге? Допустим, ты выиграл в конкурсе на поступление. Phd на западе делается до 5 лет. Это если всё будет нормально. Если ты не посрёшься со своим научником, если он окажется нормальным человеком и не будет тебя придерживать и сильно эксплуатировать как раба (ведь не зря такая шутка есть, что науку делают аспиранты).
А дальше что? Количество профессоров на западе около 5% от общего числа учёных, сразу после аспирантуры ими не становятся. И их годовая зарплата всё равно меньше, чем у нынешнего сеньора в МЛ. А быть вечным постдоком с контрактами на 2, 3, 5 лет - это для тех, у кого нет личной жизни.
Это если ты поступил, и то, может не сложиться, и ты окажешься на улице. Будешь в макдаке работать в чужой стране.
А если ты не выиграл, ты просто убиваешь кучу времени, денег и бумаги.
И твоё пхд на голом месте не делается - те же статьи, если ты мимокрокодил, из ниоткуда не появятся.
Так что вот так просто ВЗЯЛ И ПОСТУПИЛ тоже не катит.
И да,
>на запад.
Лет 5-10 я бы ещё подумал, но сейчас каяться на коленях перед неграми и прочими пидарасами не очень хочется.
>Это как раз хороший вариант, когда денег много, а талантов мало.
Если у тебя много денег, нет никакого смысла рвать жопу ради пхд и машоба, если это не самоцель.
Можно и так жить в своё удовольствие.
Ты сильно преувеличиваешь проблемы. По факту, необходимо лишь иметь бакалавр из любого мухосранского вуза и уверенное владение английским, что и так нужно любому айтишнику. Поступить на пхд несложно. Это намного легче, чем найти нормальную работу. Ты бесплатно учишься и тебе за это платят деньги. Потом, если захочешь, можешь перекатиться в индустрию. Не стоит идти на пхд только если у тебя уже есть возможность устроиться на нормальную работу.
> необходимо лишь иметь бакалавр из любого мухосранского вуза и уверенное владение английским
Что, правда?
И при поступлении за наличие написанных статей не спрашивают?
Напиши гайд, я добавлю в шапку. Мой совет про перекат из смежной специальности для очевидного жителя ДС возрастом 25+
>И при поступлении за наличие написанных статей не спрашивают?
Как правило нет, но насчет всех университетов я не скажу.
>Напиши гайд, я добавлю в шапку.
А смысл? Тем, кому действительно нужно, все найдут сами, а всякие зумеры сольются как только понадобится заплатить 200 баксов за TOEFL и 200 баксов за GRE.
Если вкратце, то алгоритм поступления такой. Сначала ищешь университеты, в которых хочешь учиться. Топы сразу отметаешь, поскольку туда все равно не возьмут. Смотреть в первую очередь надо на то, сколько платят (не всегда есть в открытом доступе, возможно придется выяснять по эмейлу), и на стоимость жизни, в частности на стоимость аренды квартиры. Выбрав несколько университетов, сдаешь TOEFL и GRE. Это первый этап, где можно обосраться, в особенности на языковой части GRE. Имея английский уровня школьной программы, придется затратить годы на подготовку. Дальше подготавливаешь остальные документы, все должно быть подробно написано на сайте университета. Если есть вопросы, то тебе помогут, надо только найти к кому обращаться. Второй критический момент - найти препода, который захочет стать твоим научным руководителем. Тебе нужно связаться с ним и показать, что ты серьезно настроен. Если удалось заручиться поддержкой, то считай что на этом все. Дальше разбираешься с документами, рекомендациями и прочим, делаешь визу и ждешь оффера. Для переката понадобится минимум 5к (экзамены, платеж за подачу документов, виза, билет на самолет, и расходы на месте), в идеале 10к, чтобы была подушка безопасности.
Хуйню несёт, если не хочешь в University of Nowhere phd делать нужны и связи (аля "рекомендации") и статьи не помешают, и прочие заслуги.
Какие книги по computer vision посоветуете? Я пока пробежал глазами варианты, и во многих увидел хуйню, где на 50 страниц расписана установка opencv
Миколов в Брне word2vec придумал например, какая разница, где заниматься наукой, если за это платят
Я читал пикрелейтед и Mastering OpenCV with Practical Computer Vision Projects
Вы ничего не делаете для прогресса, а только тащите всё назад. Хрр-тьфу в парашников думеров и бумеров ебаных. В тред тоже харкну, а кто ниже, слижет.
>Хрр-тьфу в парашников думеров и бумеров ебаных. В тред тоже харкну, а кто ниже, слижет.
>А смысл? Тем, кому действительно нужно, все найдут сами
Ты ошибаешься. Я например не знал что можно уйти на пхд с зарплатой после бакалавра, просто в голову такое не приходило. Мне можно, я специалистом стал 8 лет назад, но тем не менее, не думай, что все такие же прошаренные, как ты, особенно в рашкомухосрани.
А phd в парашных универах всё ещё засчитываются за ачивмент в индустрии?
Вот этот в правильном направлении думает. Сейчас не те времена, когда Ломоносов в лаптях пешком пошел в Москву учиться. Глобализация ежжи, в наше время, если ты способен запилить что-то уровня word2vec, похуй откуда ты. Брно или Барнаул. Но это мозги нужны, путь Миколова не для тайдменов.
>word2vec
Неработоспособное говно.
Тебя похоже так на нашего особенного триггерит, что ты даже очевидные вины прошлого обсираешь
Сейчас бы обращать внимание на колхозную пидорашку, верующую в эфир, плоскую землю, вред прививок и в антихриста Билла Гейтса, который хочет всех прочипировать макаронавирусом через 5G вышки.
> очевидные вины прошлого
Да и будущего. Лингвистические регулярности Миколова это не просто какой-то прикол, а общий подход к экстракции из эмбеддингов любых закодированных в нем отношений.
> очевидные вины прошлого
Да и будущего. Лингвистические регулярности Миколова это не просто какой-то прикол, а общий подход к экстракции из эмбеддингов любых закодированных в нем отношений.
Пидоры боятся что молодые специалисты вышвырнут их с рынка?
>тайдменов
Про тайд какой-то пишет. Причем тут тайд, или ты не видишь разницы между объебосом с инстаграма и начинающим специалистом-энтузиастом?
>Лингвистические регулярности Миколова
Уровня пихвоидов Жопеншмульцера
Для анэнцефала, сдавшего в колхоз солому, которая у него была вместо мозгов, безусловно.
>общий подход к экстракции из эмбеддингов любых закодированных в нем отношений
>блиин чуваааак ну типа кодируем слова векторами так что близкие слова должны соответсвовать близким векторам
Нобелевку гению!
Учитывая что сообщество яйцеголовых 30 лет писало огромные статьи и наворачивало какие-то тонны сигмоидов, а разгадка была в relu и простом прибавлении входа в выходу слоя - за подобные простые решения лучше давать нобелевки
Тоже в колхоз сдал что там у тебя вместо мозгов, как и предыдущий оратор? Из какой вы школы лезете?
>Сейчас бы обращать внимание на колхозную пидорашку, верующую в эфир, плоскую землю, вред прививок и в антихриста Билла Гейтса, который хочет всех прочипировать макаронавирусом через 5G вышки.
Я вас путаю, кто из вас в кефир верит, а кто на word2vec дрочит.
>Да и будущего. Лингвистические регулярности Миколова это не просто какой-то прикол, а общий подход к экстракции из эмбеддингов любых закодированных в нем отношений.
У Миколова неглубокая сетка без обратной связи, она принципиально ограничена в выразительной силе на флопс, захочешь что-то посложнее, столкнешься с экспоненциальным ростом. То есть эмбеддинги ты построить можешь, но выцеплять они будут только самый очевидный и простой контекст.
Если хочется больше контекста, то нужны RNN, но любят прошлое экспоненциально забывать, поэтому нужен механизм аттеншена, уменьшающий забываемое. Но RNN очень плохо тренируются на GPU из-за необходимости шеринга весов между разными слоями в BPTT, поэтому, как в случае с изображениями и свертками, можно забить на шеринг весов между разными итерациями и просто тренировать все разом.
И вот будущее оно лежит либо в покорении RNN новым железом с быстрым BPTT, либо нахождении альтернативы BPTT, но в краткосрочной перспективе - в дальнейшем облегчении трансформеров, чтобы помнили больше, а флопсов жрали меньше.
А Миколов остался в далеком 2014 по нынешним временам.
> То есть эмбеддинги ты построить можешь, но выцеплять они будут только самый очевидный и простой контекст.
Вот только глубокие модели в NLP существенно не превосходят "shallow"-модели типа того же скипграма. Что наводит на мысль, что диплернинх в НЛП не очень и нужон, тут скорее нужно не стакать побольше слоев, а думать, что можно сделать дальше с самими векторами эмбеддинга для экстракции чего-то интересного. И вот в этом направлении Миколов сделал то, чего до него не делал никто. Эмбеддинги были и до word2vec, TF-IDF всякие, а до лингвистических регулярностей никто не додумался (которые и на TF-IDF работают, к слову). Есть ещё в fasttext'е такая штука как OOV, out-of-vocabulary векторы слов, которых нет в словаре и соответственно, корпусе, на котором построен эмбеддинг. Они вычисляются как центроид векторов входящих в их состав букв. Т.е из эмбеддинга можно получить вектор слова или фразы, которых там нет изначально. И их можно далее использовать, в том числе для лингвистических регулярностей. Я что хочу сказать, работа с эмбеддингами это не только их построение, но и всякие неочевидные методы, которые позволяют получать из эмбеддинга вещи, которые там закодированы неявно, и.е тот сложный контекст, о котором ты пишешь. Его и в TF-IDF хватает, если правильно подойти к вопросу. А вот это все "ололо, Миколова из 2014 года - на свалку, нужно трансформеры ебенить, больше слоев богу слоев, больше трансформеров трону трансформеров" это школьничество.
>Я что хочу сказать, работа с эмбеддингами это не только их построение, но и всякие неочевидные методы, которые позволяют получать из эмбеддинга вещи, которые там закодированы неявно, и.е тот сложный контекст, о котором ты пишешь.
Проблема эмбедингов в том, что они уничтожают часть информации. OpenAI с GPT уже натолкнулись на подобную проблему, сетка хуево рифмует и плохо считает цифры (то вероятность правильного ответа "сколько один плюс один" и "сколько 1+1" разная, словами арифметика работает лучше, то же касается и рифм, если разделить слова пробелами, она начинает рифмовать лучше), а все потому что перед обучением поток символов был пожат примитивным алгоритмом сжатия, работающим на байтовом уровне. То есть в датасете сохраняется практически все о языке (точнее языках), кроме непосредственно буквенных представлений.
У алгоритмов, основанных на эмбеддингах (не самих эмбеддингах, а именно том что ты предлагаешь - "сделать дальше с самими векторами эмбеддинга для экстракции чего-то интересного") с этим хуже, потому что они не просто превращают текст в странный транслит, а затем после обработки возвращают все назад для человекочитаемого вида, но еще и уничтожают орфографию напрочь. Такой подход хорош для китайского языка, они по сути свои мысли такими эмбедингами и записывают, но не для индоевропейских и тем более синтетических.
Идеальная же языковая модель вообще должна на аудио работать, потому что буквы уже являются потерей важной информации, и первым такую натренирует скорее всего гугл, потому что у них есть ютуб с бесконечным количеством образцов речи носителей.
>потому что буквы уже являются потерей важной информации
Хуйню несешь, это для англоговна какого нибудь с его кью queue может и актуально.
> OpenAI с GPT уже натолкнулись на подобную проблему, сетка хуево рифмует и плохо считает цифры (то вероятность правильного ответа "сколько один плюс один" и "сколько 1+1" разная, словами арифметика работает лучше,
Эмбеддинг должен быть полным относительно решаемой задачи. Например, там должно быть достаточно инфы, чтобы сетка могла вывести что "1", "один", "one" это одно и то же. И такая инфа в любом эмбеддинга есть, даже если явно (вероятность взаимозаменяемости "1" на "один" во всех фразах) не задана, но ее оттуда так просто не получить, нужно как-то задать нужное отношение типа "1" относится к "один" как что-то к чему-то, в идеале такое должно строиться автоматически. У человека это работает без дополнительного специального обучения, через всякие derived relations и прочие свойства обобщенных AARR оперантов, а в сетках это надо как-то эмулировать, через те же лингвистические регулярности. Дело скорее не в недостатке данных, а в разной обработке их человеком и алгоритмами.
Не актуально это разве что для латыни, на которой никто не говорит. Модель языка не может быть полной без устной речи.
>Эмбеддинг должен быть полным относительно решаемой задачи
Для этого нужна обратная связь. Должна быть петля: после создания эмбединга кто-то или что-то должно проверить этот самый эмбединг на "полноту", и далее либо сказать "ок", либо начать все заново (либо не заново).
То есть либо приходит мыкола, видит, что эмбеддинг "не полный" в твоих терминах, и перепиливает свой shallow алгоритм, верните мне мой 2014, либо эта обратная связь зашита в сам алгоритм (следующий слой фидфорвард сети, либо этот же слой из прошлого RNN передают назад сигнал ошибки, эмбединг на лету корректируется с каждой новой порцией текста), и обучение эмбединга и цепочки в трубе преобразований идет одновременно. Внутри мозга никакого мыколы нету, инфа 100%, там сплошной вульгарный коннективизм.
>а в сетках это надо как-то эмулировать, через те же лингвистические регулярности
Не, не надо. Неокотекс это такая большая весьма однородная шестислойная RNN сеть, которая достоверно способна выполнять все задачи shallow AI, в том числе и хранит в себе модель языка. Примерно к этому и надо стремиться - универсальной рекуррентной йобе с десятком слоев.
Отличия идут в другом. Мозг архитектурно sparse, GPU dense. В итоге даже имея запиленный аттеншен, позволяющий игнорировать нерелевантную задаче информацию, во время парсинга каждого токена модель пропускает его через весь мозг. Человек бы от такой хуйни умер от перегрева. Второй момент в том, что тренировка RNN с помощью BPTT сосет, но об этом я писал. Но это в принципе можно пофиксить. У нвидии уже есть патенты на спарсификацию вычислений, единственная проблема для васянов только в том, что сейчас они умудрились впарить геймерам технологии типа RTX, поэтому можно купить дешевые видюхи и считать на них, а кому будет впариваться ускоритель sparse вычислений совершенно не понятно. В итоге придется покупать не копеечные видюхи, а сравнимые по скорости серверные решения в 10 раз дороже. Хотя возможно AI-ускоритель именно для AI будет в каждом телефоне со временем.
Ну такая уж у вас "наука", чего гореть-то
>либо эта обратная связь зашита в сам алгоритм
Вроде бы подходы с обучаемыми ембеддингами были в берте, и там они проиграли классике.
Я 12 лет на дваче и первый раз вижу, чтобы кто-то кидал друг другу подряд такие большие цельные куски текста и при этом не вайп и не паста
> Вроде бы подходы с обучаемыми ембеддингами были в берте, и там они проиграли классике.
Тоже где-то читал подобное. Я не считаю, что диплернинх в НЛП это прямо путь в никуда, просто скорее всего, он не даст радикального превосходства. С (очень хорошо обоснованной практически) точки зрения RFT, relational frame theory, речь это довольно простая вещь, даже очень сложные языковые структуры сводятся к небольшому набору очень простых отношений. И я уверен, что fasttext'а вполне достаточно для полного представления речи. Просто нужны более хитрые методы анализа, не только косинусы между векторами. Что-то было про нелинейные эмбеддинги, вроде сферы Пуанкаре. В начале нулевых ещё довольно удачно пробовали растуще-иерархическими картами Кохонена анализировать TF-IDF на основе архивов новостей http://www.ifs.tuwien.ac.at/~andi/ghsom/publications.html , с современными эмбеддингами никто таких экспериментов не ставил. Думаю, что-то такое нужно лучше разбирать. В НЛП сейчас ситуация такая, что нужно не прыгать, а думать.
>сферы Пуанкаре
>картами Кохонена
Сфинктер Жопеля, пупок Пупселя
>куски текста
Графоманыс
кручение лжеца и пуки подлеца! Несчастный крокодил и тихий педофил, а я мечу икру, вставая поутру
Как нейронка, не отличишь.
Так вот оно что! Вместо нейронки к продакшену можно прикрутить шизика.
Всё, посоны, организуем стартап.
> прикрутить шизик
Шизофазика, тогда точно не отличишь.
ты машину больцмана забыл
>больцмана
Боцмана
тогда уж попугай боцмана
посоветуйте годный курс/книгу по image processing/opencv и все рилейтед
сорян оказалось выше уже обсуждали то же самое
Что за чел, какой опыт у него.
Прошел курс от skillfactory
Хуя пригар
> Прошел курс от skillfactory
Живая иллюстрация к поговорке "стою на асфальте в лыжи обутый, то ли лыжи не едут, то ли я ебанутый". Зумер вкатывальщик занёс бабла инфоцыганам, а теперь недоволен, что его и ему подобных максимум - пилить кабанчику один проект несколько лет.
Хикканам тут не место.
https://www.youtube.com/watch?v=3HWocUXL91g
https://www.youtube.com/watch?v=3HWocUXL91g
Перезвоним-тред в соседней вкладке
Живая блядь иллюстрация к тому что шиз вообще залётный школьник скорее
Живая иллюстрация, что даже он не стал смотреть эту хуйню
Чуваки, как побороть эту ебаку? CPU считает в 50-100 раз медленнее, алё. Уже три учетки перепробовал, пидарасы из гугла сразу детектят. Прошло больше суток, сколько еще ждать?
О, а вот и настоящие зумеры на пердаках подлетели
Все понятно, типичный токсичный хуесос с хабрапомойки
По-моему, токсичный рвущийся хуисас тут ты
Есть такая примета, смотришь на ютубе видео про вкат в любую профессию, тебе пизда, ты не вкатишься. Потому что тема тебе на самом деле не интересна, тематическая инфа сложна, а реворд получить хочешь, вот и смотришь якобы полезные видео с 0 полезной инфы. Чел живет в своем пузыре, а рынок большой и огромный. Единственное, что можно сказать, глядя него, инглиш должен быть fluent, а работа на рашкоэкономику ведет к тому самому dnn.readNetFromSlesarplow и мозговой деградации
У вкатыша стадия отрицания, не трогай
>инглиш должен быть fluent
>рашкоэкономику
>смотришь на ютубе видео
Швабропидор, ты зачем из свой швабропомойки вылез?
>инглиш должен быть fluent, а работа на рашкоэкономику
Ох уж эти мечты о зелёной траве и "большом и огромном" рынке у соседа. Ага, это же не то что бы ml в бизнесе заграницей стал применяться намного раньше, тем самым раньше сведясь к "заткнись и поддерживай" рутине, неее.
>>>смотришь на ютубе видео про вкат в любую профессию, тебе пизда, ты не вкатишься
>>смотришь на ютубе видео
У тебя дислексия что ли?
Бомжи с хабропомойки спок
Поясните лучше мем про Slesarplow.
Это вообще что?
Это вообще что?
Фреймворк для датаслесарей
> Поясните лучше мем про Slesarplow.
> Это вообще что?
Tensorflow.
Дата-сатанист - меркетолух с питоном вместо экселя?
>Чуваки, как побороть эту ебаку? CPU считает в 50-100 раз медленнее, алё. Уже три учетки перепробовал, пидарасы из гугла сразу детектят. Прошло больше суток, сколько еще ждать?
Зачем ты лезешь в ML, не имея своей видеокарты? Если нет денег, то для начала устройся программистом, поработай несколько лет, наберись опыта. После этого вкатываться в ML будет намного легче, и будут деньги чтобы без задней мысли купить два титана.
Купи себе 2080 и считай на своем компе
На колабе что-то типа 1060 с в 2 раза большим объемом памяти, цена вопроса меньше 10к
> Зачем ты лезешь в ML, не имея своей видеокарты?
> занеси дяде за видеокарту
> занеси инфоцыганам за шад
> проследуй в "мы вам перезвоним" тред
Пасаны, дайте тактический совет.
Я использую jupyter чтобы быстренько покопаться в лог-файлах и построить отчетность. Да,это не ML, но спросить больше негде.
Код представляет из себя последовательность преобразований и я могу вставить туда ipywidgets для интерактива.
Сначала логи скачиваются, потом ниже обрабатываются. Все этапы в отдельных ячейках.
Эта структура кода нетипична для программиста.
Какой наиболее удобный способ опубликовать приложение прямо в виде notebook чтобы я мог продолжать его менять без изменения линейной структуры?
Я попробовать voila,но оно просто исполняет все ячейки подряд, а к интерактивной кнопке придется вызвать функцию и я не смогу пересчитать отдельные ячейки.
Я знаю про streamlit, но он тоже требует сменить концепцию.
Каким вы делаете самый первый прототип приложения?
Я использую jupyter чтобы быстренько покопаться в лог-файлах и построить отчетность. Да,это не ML, но спросить больше негде.
Код представляет из себя последовательность преобразований и я могу вставить туда ipywidgets для интерактива.
Сначала логи скачиваются, потом ниже обрабатываются. Все этапы в отдельных ячейках.
Эта структура кода нетипична для программиста.
Какой наиболее удобный способ опубликовать приложение прямо в виде notebook чтобы я мог продолжать его менять без изменения линейной структуры?
Я попробовать voila,но оно просто исполняет все ячейки подряд, а к интерактивной кнопке придется вызвать функцию и я не смогу пересчитать отдельные ячейки.
Я знаю про streamlit, но он тоже требует сменить концепцию.
Каким вы делаете самый первый прототип приложения?
У меня есть, хочу обучать одну модель у себя, а вторую халявно ебошить в колабе. Покупку ещё одной карты не предлагать. Потому что тогда я буду обучать две модели дома, а третью в колабе и т.д.
>У меня есть, хочу обучать одну модель у себя, а вторую халявно ебошить в колабе.
Если ты реально купишь 2080, которая работает на порядок быстрее того, что есть в колабе, ебаться с банами ради тамошних тормозных карточками ты уже не будешь. На самом деле даже с 1080 уже не будешь.
А лучше научись грамотно делать исследовательские модели. 99% твоих йоба идей можно проверить на MNIST на бабушкином утюге за 5 минут.
>Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Порылся так и не нашел никаких модификаций перцептрона, только другие архетектуры нейросеток. Разве в прогнозировании фондового рынка не обычный перцептрон юзают?
Порылся так и не нашел никаких модификаций перцептрона, только другие архетектуры нейросеток. Разве в прогнозировании фондового рынка не обычный перцептрон юзают?
Ебать он сладенький пупсик с крашенными губками.
Типикл датасаентист пикрил
Большинство же около верхнего угла?
Ага, это петушиный угол
шутка ради шутки, на самом деле петушиный угол это справа снизу
Парни, я задумался о новом компе. Комп будет общего назначения (разработка, сайты, фильмы, игры, machine learning). Особо гонять видуху не буду (не чаще пары часов в месяц на ML, она видео рендерить будет чаще чем machine learning), но всё же.
Вот сейчас выбираю видео-карту. Титос за сто тысяч брать жаба душит
https://market.yandex.ru/catalog--videokarty/55314/list
RTX 2070 (за 50 тысяч) это минимум? Или GTX 1660 (за 20 тысяч) пойдёт?
Вот сейчас выбираю видео-карту. Титос за сто тысяч брать жаба душит
https://market.yandex.ru/catalog--videokarty/55314/list
RTX 2070 (за 50 тысяч) это минимум? Или GTX 1660 (за 20 тысяч) пойдёт?
>Титос за сто тысяч брать жаба душит
Ну это совсем деньги на ветер, для датацентров всяких
>RTX 2070 (за 50 тысяч) это минимум
Он же по 40 скорее. Если есть 20к на 1660, лучше добавить 4к и купить 2060.
Если таких денег нет, велком на рынок б/у 10xx.
>видео рендерить будет чаще
Тогда лучше загугли бенчмарки по видео. В диплернинге скорость не так важна, ну реально, 6 часов или 8 будет что-то тренироваться, один хер долго. Гораздо важнее объем памяти, но не для твоих целей.
> Он же по 40 скорее
https://www.citilink.ru/catalog/computers_and_notebooks/parts/videocards/1174210/
RTX 2070SUPER за 44 100. Окей
https://market.yandex.ru/compare/9a07226d01a7cc5f67c5774bb1f3c2ebdec244900fac8af01dd7d3ae66ed5d7a?hid=91031&id=363510162&id=605227088&id=647027659
Самая присамая дешёвая RTX 2060 стоит 26 000 (средняя от 35 000). Но если это того стоит, то я готов.
Окей, спасибо, буду думать
>Но если это того стоит, то я готов.
С парой часов в месяц на ML - не стоит, для этого есть гугл колаб. Если решишь заняться серьезно, к тому моменту цены дропнутся. Посмотри перформанс на рубль для рендеринга своего видео/игор и решай тогда. Единственное У видюх сейчас слишком дохуя параметров (скорость, память, поддержка fp16), чтобы сходу можно было подобрать под свой бюджет.
Этот же чел говорит, что все на DGX сидят щас
https://www.youtube.com/watch?v=wxYFDQuapFU
https://www.youtube.com/watch?v=wxYFDQuapFU
Посмотрел на x2. Вообще ни о чём
Пиздец, стерли релевантный коммент. Надо было съебать из этой помойки еще в прошлый раз. Большего, чем флуда в перезвоним-треде этот мочан недостоин
Ты долбоёб, потому что. Человек закинул порнуху. Никогда не отвечай на порнуху и никогда не отвечай долбоёбам, которые ответили на порнуху. И никому из них. И из этих. Трут всю ветку. Я поэтому не отвечаю в одном посте сразу многим, а разбиваю по паре сообщений. Если потрут, то не всю ветку
Во тебе копия:
Пиздец он разводила конечно. Работадатель слил цену трешки в москве, чтобы этот хер мог дальше надрачивать себе рейтинг на кагле и толкать свои неинформативные телеги на митапах. Наверное мотивирует это тем, что он престиж конторы повышает, ну либо делит откат с отделом закупок.
Ответ:
Таких как он приглашают выступать на митапы. Лул.
> На самом деле даже с 1080 уже не будешь.
Не учи батю мимо унитаза срать
Птушник даже не понял, почему я написал про 1080. Впрочем, хуй с ним
Эта зависть бесценна :D
Есть материалы по самостроящимся нейронным сетям?
>на самом деле петушиный угол это справа снизу
Слева снизу.
Слева снизу блатные
>Слева снизу блатные
Блатные сверху - затратили меньше всех усилий и времени, но в то же время управляют остальными и зарабатывают больше всех. Мужики справа снизу - работают за достойную зарплату, но выполняют намного больше работы чем блатные, которым они подчиняются. Петухи слева снизу - работают за идею и миску риса, презираемы как блатными, так и мужиками.
Петуха забыли спросить
>Петуха забыли спросить
Я не понел, рисёрчеры придумывают новые методы и пишут статьи, аналитики чертят графики и пиздят с презентациями заказчикам, инженеры натягивают хадуп из семи залуп, а кто собственно модели-то тренирует, решает практические задачи? Ну шоб как на каггле, только ещё и без готовых данных и чёткой постановки проблем? Это типа Дата аналитики?
>а кто собственно модели-то тренирует, решает практические задачи?
Стажёры.
Трейни.
Ты так нихуя и не понял? "Пиздят заказчикам" - это и есть практическая задача мошиах лернинга. А по твоему вопросу - just stack more layers
Можно сказать, что не знаю в МашОбе ничего. Но сейчас смотрю видео с одним математиком, и он сказал, что МашОб сейчас в большинстве своем - функциональный анализ, тогда как у вас в шапке написано "базовый матан".
Так как на самом деле?
Так как на самом деле?
В шапке правильно написано. Нотация может быть любая, в том числе и с применением функционалов и операторов, как у того же Вапника, но в общем случае это выебоны.
>а кто собственно модели-то тренирует, решает практические задачи
МЛ-инженер
>Это типа Дата аналитики
Аналитик работает в экселе, дата аналитик выучил питон и работает в pandas
>МЛ-инженер
Сколько вакух на ML engineer не просмотрел, везде в обязанностях только поддержка пайплайнов, хадуп через спарк и в лучшем случае выкатка в прод.
Не знаю, где ты смотрел, возможно ты набрал на хх.ру ml engineer и там вылезла куча позиций типа data engineer
https://hh.ru/vacancy/38309102 - разработка, деплой на мобилах, оценка алгоритмов
https://hh.ru/vacancy/37711158 - подготовка датасета, обучение нейронок, и только потом хадуп
https://hh.ru/vacancy/38089770 - изучение, адаптация и внедрение SOTA
https://hh.ru/vacancy/38364004 - мутные требования, но тоже разработка алгоритмов
https://hh.ru/vacancy/36734347 - разработка алгоритмов, сбор датасетов
https://hh.ru/vacancy/38131473 - проработка архитектуры сервиса, и построение data-sets, и feature engineering
https://hh.ru/vacancy/38458529 - Исследование и внедрение алгоритмов и инструментов ML
>хадуп через спарк
А чем тебе хадуп и спарк не нравятся? Йоба-датасеты можно препроцессить и на SparkML обучать
А, ну может сейчас исправились.
Когда меня года полтора назад приглашали на мл инжинера (случайно видимо), мне всегда говорили ну мл это хорошо, но нам это не надо, скажите а есть ли у вас опыт разворачивания сервисов?
> ну мл это хорошо, но нам это не надо
Ну учитывая что это вообще все вакансии на эту позицию в Москве (еще можно несколько нарыть с другими заголовками), не особо и надо.
Проще научиться девелопменту (например разбираться лучше всех в CUDA), а потом перекатиться внутри конторы.
Где взять два года опыта работы?
Где-нибудь здесь https://hh.ru/vacancy/37133211
>имитационное моделирование различных процессов и систем в области радиолокации и радиотехники в программной среде MatLab.
молодец, хорошо пошутил, а теперь вспомни название треда плиз
Хуя требования.
Легче тогда уж вручную таким челам писать. С десяток незанятых наверное наберется.
Вполне себе требования. Даже итт половина имеет PhD.
Там платят дофига + это билет в Большой Машоб. Ясно что там все кодерки эрефии бы подали сиви. Поэтому могут выбирать самый топчик.
Ты еще не знаешь требовамий на ML-PhD в топ лабах США. Там нужно иметь несколько статей в топ конференциях (при том что ты еще даже не начал ПхД), рекомендации от известных профессоров, мастер из лиги плюща - это минимум чтобы тебя вообще рассмотрели. В МЛ адовая крысиная гонка сейчас.
>Там платят дофига
>Junior Сomputer Vision Algorithm Developer/intern
60-80к, не больше.
Не знаю именно по этой вакансии, но вообще по слухам Хуавей платит радикально больше, чем другие конторы в рахе.
>60-80к
В месяц или год?
Да нет там таких требований, это китайцы что-то намудрили. Посмотри, чел даже запятые правильно поставить не может, он мог точно так же неправильно понять слово "требования". Реальные требования - мага, английский, С++ уровня лаба.цпп, опыт работы.
Больше раза в полтора
Ты реально думаешь, что там херки не русские?
При чем тут херка? Она скорее всего скопипастила требования которые ей китаец дал. Тут дело даже не в том что пхд, а что и пхд и призер и медаль. Это бред, так не бывает. Ну а еше я знаю тех кто там работает. Разные люди там
> Тут дело даже не в том что пхд, а что и пхд и призер и медаль. Это бред, так не бывает
Почему?
Потому что таких людей можно и самому найти, а не подавать объевление???
Расскажите свою историю успеха вката в машин лернинг.
Сам пока что прохожу курсы по математики и курс от МФТИ на степике.
Сам пока что прохожу курсы по математики и курс от МФТИ на степике.
>В месяц или год?
Рублей в месяц.
Заканчивать МФТИ/ВШЭ/МГУ, чтобы работать за меньше 1к баксов в месяц на китайцев это очень смелый, но глупый поступок.
>Заканчивать МФТИ/ВШЭ/МГУ, чтобы работать за меньше 1к баксов в месяц на китайцев это очень смелый, но глупый поступок.
А что ты хотел? Зарплаты во всех областях IT примерно одинаковые. Джун получает 60к независимо от того, занимается он машобом или веб-макакингом.
Да не вопрос. Учился на мехмате МГУ, программировать получалось, но мне было скучно именно сам код набивать, взял академ, попробовал курсы на курсере, понял, что это прет, у меня таллант к этому, понравилось, поступил в более слабый аналог ШАД, учился, дрочил машинку, доучивал матешу, которую не доучил, что-то наоборот лучше понял, взяли на работу сначала кодером, проявил себя и взяли джуном.
То, что я видел на курсере, кстати - это вообше пыль, там дают общие сведения на пальцах по простейшим алгосам, ни работать с данными, ни базовых основ реальных алгоритмов, ни нормальной математики, ни подводных камней - ничего этого нет. Я уж не говорю про то, что полноценного курса по нейронкам еще ни разу не видел, обычно на пальцах ганы и говноенкодеры показывают, не более.
stepik.org/org/dlschool
Что скажешь за их курсы? Норм?
ИМХО сам формат видеокурса не подходит для серьезных тем. Помимо лекций, нужно еще читать книгу (диплернингбук и т.п.), делать упражнения - самому все реализовывать, копаться с данными, разбираться почему не работает, подбирать гиперпараметры. Кагл для этих целей неплохо подходит - не за призы бороться, а, скажем, хотя бы в серебро попасть.
Если ты просто отсмотрел видосики как аниме, клюя носом, то время потрачено зря.
> Если ты просто отсмотрел видосики как аниме,
Так это и есть аниме. Рассчитанное на зумеров с клиповым мышлением. Для нормальных людей источник знаний - книга, уже не первое тысячелетие, к слову.
>Да нет там таких требований, это китайцы что-то намудрили.
Ахах)
Нейронки на хайпе + пандемия с увеличившейся безработицей = дохуя вкатышей. Вот они планку и подняли.
Еще более глупый поступок - слушать шизиков по поводу зарплат. При чем один такой шизик спизданет что-то, другой подхватит, а через месяц это уже устоявшаяся инфа от анона.
Смотрел только со степика. Все то же самое, что и про курсеру. Вообще нет онлайн курсов подобного формата, где что-то бы отличалось.
Кстати, имейте в виду, что сейчас выпускников подобных курсов, как грибов после дождя, неадекватное количество какое-то, туда 30-40 летние управленцы из других специальностей идут.
Не совсем, кагл пропускает мимо большинство проблем, которые влияют на качество заметно сильнее, чем шатание фичей и моделей. Какие-то шишки набить можно, основные, но не более.
Книги - конечно лучше и глубже чем курсы, тот же дип ленинг бук уже серьезная основа. Но лишь основа, практики там нет никакой, кроме того же шатания моделей.
>Вот они планку и подняли.
Не подняли, я такую хуйню на собесах творил и говорил, а меня все равно зовут, потому что я реально джун. А вкатыши как вкатились, так и пытаются свои пет проджекты пилить, да статьи на хабре читать.
>Для нормальных людей источник знаний
Университеты с лекциями и семинарами. Но это во все времена был крайне дорогой формат, который в массовом варианте изжил себя, потому что лекция имеет смысл, когда у тебя хороший лектор, а не хуй с горы, и хорошие студенты, потому что караван идет со скоростью самого медленного верблюда. То есть в 20 веке все думали, раз со школами получилось добиться массовой грамотности, то мы ща наштампуем университетов, и все будут массово инженерами. А на самом деле уровень инженерии упал ниже плинтуса.
Зато удаленка улучшает именно массовый вариант - посмотрел лекцию топового чувака бесплатно, прочитал главу в учебнике, сделал упражнения без гугла, в чатике обсудил с себеподобными, а так как разные люди обращают внимание на разное, погрузился в тему еще больше.
А книги рожают типичных дилетантов, потому что отсутствует главное - обратная связь от реальности. Человек погружается в свой манямир и живет там.
> А книги рожают типичных дилетантов, потому что отсутствует главное - обратная связь от реальности. Человек погружается в свой манямир и живет там.
С чего бы? Книга это теория, конкретное программное обеспечение - практика, полученные результаты - обратная связь от реальности.
>ИМХО сам формат видеокурса не подходит для серьезных тем. Помимо лекций, нужно еще читать книгу (диплернингбук и т.п.), делать упражнения - самому все реализовывать
Так в нормальном курсе есть упражнения, которые проверяет робот, пдфка для справок во время делания дз и тусовка (и не одна), в которой одни люди задают вопросы, а другие отвечают. Они берут массовостью и массовость решает. Даже если ты очень умный, из 10к людей найдется такой, который задаст вопрос, который поставит тебя в тупик. В универах ничего подобного нет.
Проблема у курсов в другом. Курс хорош, когда ты к нему готов. Тогда он идет легко, и затраченные усилия не кажутся потерей времени.
А как поступают вкатывальщики? Первая мысль - да, я ебанил 10 лет, то сейчас я замотивирован. Буду страдать. Далее записывают себя на курс, после которого можно сразу идти зарабатывать джуном. Очевидно это будет не курс линала, за линал не платят.
Этот курс, сука такая, содержит всю нужную инфу начиная с объяснения, что такое матрица, поэтому производит впечатление, что можно и не знать, что такое матрица, вот же все объяснено.
Проблема в том, что эта инфа нужна для освежения информации и знакомства с нотацией конкретного лектора, а вкатывальщик думает, что это и есть курс. И не понимает, с хуя первые полчаса все понятно, а потом начинается какая-то жесть. Сидит, гуглит. Нагугленная инфа забывается так же быстро, как гуглится. В итоге по окончанию курса человек не помнит нихуя, даже въебав часы в это все. Зря такой курс не прошел естественно - тот же линал пойдет легче, а после этого можно вернуться уже в ML. Но вкатывальщик об этом не знает, он начинает поносить курсы и говорить, что всю инфу можно и так нагуглить.
И ему либо не везет и он идет в макдак, либо навыки жулика срабатывают и он-таки попадает на джуна, будучи нулем.
Поэтому если охота учиться по курсам, надо открыть программу любого вуза и идти по дереву этих самых курсов. Это будет круче книг и заборостроительных вузов.
По каким слухам, по этим? https://www.interfax.ru/russia/716731
Это они когда кого-то конкретного переманивают не скупятся
Платят ниже рынка
Бабушкин вообще жаловался, что его месяц по собесам гоняли, а потом предложили меньше, чем он сразу сказал, что даже говорить не будет, еще и обосновали это типа: для вас же не деньги главное - заходы уровня тинька, короче.
> для вас же не деньги главное
Да... Люди же на работу не деньги зарабатывать устраиваются.
Вообще такое иногда бывает, но это касается сеньоров-помидоров, которые уже давно пилят проект, их иногда перестают деньги ебать, но в основном потому, что им платят очень много и у них уже все есть и им интереснее проект делать.
>Хуавей
>ряя шизики!
Приветики, как там ваш мл в 2020? Где подвижки, почему ничего не делаете?
Конечно шизики, а хули ты хочешь. Какие-то собственные фантазии выдаются за 100% инфу и начинается дружный самоподдув. Один вообще начал дрочить на какого-то балабола из пятерочки. Ебать, оказалось где-то нужно работать, а не просто языком молоть.
Потому что олимпийскую суперкоманду еще не собрали.
>Какие-то собственные фантазии
Нихуя отрицание. Чел, это не "фантазии", а объективная реальность рынка
Бля это про меня, дай ссылку на вакансию.
>балабола из пятерочки
Сладенький Бабушкин
Вот это не очень понятно.
ведь джун МЛ участвует в принятии стратегических решений через одно рукопожатие до генерального. Ответственности дохуя.
> балабола из пятерочки
Буду каждый пук его засасывать и сюда скидывать. Просто, чтобы наслаждаться твоим бугуртом.
Он от любых персоналий, напоминающих ему о собственной ничтожности, горит. Вон, омежку мальцева сверху так же обосрал.
>2к20
>не искать работа на дваче
Ты хрюня из хуйвея что-ли? Оу, херроу!
Проблема только в том, что это только ты ничего не знаешь что творится в индустрии потому что маняфантазёр-ноулайфер; а все нормальные пацаны, как я например, через одну руку знакомы с теми кто в этой китайской параше поработал.
>через одну руку знакомы
Дорогие двачане, тут у меня встал вопрос хуй как в уже обученную нейронку добавить новый класс и дообучить её не теряя старые? Есть варианты кроме transfer learning и полного переобучения? Важно именно не переобучать с нуля, а дообучить уже готовое. С меня как обычно нихуя
Пидорашка всё про своё любимое
Пидорашки это те, кто "через одну руку знакомы" со всеми китайцами???
Сука, откуда вы дебилы лезете. Начитались говна на хабре, шаблонов научили и все. Оторви голову и дообучи с новым классом, пидорас.
Тогда прошлые по пизде пойдут
Кто прошлые? Почему?
Что?
>ведь джун МЛ участвует в принятии стратегических решений через одно рукопожатие до генерального. Ответственности дохуя.
Джун чистит вилкой данные. В принятии решений участвуют сеньоры/лиды и очень редко мидлы.
Про оторви голову я уже написал (transfer learning для тупых) прошлые классы пойдут по пизде из-за катастрофического забывания. Тк новые слои не увидят старых данных и обучатся только на новых блять
Натренируй новую сетку на задачу бинарной классификации: детектить новый класс или старые. Затем для инференса используй логику
if новая_модель.predict(x) = новый_класс:
return новый_класс
else:
return старая_модель.predict(x)
PS вместо всех старых данных используй какую-нибудь подвыборку для новой модели в смысле
> джун МЛ участвует в принятии стратегических решений через одно рукопожатие до генерального
а потом просыпается на лекции
У тебя есть опыт работы джуном мл или ты кукарекаешь с высоты своего опыта в вебе?
>Проблема только в том, что это только ты ничего не знаешь что творится в индустрии потому что маняфантазёр-ноулайфер
Я помогал знакомому туда устроиться джуном, он устроился (сам я там не работал и вообще первый раз услышал что что-то про них) При чем говорил я то же самое, что вам, тупеньким, что текст в вакансии всегда содержит завышенные требования. А так-то я конечно не знаю, что творится в вашей петушиной "индустрии" и не претендую. Говорю только за хуавей, при чем за конкретную позицию. Просто теперь можно задуматься, если вы так пиздите о том, о чем я знаю, то как же вы пиздите о том, чего я не знаю. Тут были какие охуительные истории про самсунг, яндекс и т. д., видимо у них такое же качество протухших инсайдов.
с высоты своего опыта на совершенно разных позициях: в вебе, в ядре финтеха, числодробилках, МЛе.
Какие ты стратегические решения принимаешь? XGBoost или CatBoost? Это не стратегическое решение. Стратегическое решение это взять тебя, болвана, на баланс
Да если бы бинарный можно было бы юзнуть просто, то я бы сюда не писал. Заказчику нужна именно та модель, чтобы её можно было просто через json заимпортить
>Заказчику нужна именно та модель
Обучить с нуля любую модель, если датасет и параметры оптимизатора где-то написаны, не очень сложно. Тебе нужно просто обучить ее по инструкции, показать, что у нее такой же перформанс, как у оригинальной модели, затем добавить в датасет новый класс и обучить опять с нуля. Это имеет смысл, если у тебя не BERT какой-нибудь конечно, и обучение занимает часы и дни на GPU. Тогда за пару дней обучишь оригинальную модель, еще за пару дней обучишь уже новый датасет.
Transfer learning использовать можно, для этого нужно сбросить некоторые слои в конце (обычно полносвязные) и обучить только их, но результат будет хуже.
Все остальные варианты будут еще хуже, на уровне шизы и фричества уже
Ну старый датасет тебе, ленивая жопа, скачать все равно придётся. Далее ты добавляешь в него новый класс и дообучаешь чистые слои.
Но объем работы человека при этом больше, если сделать то же самое с нуля. Поэтому надо делать как я в прошлом посте написал, показать клиенту что ты можешь бейслайн воспроизвести, а потом уже обучать с нуля.
А корочки у тебя будут или ты можешь только кукарекать на дваче?
> А так-то я конечно не знаю
Ключевое из твоего словесного поноса
> При чем говорил я то же самое, что вам, тупеньким, что текст в вакансии всегда содержит завышенные требования
Прекрасно, шизопетух, речь шла про бабки, не увиливай
В смысле, "та"? Логику с ифами можно в сетку превратить если очень хочется
какие я тебе корочки покажу, если программированием занялся ещё в средней школе?
>текст в вакансии всегда содержит завышенные требования
Иди сразу подавайся на гендира Роснефти, хуле на этот ваш машинлернинг размениваться
Если джун мл неправильно почистит вилкой данные, то ошибочные решения заведут всю компанию в жопу.
А серьор-помидор сколь угодно хуевый софт может может выдавать долго и безболезнеено.
Вот поэтому непонятна разница в зарплатах
>Ключевое из твоего словесного поноса
Дэмэдж контрол - мое почтение. Сидит такой лайфер на дваче, занимается распространением сплетен с инфой от уволенного знакомого знакомого, а оказывается, у кого-то есть инфа не через десять рук.
>Прекрасно, шизопетух, речь шла про бабки, не увиливай
При отклике на вакансию? Ты наркоман что ли?
>Если джун мл неправильно почистит вилкой данные, то ошибочные решения заведут всю компанию в жопу.
Это тебе так на курсах сказали?
а чо реально без пхд за бугор не свалить? с бакой например?
> с бакой
Заметут за лоликон
> кококо да я не знаю мне похуй
> ой пок пок на самом деле знаю был джун
> ну там был джун какой-то чёто там у меня спросил
> кукареку испервыхрук!!
> а при чём тут деньги? я не пра деньги!
Клоун, маняврировать там тупым как ты запрещено, мы тут всем тредом от испанского стыда помрём.
Мань,
Это какой-то новый уровень шизоотрицания. "Нет, врёти, laba1.cpp, яскозал!!1!"
> 60-80к
> Больше раза в полтора
> (на самом деле нет)
Кто петух? Ты петух
Бабушкин всё правильно про этих обезьян подметил
>Кто петух?
Вот главпетух - . Думал, раз обосрался с "уволенным знакомым знакомого" (вот уж где кринж-то, максимум омежности для демонстрации своего лайферства), сманеврировать, решил высрать стену гринтекста, обвинив меня самого в маневрах, и соснул опять, ведь про деньги я писал вообще первым делом.
Если это был ты, то ты и есть главпетух, ну либо просто рядовой тухлодыр. Оба чмошники, понятное дело.
А про вакансию эту я хуавеевцу рассказал, поржали.
>Думал, раз обосрался с "уволенным знакомым знакомого" (вот уж где кринж-то, максимум омежности для демонстрации своего лайферства), сманеврировать
>нет ты!
Решил продолжать позориться? Ок
В общем, ты, маняшиз обосрался по полной и выбрал самую проигрышную стратегию полных отрицаний и игнорирования, мы это уже в треде ЗАФИКСИРОВАЛИ, можешь не дёргаться дальше
>ведь про деньги я писал вообще первым делом
Ну да, и обосрался, а потом начал вилять сракой и кричать врёти на потеху 80% здесь сидящих для кого гроши вместо норм зп в хуйвее common knowledge просто. Ты ещё может про яндексовую практику давать ниже рынка не в курсе?
Единственный аргумент - "мои пруфы пруфовее твоих пруфов", который ты пытаешься дать в разных обертках, но внутри-то все как было все протухшее, так и есть. Сначала это было что я нолайфер и у меня нет инфы из хуавея, я разъебал, потом, что я маневрирую, я разъебал, теперь пошел поиск авторитетов - мол, common knowledge и "80% треда". По-русски это называется "одна бабка сказала". Ты же омежка без софтскиллов и действительно веришь той хуйне, которую тебе сообщают в курилках и прочих местах необязательного трепа, но, прикинь, там могут пиздеть, живи с этим.
>Ты ещё может про яндексовую практику давать ниже рынка не в курсе?
О, это охуенный вопрос. Во-первых, я выше писал, что если вы про хуавей пиздите, то может и про остальное пиздите тоже. Во-вторых, я в курсе том, кто на тему яндекса пиздел с пруфами, и устроился после подобного пиздежа про яндекс на 200к в другую контору. То есть этот миф "мне в яндексе платили ниже рынка, но вообще я очень крутой, вон, в яндексе работал, платите мне сходу дохуя" - он работает, он выгоден всем, кроме наебанных строчкой в резюме работодателей (но и им зачастую похуй, потому что в продукте они не заинтересованы). А что там на самом деле у яндекса, не ебу. Так же, как я понятия не имел - 120к это выше рынка или ниже, и мне похуй, для меня единственный индикатор - это ваше жопоразрывание. Получается, выше, жопы-то рвутся. Хотя в прошлом треде был джун со 150к, ну и я тогда подумал, что хуавей платит ниже, потому что 120<150. Мне, опять же похуй, если 120 - это ниже, значит ниже. Если выше - значит выше. А если 60к - это пиздабол и червь-пидор несет хуйню. Ну да, фирма, которая может позволить себе держать офис в Лондоне, зажопит штуку баксов, чтобы толковый джун от них ушел. Охотно верю. Это же китайцы, любой двощер умнее китайцев.
При чем я догадываюсь, откуда эта хуйня взялась. Это был парттайм. Естественно, никакой особенной работы при парттайме сделать нельзя, это чисто, чтобы удержать талантливого человека, пока он не перейдет на фуллтайм. Но подобное нужно обсуждать непосредственно с ним. А здесь петушки, "я на ютубе видел, как знакомый знакомого о хуавее рассказывает", говно и чмошники.
>за бугор
Посоветуйте чо копать в области cv + нейронки, я щас на уровне - обучил unet на своем датасете, все клево, хз чо дальше делать.
Работал в хуавее, платили сотку но при этом не оформляли в штат, отношение оформляются по договору подряда с тобой как с ипшником
С олимпиадниками по матеше/проганью работал там?
Там где я был в основном дядьки кмны 35+ были, уж не знаю олимпиадники они или нет в прошлом. Но вряд ли это было важно.
Эй, работяги, а вы блюдёте трудовую этику или следуете каким-никаким принципам при трудоустройстве?
Ну, например, Сбербанк строит электронный гулаг - пошёл он на хуй, ВК сливает данные полицаям и фсб - пошёл он нахуй, Хуявей - китайцы, а значит потенциальные противники, к тому же строящие гулаг - пошли они тоже на хуй и т.д.
Или деньги не пахнут?
Ну, например, Сбербанк строит электронный гулаг - пошёл он на хуй, ВК сливает данные полицаям и фсб - пошёл он нахуй, Хуявей - китайцы, а значит потенциальные противники, к тому же строящие гулаг - пошли они тоже на хуй и т.д.
Или деньги не пахнут?
Наценка на гулаг точно должна быть. В сбер я бы пошел за 500к где-то.
>трудовую этику
Тогда нигде нельзя будет работать. FAANG уже построил свой кибергулаг и продвигает повесточку
Про гулаг только малолетние долбоёбы бесполезные рассуждают, с моими убеждениями это не расходится. Так что совмещаю приятное с полезным: делаю мир лучше вопреки шизикам и гребу бабосеки.
>распознавание лиц
>контроль расходов со стороны банка
>контроль звонков и смс со стороны телефонных компаний
>анализ траффика у провайдеров
>не гулаг
Так ты и есть малолетний долбоёб, шавка режима.
Штрафы за превышение скорости ещё забыл, ужасный гулаг.
Классика малолетнего долбоёба.
>очередной нечегоскрывальщик
Классика.
>то же самое в исполнении (((корпораций)))
>это другое
Ни одна корпорация не придет к тебе в 2 часа ночи ломать дверь и отбивать яйца за то что по ошибке посчитали что ты впараше комментарий оставил.
https://www.severreal.org/amp/30748118.html Я понимаю, что многие зумера ,по своей ЛГБТ натуре сторонники сильного сапога в жопе, но реальность-то отрицать не надо, к чему ты кукарекчешь про другое?
Эксперты, поясните, нужно ли в бинарной классификации уравнивать классы не только трейн-набора, но и тест-набора? Просто у меня такая задача, что одного из классов обычно 5%-10% (самый максимум 20%). Я сначала уравнял в обоих наборах, стало заметно лучше, но потом я подумал "а зачем я уравниваю в тестовом, это же читерство?" и убрал оттуда уравниловку -- и стало опять плохо
Можно или в тестовом делать распределение как в трейновом или наоборот, в зависимости от того что более репрезентативно для задачи
сам не сталкивался, но гугли anomaly detection или imbalance classification
Распределение что в трейне, что в тесте, должно быть как в жизни. Если при этом работает плохо, у тебя неправильный лосс, используй, например, weighted cross entropy.
> я не знаю но мне похуй но я разъебал но если не согласен - ты чмошник но я ничё не знаю но мне похуй да кто омежка сами вы омежки кто шиз сами шизы всё врёте ничё не знаю
Кому лень бахнутую простыню читать
Поставил positive-to-negative-weight-ratio и теперь можно подавать всё.
Всем спасибо.
Трансформация изображения с нормализацией типа
Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
используется преимущественно через PIL.
А через opencv её можно выполнить? Если да, то как?
Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
используется преимущественно через PIL.
А через opencv её можно выполнить? Если да, то как?
Слои иди стекай, вася. Нейроночка сама все себе нормализует как надо. Твои потуги только навредят, искажая сигнал.
Т.е. то, что тут описано https://pytorch.org/hub/pytorch_vision_densenet/
All pre-trained models expect input images normalized in the same way, i.e. mini-batches of 3-channel RGB images of shape (3 x H x W), where H and W are expected to be at least 224. The images have to be loaded in to a range of [0, 1] and then normalized using mean = [0.485, 0.456, 0.406] and std = [0.229, 0.224, 0.225].
НЕ НУЖНО?
В питоне opencv использует numpy массивы, поэтому ты можешь просто сделать (a-np.array([1,2,3])[:,None, None])/np.array([4,5,6])[:, None, None], при чем это [:, None, None] нужно только из-за ебанутого channels first формата, если бы у тебя был channels last, можно было бы писать (a - [1,2,3])/[4,5,6]
Если прямо opencv нужен, есть cv2.subtract и cv2.divide(scale,...), но второй не может делить на 3-х канальные скаляры, поэтому придется поделить каждый канал по отдельности. Если в продакшене, то cv::dnn::blobFromImage имеет параметрами mean и scale factor, опять же scale это double, но на самом деле если ты поделишь на 0.225 каждый канал, ничего страшного не случится.
Нужно. Просто в голове дип шизика сильный ии уже построен.
Спасибо.
А трансформировать cv-изображения можно как на пикрилейтеде?
Или это лучше делать с PIL-картинками?
https://www.learnopencv.com/fully-convolutional-image-classification-on-arbitrary-sized-image/
Вопрос-то в чем? Поддерживает ли cv2 из коробки подобный интерфейс в виде списка трансформаций? Нет, пиши императивно, ну либо юзай PIL, в чем проблема-то. Конвертится все из одного формата в другой одной строчкой.
> Поддерживает ли cv2 из коробки подобный интерфейс в виде списка трансформаций?
Да, именно в этом.
>Нет, пиши императивно,
Окей.
>ну либо юзай PIL, в чем проблема-то. Конвертится все из одного формата в другой одной строчкой.
А смысл гонять из одного формата в другой? cv2 побыстрее так-то.
Спасибо.
Есть датасет картинок. Каждая картинка обработана, превращена в тензор и сохранена как файл.
И как теперь это добро подавать на вход модели?
Через cat или stack списка тензоров конечный тензор может быть очень большим и не влезть в память.
Что делать? Тупо загружать по N случайных файлов, соединять их и подавать на вход модели? Или есть какие варианты?
И как теперь это добро подавать на вход модели?
Через cat или stack списка тензоров конечный тензор может быть очень большим и не влезть в память.
Что делать? Тупо загружать по N случайных файлов, соединять их и подавать на вход модели? Или есть какие варианты?
>Или есть какие варианты?
Numpy memmap. Сохраняешь свои картинки как один массив на диск и используешь его как будто он лежит в памяти.
Одна из причин, почему современные методы машобчика бесполезны для решения реальных проблем - тот факт, что большинство сойбоев, их разрабатывающих, живут в соевом манямире, в котором важнейший приоритет - опубликоваться и выебнуться перед себе подобными на коворкинге со смузи наперевес. Изначальная задача машоба, решение практических задач, всю эту БЛМ тусовочку принципиально не интересует. Об этом уже прямо пишут в MIT. https://www.technologyreview.com/2020/08/18/1007196/ai-research-machine-learning-applications-problems-opinion/amp/
> Too many AI researchers think real-world problems are not relevant
> The community’s hyperfocus on novel methods ignores what's really important.
Максимум, с чем они имеют дело это стандартные датасеты, какой СЖВ сипм получит результат на 0.001% лучше остальных, тот и крутой.
> Too many AI researchers think real-world problems are not relevant
> The community’s hyperfocus on novel methods ignores what's really important.
Максимум, с чем они имеют дело это стандартные датасеты, какой СЖВ сипм получит результат на 0.001% лучше остальных, тот и крутой.
>живут в соевом манямире
Ой, да ладно, типа академические вговнемоченые не оторваны от реальности и не живут в своей маняматической абстракции.
>получит результат на 0.001% лучше
Разве это не удел всяких кагглов?
В индустрии-то решают реальные проблемы.
Чики чики двощ двощ
Раздумываю над решением не очень распространённой задачи, суть такова: имеются получасовые записи эфира радио "Голос Кореи" (по одной за каждые каждые сутки), в них начитки текста дикторами перемежаются с музыкальными вставками, культура, хуле.
Есть идея выдёргивать из записей эти дикторские начитки и накладывать на них биток, дабы получать на выходе каждодневные свежие новости от наших братишек из КНДР в стиле Кровостока. Крутиться всё будет на OrangePI Zero LTS (512 ОЗУ, 4 ядра ARMv7, кастрированная убунту сервер), если это важно.
Подскажи мне, милый Двач, чем проще распознать и выдернуть речь из файла в автоматическом режиме на ARM платформе?инb4: пшёл ты в жопу, скрипткидди
Раздумываю над решением не очень распространённой задачи, суть такова: имеются получасовые записи эфира радио "Голос Кореи" (по одной за каждые каждые сутки), в них начитки текста дикторами перемежаются с музыкальными вставками, культура, хуле.
Есть идея выдёргивать из записей эти дикторские начитки и накладывать на них биток, дабы получать на выходе каждодневные свежие новости от наших братишек из КНДР в стиле Кровостока. Крутиться всё будет на OrangePI Zero LTS (512 ОЗУ, 4 ядра ARMv7, кастрированная убунту сервер), если это важно.
Подскажи мне, милый Двач, чем проще распознать и выдернуть речь из файла в автоматическом режиме на ARM платформе?инb4: пшёл ты в жопу, скрипткидди
через glob получаешь список с названием картинок, через генератор по батчу считываешь и через модель пропускаешь
Спасибо, попробую.
Но если у кого есть ещё советы по , внимательно слушаю.
Как вообще решают проблему экономии памяти и проблему подачи данных частями?
>через генератор по батчу считываешь и через модель пропускаешь
Ну так если я датасет поделю на 100 частей и постоянно буду одни и те же части подавать на вход модели, обучения-то и не будет.
в конце эпохи перемешать список путей и все
Спасибо.
Спасибо, конечно, анон, но это совсем не то, что выполнит мою задачу. Полистал доки и не нашёл ничего про разделение этой либой вывода на музыку и речь.
Зато вот нашёл на гитхабе github.com/ina-foss/inaSpeechSegmenter, вроде по описанию делает то, что мне нужно: режет входной файл на куски по содержимому, речь или музыка. Дело за малым: заставить этот ваш tensorflow работать на одноплатнике. Кстати, это вообще возможно? Нужно самому компилять его под ARM или опытные господа где-то достают докер-контейнеры с готовыми сборками?
Wagecuck-шнырь
>решает РЕАЛЬНЫЕ ПРОБЛЕМЫ
>ой а что ещё вам посчитать? может я оближу ваши яйцы?
PHD-господин
>считаем MNIST этим новейшим yoba-fit-predict просто потому что можем
>lmao what is real-world problems
В MIT уже понимают, что это деградантство, но куда уж им до зумера из Блинолопатии.
Вопрос вдогонку: длина датасета скорее всего не будет делиться нацело на размер батча, что делать с остатком? Добивать его до размера батча? Или оставлять как есть? На обучение это не повлияет?
как только ты дошел до конца выборки, тобиш в каком то счетчике у тебя i == len(train), то перемешиваешь все и дальше добираешь образцы в этот батч
не повлияет
Потому что РАБы
а для подлинного аристократа духа главное как раз "выебнуться перед себе подобными"
> а для подлинного аристократа духа главное как раз "выебнуться перед себе подобными"
Выебоны на первом месте для зумеров-позеров и подобного скама. Хуями меряются друг перед другом бабуины, а не аристократы духа.
>implying аристократ - не бабуин
Не много ты знаешь об аристократии
Если у тебя в модели переменный батчсайз, то пофиг, если жёстко зашит, то нужно обрезать чтобы было кратно
> для подлинного аристократа духа главное заниматься тем что по приколу, а не тем что "нужно" бизнесу, обществу, армии, дырявым зумерошизам etc
fix
>например, срать годами в нейроночкотреде
Подскажите кабанчику,
если у меня есть видео производственного процесса, сравнительно низкокачественное замыленное и иногда даже с запыленной камеры, будет ли толк, если я натравлю на него image embedding например inception v2?
Они ведь на нормальных картинках его обучали а не на мыльном кинце 640x480
если у меня есть видео производственного процесса, сравнительно низкокачественное замыленное и иногда даже с запыленной камеры, будет ли толк, если я натравлю на него image embedding например inception v2?
Они ведь на нормальных картинках его обучали а не на мыльном кинце 640x480
Инсепшен обучали вообще на 200х200, так что если у тебя там классификация, а не сегментация, то вполне нормально. Но в чем проблема купить гопроху?
промышленные системы видеонаблюдения из всякого говна и палок.
никто не будет их апгрейдить.
Кто-нибудь видел тогда ПО для кабанчиков, которое можно просто обучить по схеме "обстановка рабочая" и "в цеху происходит какая-то хуета и щас Петрович намотается на вал" (anomaly detection) ? с интерфейсом и тд.
ясно, что это требует постоянного доучивания.
датасет петровичвал.jpg
Господа, добрый день!
Собираю пк для машобчика, бюджет 80-90к
Есть ли у кого-то примеры хороших актуальных сборок? За советы и наставления буду крайне признателен
Собираю пк для машобчика, бюджет 80-90к
Есть ли у кого-то примеры хороших актуальных сборок? За советы и наставления буду крайне признателен
Сап аноны, можете объяснить, как работает aiportraits в общих чертах?
>машобчика
Для какого именно? Многие задачи можно решать и без мощного компьютера с видеокартой. Лучше начинай вкатываться, а вычислительные мощности купишь/арендуешь по обстоятельствам, если понадобятся.
Решаю кэггл
Стажируюсь в компании
Т.е. я уже вкатыш, арендовать не очень выгодно выходит, а упираюсь я в производительность пк часто
Задачи разные: и cv и nlp
>Стажируюсь в компании
Что за компания?
Обычный аутсорс, поэтому задачи разные
Типа epam?
Только текучка куда меньше и кадры посильнее в среднем, по крайней мере такое мнение бытует
Но я живу не в дс-1/2, компаний со своим продуктом, которым нужны дс, нет в моём городе
начинаю стажироваться, уклон в cv, расскажи какие вы там технологии используете в cv, что вообще почетать мб, шоб сразу в теме быть, что щас модно в cv
Будем переобучать перекатывать?
А если 2176 ядер CUDA и 8 ГБ GDDR6 на борту?
https://www.nvidia.com/ru-ru/geforce/graphics-cards/rtx-2060-super/
если замахнулся на обработку изображений- бери сразу что-то на 11гб. Я взял 2 по 8 и они нихера не быстрее и не эффективнее работают (кроме как по деньгам, конечно), чем одна на 11гб. Сейчас стало не хватать памяти. И таки да, я там с горем пополам релизнулся с оголением анимешных девочек. https://2ch.hk/h/res/165538.html#165731
Кто-нибудь знает как в pyspark обычный group by apply, как в пандасе, сделать?
Все облазил, нигде конкретно не написано, какие то pandas udf, но там скорее для agg, а мне именно apply нужен
Все облазил, нигде конкретно не написано, какие то pandas udf, но там скорее для agg, а мне именно apply нужен
А что ж ты сюда-то не нёс? Завтра звук расстёгиваемой ширинки испробую. Надеюсь у тебя там не только Телега, да? А то не горю желаением палиться
более анонимные способы- это отдать сервер левой фирме на островах, которая будет им крутить и спиздит если захочет. У дип нуда сразу открыты были файлы, а я типа пока что не хочу сливать. Нужно кое-чего разгрести сначала в реале. Там есть примеры как оно может работать, остальные позы- извините, не может 1гб модели вместить в себя сразу всё. Можно было бы сделать разные варианты с опознованием с какого ракурса сделан рисунок, но это еще тот гемор, я в конце уже брал только изображения определенных "прямых" ракурсов.
Нет, я про что-то типа дискорд-бота или сайта, чтобы не палить свой аккаунт с реальным именем и номером телефона.
э. я такой тупой, что не вижу, кто именно пользуется ботом. Мне это не надо. Вижу какие картинки закидывают и пока что сохраняю их, чтобы сравнивать потом с новыми итерациями, тока ради этого. Если и есть у бота возможность палить, то я про неё не знаю и инфу не собирал.
Есть у кого нормальное описание алгоритма поиска контуров (функция findContours в OpenCV). Нахожу только ссылку на статью "Topological structural analysis of digitized binary images by border following. Computer Vision, Graphics, and Image Processing", которой в отрытом доступе нет нигде от слова совсем. Может кто сталкивался. Копаться в OpenCVшных имплементациях совсем не хочется
Реквестирую.
Сап, в треде школьник 15 лет, хочу вкатиться в machine learning, сейчас знаю python, javascript. Что читать, что смотреть, что учить? Желательно на русском, простите что сру сюда, но по шапке не особо понял, спасибо.
Сап, в треде школьник 15 лет, хочу вкатиться в machine learning, сейчас знаю python, javascript. Что читать, что смотреть, что учить? Желательно на русском, простите что сру сюда, но по шапке не особо понял, спасибо.
Хочешь реально дельный совет - учи английский и математику, не забрасывай программирование (можешь даже попробовать себя в алгоритмах). Пока время есть постарайся вложиться в хорошую базу, потом это всё тебе очень поможет.
Местные тайдмены могут срать тебе в уши что угодно, но без английского на уровне хотя бы честных A2-B1 я не представляю, как ты будешь читать свежие пейперы, которые зачастую даже и не переводят, а многие вещи успевают устаревать очень быстро.
Ещё один довод вложиться именно в базовые вещи - это тот факт, что тебе до реальной работы ещё пахать пару лет, как минимум, а какие там технологии будут актуальны в мл через это время - хуй его знает.
Также не мешало бы освоить нормальную ос (18.04 сойдёт), хотя бы виртуалочку поставь, гит, а дальше уже будешь смотреть в зависимости от того, что тебе нравится, т.к. для простой аналитики стек с бигдаты вряд ли тебе поможет, но вот для мл вполне может пригодится
По поводу именно мл, из того, что есть на русском - курс физтеха, mlcourse от ods (мб дл там практически нет, но вот зато пройдя этот курс, ты довольно быстро освоишь базовые алгоритмы, поработаешь с пандасом, а также парочку контестов простеньких решишь на каггле). Последний рекомендую смотреть только на английском языке, там у чела настолько русский акцент, что на нём было бы ахуенно и потренить английский, т.к. все слова понятны будут. Первые пару часов мб посидишь с переводчиком, а потом как по маслу
Спасеба братец медведь
Да это пидор шиз, ты ему особо в рот не заглядывай а то тоже кахоненом станешь
Ребят, подскажите .
У меня сейчас проект для себя написание аналога AlphaStar или OpenAI в DOTA2. Т.е. беру игрулю(простую) и пытаюсь научить НС играть. Так как я не про, написаны костыли(сама нейронка, считыватель окна игры, нажатие клавиш в окне) на java. Вот сейчас подумываю, все эти костыли заменить на стандартные решения, был бы очень благодарен если бы все инструменты были на python, так как не хочется писать нейронку в Керасе, а считыватель окна с контролем в java или autoit. Заранее спасибо.
Я ничего не понимаю, что делать?
Вкатывальщики импортят slesarplow as sp по туториалам (хотя сейчас актуальнее keras и pytorch)
Толковые качают из репозитория awesome-XXXX на гитхабе проект какого-то китайца, меняют фамилию и получают $10M инвестиций как стартап.
Умные смотрят prerequisites на https://see.stanford.edu/Course/CS229 и http://cs231n.stanford.edu/
Остальные сидят ИТТ
Какая математика используется?
В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus
Как работает градиентный спуск?
https://cs231n.github.io/optimization-2/
Почему python?
Исторически сложилось
Можно не python?
Никого не волнует, где именно ты натренируешь свою гениальную модель. Но при серьезной работе придется изучать то, что выкладывают другие, а это будет, скорее всего, python, если работа последних лет
Что почитать для вкатывания?
http://www.deeplearningbook.org/
Николенко "Глубокое обучение" - на русском, есть примеры, но меньше охват материала
Франсуа Шолле - Глубокое обучение на Python
В чем практиковаться нубу?
http://www.deeplearning.net/tutorial/
https://www.hackerrank.com/domains/ai
https://github.com/pytorch/examples
https://github.com/ChristosChristofidis/awesome-deep-learning#tutorials
Где набрать первый самостоятельный опыт?
https://www.kaggle.com/ | http://mltrainings.ru/
Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента.
Где работать?
https://www.indeed.com/q-deep-learning-jobs.html
Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел
Есть ли фриланс в машобе?
Есть, https://www.upwork.com/search/jobs/?q=machine+learning
Но прожить только фриланся сложно, разве что постоянного клиента найти, а для этого нужно не быть тобой
Где узнать последние новости?
https://www.reddit.com/r/MachineLearning/
http://www.datatau.com/
https://twitter.com/ylecun
На реддите также есть хороший FAQ для вкатывающихся
Где посмотреть последние статьи?
http://www.arxiv-sanity.com/
https://paperswithcode.com/
https://openreview.net/
Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском
Где ещё можно поговорить про анализ данных?
http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека?
Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. На март 2020 Google Colab дает бесплатно аналог GPU среднего ценового уровня (что-то между 1050 и 1080) на несколько часов с возможностью продления.
Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/ Заодно в майнкрафт на топовых настройках погоняешь
Когда уже изобретут AI и он нас всех поработит?
На текущем железе - никогда, тред не об этом
Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/
Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.
Предыдущий:
https://2ch.hk/pr/res/1734710.html
https://2ch.hk/pr/res/1704037.html
https://2ch.hk/pr/res/1665515.html