Любую науку способны двигать единицы. То что в машобе на 1 учёного 100 сойбоев роли особой не играет. Вон у Хопфилда с Кротовым новый пейпер по мотивам работы Хохрайтера, который интерпретировал софтмакс аттеншен как новый тип сети Хопфилда, просто эстетическое удовольствие от такого чтива. В интересное время живем
Сейчас вузы ко всем около компьютерным специальностям дописывают, что учат машинному обучению?
>2
О, рабочебыдлецо до сих пор горит
В 20к20 нет смысла учиться каэсочке без машинки.
Quantum machine laerning булшит или нет?
Алсо, понравилась идея применения ML к трейдингу. В соло можно что-то запилить и рубить 300кк/нс? Или уже поезд ушел?
Если что я нуб, прохожу 4-ый курс в специализации от Яндекса (4fun)
Алсо, понравилась идея применения ML к трейдингу. В соло можно что-то запилить и рубить 300кк/нс? Или уже поезд ушел?
Если что я нуб, прохожу 4-ый курс в специализации от Яндекса (4fun)
https://www.youtube.com/watch?v=7bUYEMZVMCE
МЛ ИРЛ:
5% - подбор модели и подкрутка ее параметров
20% - сбор и приведение данных в порядок
75% - обкашливание вопросиков с кабанчиками
МЛ ИРЛ:
5% - подбор модели и подкрутка ее параметров
20% - сбор и приведение данных в порядок
75% - обкашливание вопросиков с кабанчиками
Шоб быть норм трейдером нужен толстый кабель к бегающим орущим мужикам с минимальным пингом
РАЗРАБОТЧИКИ НЕЙТРОННЫХ СЕТЕЙ ЗДЕСЬ?!
https://trudvsem.ru/vacancy/card/1167746214118/2ce3c173-defc-11ea-94f4-bf2cfe8c828d
Мошиах лернинг это в целом буллшит. Трейдинг без инсайдов - казино, которое методами машинного обучения в принципе не просчитываемо
ну вроде ребята, которые плотно занимаются трейдингом что-то зарабатывают. А что они делают? По моим ощущениям, они смотрят на новости и графики.
А что если автоматизировать этот процесс: скармливать данные и новости алгоритму в реальном времени, чтобы он предсказывал что будет дальше?
P.S Я ничего не понимаю в трейдинге
Во-первых, ты предлагаешь по сути анализ временных рядов, который не подходит для твоей задачи.
Во-вторых, переведи все эти "новости" в употребимый для алгоритма вид. Дешевле и проще нанять "ребят которые плотно занимаются трейдингом"
В-третьих, ребята которые "что-то зарабатывают", смотрят на инсайды. Без инсайдов трейдинг - казино.
>ну вроде ребята, которые плотно занимаются трейдингом что-то зарабатывают. А что они делают?
https://www.youtube.com/watch?v=xlCaQYmqVAU
Data Analyst это кто? Чем он Data Scientist отличается?
да, собственно, работой.
потому что Data Scientist ничего полезного бизнесу не дает.
Совсем охуели.
>В-третьих, ребята которые "что-то зарабатывают", смотрят на инсайды. Без инсайдов трейдинг - казино.
но ведь есть еще какая-то внушительная часть алгоритмического трейдинга чисто на скорость .
они без временных рядов неплохо оперативно справляются, наверное
Ну и мусор тут в треде пиздец
В моем случае:
- регулярные SQL/Excel отчеты (30%) - запустить скрипты\макросы, посмотреть что получилось
- ad hoc отчеты с использованием комбинации из SQL/Python (для веб-скрейпинга и обработки текстовых данных)/Excel (25%)
- (раз|до)работка Power BI отчетов (25%).
- бессмысленные созвоны и встречи (20%)
Расскажи как поиметь tableau ?
Где кряк?
Пандасом кто-нибудь пользуется?
Мы только в PBI делаем
Да, конечно. pandas, пакеты визуализации, bs4, requests, re - мой основной инструментарий по работе
Что платят?
Аноны, есть задача, нужен подходящий алгоритм решения. Есть цепочки событий, например:
1->2->3
2->1->3
Их можно разбить на стоящие рядом события, например:
1->2 в цепочке встречается 5 раз
2->3 встречается 7 раз
и потом нужно обсчитать входной набор таких цепочек событий, разбить на группы (тип цепочке размечается человеком). Потом нам дают новую цепочку и надо понять, к какой группе она скорее всего относится.
Дайте ключевых слов, по которым искать подходящий алгоритм. Заранее спасибо.
PS Нагуглил похожую задачу, определение авторства текстов по последовательностям слов в предложениях. Там используется метод опорных векторов, но не уверен что это именно то, что нужно.
1->2->3
2->1->3
Их можно разбить на стоящие рядом события, например:
1->2 в цепочке встречается 5 раз
2->3 встречается 7 раз
и потом нужно обсчитать входной набор таких цепочек событий, разбить на группы (тип цепочке размечается человеком). Потом нам дают новую цепочку и надо понять, к какой группе она скорее всего относится.
Дайте ключевых слов, по которым искать подходящий алгоритм. Заранее спасибо.
PS Нагуглил похожую задачу, определение авторства текстов по последовательностям слов в предложениях. Там используется метод опорных векторов, но не уверен что это именно то, что нужно.
>применения ML к трейдингу
А что ты будешь нейроночке скармливать? Котировки акций? Так в них принципиально нет ответа на вопрос сколько эти акции будут стоить в будущем. Максимум что делают с помощью трейдинговых ботов - не дают сильно много денег просрать, типа бот быстрее видит что начался пиздец и принимает решение по-быстрому сбагрить товар.
Посоны, кто-нибудь имел дело с лейблами семантичкеских ролей? Ковыряю AlenNLP Semantic Role Labeling нейроночку, открыл словарик - там куча лейблов типа I-ARG0 или B-ARG1 и еще куча всякой поеботы, но главное что название каждого лейбла начинается либо на "I-" либо на "B-".
Вопрос - что эти две буквы значат? Нашел описания для всех остальных компонент лейбла, а для этих буковок не нашел.
Есть какие-нибудь активные англоязычные имиджборды где можно обсудить МЛ?
Как это машин лернинх? Обычный алгоритм уровня институтной лабароторной справится.
Тоже думал как раз об этом. Если мониторить новости, то можно преуспеть. Однако книги по трейдингу, которые я прочел говорят что анализ графиков достаточная методика для трейдинга, но там всё с комплексным пониманием котировок связано и результат таких торгов врядли принесёт больше 30% прибыли за годичный период, то есть с ляма там получается 200-300 тысяч денег.
>результат таких торгов врядли принесёт больше 30% прибыли за годичный период, то есть с ляма там получается 200-300 тысяч денег.
30% в год это дохуя - инвестиции с небольшим риском приносят максимум 10%.
Ну а так есть три проблемы. Во-первых, нужны инсайды. Во-вторых, надо знать, как преобразовать всю информацию во что-то, что можно скормить нейросети и желательно чтобы оно работало. В-третьих, нужны огромные вычислительные мощности. Зная один лишь второй пункт ты уже сможешь зарабатывать столько, что на трейдинг станет наплевать.
Association rule mining.
Я говорю об эффективных методах и большом успехе. В среднем конечно если ты новичок, то врятли вытянешь 10%. Я думаю преобразовывать инсайды не так уж и сложно, при том что мы сейчас имеем как "инсайды" это только проблема классификации.
>говорят что анализ графиков достаточная методика
для того чтобы ловить падающие ножи
Сап. Все же слышали про GPT-3? Нейросеть на основе NLP обучилась на огромном количестве данных и уже умеет писать код (часто с ошибками), вот например https://twitter.com/sharifshameem/status/1284095222939451393
Сам я джун на анроиде, в течение месяца получу первую работу. Так вот, сколько еще можно будет работать обычным программистам? Хотя бы пара лет у меня есть еще поработать? А то как-то не очень приятно, хотя я был бы рад потерять работу, если бы был создан полезный миру публичный General AI
Мб у NLP-нейросетей есть какие-то фундаментальные ограничения, барьер точности? Ведь они еще вовсе не "думают", а просто предсказывают текст, к тому же GPT-3 отличается от GPT-2 только объемом скормленных данных, ничего нового ребята из OpenAI по сути не сделали
Сам я джун на анроиде, в течение месяца получу первую работу. Так вот, сколько еще можно будет работать обычным программистам? Хотя бы пара лет у меня есть еще поработать? А то как-то не очень приятно, хотя я был бы рад потерять работу, если бы был создан полезный миру публичный General AI
Мб у NLP-нейросетей есть какие-то фундаментальные ограничения, барьер точности? Ведь они еще вовсе не "думают", а просто предсказывают текст, к тому же GPT-3 отличается от GPT-2 только объемом скормленных данных, ничего нового ребята из OpenAI по сути не сделали
Такое говно срали еще на прологе 30 лет назад
Спасибо, посмотрю.
Можешь дать пример такого алгоритма или задачи с решением? Либо ключевые слова, по которым искать.
>Я думаю преобразовывать инсайды не так уж и сложно
Пикрил. Для начала, как ты собираешься переводить новости из текста в вектор, сохранив при этом сложную семантику? Все существующие подходы работают слишком плохо, чтобы это было возможно. Даже если это получится, тебе придется самому делать датасет и классифицировать каждую новость, а для этого тебе придется вдаваться в детали трейдинга. То есть, чтобы создать такую систему, тебе придется стать профессиональным трейдером.
Без всего вышеперечисленного твой максимум - это анализ самих курсов, что работать гарантированно не будет.
а на форчане нет разве?
Внезапно, нет. В /g/ даже программирование не слишком активно обсуждают, в основном устройства и программы, а в /sci/ одни шизики.
Вы вообще в какую-то хуйню полезли. Классифицировать новости не так уж сложно, для этого есть эмбеддинги. Вот только это не нужно. Предсказывать временные ряды в трейдинге тоже не нужно. Все проще. Никто же не будет спорить, что:
- текущая ситуация на рынке полностью отражается показаниями индикаторов
- доход от купли продажи активов зависит только от текущей ситуации на рынке, есть моменты, когда выгоднее покупать, продавать или ничего не делать
Классифицировать нужно векторы показаний индикаторов, а помечать их нужно наиболее оптимальным действием при такой ситуации.
Текст в бинарное значение сейчас переводят вполне удачно, достаточно данных и результаты будут 70-80% правильными, используя например иерархическое нлп. А создание датасета это наибольшая часть работы офкорс, над этим следует волосы на голове порвать немного.
Индикаторы и есть графики лол. Это хуй у тебя получится сделать что-то на уровне новичка-трейдера.
https://keras.io/examples/nlp/text_classification_with_transformer/
Вместо слов у тебя будут твои пронумерованные события, а так в принципе все то же самое
>Классифицировать новости не так уж сложно, для этого есть эмбеддинги
>Текст в бинарное значение сейчас переводят вполне удачно
Эмбеддинги нормально работают только на простых задачах.
>- текущая ситуация на рынке полностью отражается показаниями индикаторов
Конечно нет. Ситуация на рынке отражается в головах участников рынка. Сечину жена с утра не дала и он слил миллиард - кто-то заработал, кто-то потерял.
>доход от купли продажи активов зависит только от текущей ситуации на рынке, есть моменты, когда выгоднее покупать, продавать или ничего не делать
Только узнаешь ты об этом постфактум.
> Конечно нет. Ситуация на рынке отражается в головах участников рынка.
И разумеется, никак не влияет на показатели индексов. Ты себя читаешь? Поведение на рынке, зависящее от того что в голове у участников, отражается на показателях индексов. Это зависимые переменные.
> Только узнаешь ты об этом постфактум.
Да, на основе анализа истории последствий подобных же состояний рынка.
> Эмбеддинги нормально работают только на простых задачах.
А это простая задача. Сентимент анализ по-сути.
Спасибо.
>И разумеется, никак не влияет на показатели индексов.
Влияет - уже после подачи заявки на сделку.
>Да, на основе анализа истории последствий подобных же состояний рынка.
Ты считаешь, что по данным погоды за 10 лет нейронка предскажет тебе погоду на завтра. Не предскажет.
> предскажет Не предскажет.
Я вообще про предсказания ничего не говорил. Речь об оценке состояния рынка и автоматическом выборе оптимальной стратегии в данном состоянии.
>Не предскажет.
Это вговнемочёные со своими дифференциальными говнениями ничего не предсказывают, а чад с нейронкой, бустингом и данными всё предсказывает.
>Речь об оценке состояния рынка и автоматическом выборе оптимальной стратегии
>не предсказания
Бамп
Че бампаешь то, говно с вишенкой, не более.
Нет пруфов, кроме этого видоса.
Ты думаешь OpeanAI (авторы нейросети), финансируемые Максом, будут заниматься таким?
Я игрался с gtp3, вполне представляю, что он так может
В течение пары лет заменит программистов?
Проще парсить новости и подсчитывать упоминания торгуемых компаний. Когда какая-то компания начинает чаще упоминаться, то уже подключается бот на ифэлсах.
Сейчас пролистал Бишопа и там ни одной строчки кода, как так?
Двач, почему моя нейронка не работает, не считает ошибку и прочее, на моем датасете? Самая простая нейросеть, на классическом, готовом, датасете все работает. И там в готовом и в моем датасете значения float64 да и в целрм похожи только размерности разные. У меня только 600+ признаков one hot encoding, может в этом дело?
Сыбался отсюда
Как сделать нейросеть (или другой ИИ), который сможет посчитать подобные предметы на картинке (например, прорежённую кучку винтиков на контрастном фоне)?
Поясните про skip connections. Если это сумма выходов двух слоёв, значит ли это, что:
- вход последующего слоя должен размером равняться этой сумме?
- должен ли быть размер картинок суммируемых слоёв быть одинаковым?
- подобное поведение будет актуально как свёрточных, так и развёрточных слоёв?
- вход последующего слоя должен размером равняться этой сумме?
- должен ли быть размер картинок суммируемых слоёв быть одинаковым?
- подобное поведение будет актуально как свёрточных, так и развёрточных слоёв?
поиск предметов на картинках
https://www.learnopencv.com/mask-r-cnn-instance-segmentation-with-pytorch/
https://www.learnopencv.com/faster-r-cnn-object-detection-with-pytorch/
Ждём тебя через год с отчётами
>- вход последующего слоя должен размером равняться этой сумме?
А чему еще он может равняться?
>- должен ли быть размер картинок суммируемых слоёв быть одинаковым?
В 99% случаев да, но можно выкрутиться. Например, если на входе у тебя 8 каналов [батч, длина, ширина, 8] а на выходе 1 канал - [батч, длина, ширина. 8], то при сложении слоев будет выполнен бродкастинг и меньший слой подгонится под размер большего копированием вдоль недостающей оси.
Второй вариант - вместо сложения использовать конкатенацию. То есть было [батч, длина, ширина, 8] и [батч, длина, ширина, 1], на выходе [батч, длина, ширина, 9]. Так скипы устроены в UNet.
Диды не умели симпатично программировать, за что не возьмутся, везде фортран получается
>А чему еще он может равняться?
Ну... если оба выхода по 32, и вход 32?
> вместо сложения использовать конкатенацию.
Получается, это разные вещи? Что предпочтительнее?
>Ну... если оба выхода по 32, и вход 32?
Каких оба выхода? Ты похоже что-то не догоняешь. У тебя есть операция сложения, у нее два операнда, левый и правый, и этой операции все равно, откуда ты взял данные, главное, что левый и правый операнд обязаны иметь совпадающие размеры, иначе как ты собираешься складывать.
А что именно с чем ты складываешь в данном конкретном вопросе роли не играет. Каким образом у тебя возникло 2 выхода я не понимаю.
>Получается, это разные вещи?
Да, это разные вещи. Сложение поэлементно складывает, как складываются матрицы в линале, конкатенация же дописывает один тензор к другому. получая тензор большего размера вдоль заданной тобой оси, как правило первой или последней. Естественно на выходе у тебя получается больший тензор, и следующему слою придется иметь больше весов. чтобы с ним работать. Конкатенация мощнее, но требует сильно больше флопсов в следующем за конкатенацией слое.
>Что предпочтительнее?
Пробуешь и то и то и смотришь. Черный ящик сам себя трясти не будет.
А гридсёрч в scikit работает так же быстро как если просто самому в цикле проходиться и фитить модели или он оптимизирован?
Есть гайд по вкату на стажировку?
Ты должен быть старшекурсником топового вуза.
Какой шанс, что через 5 лет нейронки сможет настраивать обычный человек, непонимающий как они работают?
>нейронки сможет настраивать обычный человек, непонимающий как они работают
Уже.
А что, тут хоть один зумер понимает, как они работают? Представление функции нескольких переменных через суперпозицию функций двух переменных, теорема Колмогорова-Арнольда, вот это все.
Переформулирую.
Человек, который не может даже в программирование.
Какой шанс, что выбор нейронок через несколько лет будет алгоритмизирован и менеджерке не нужен будет специалист, чтобы настроить нейросеть
>Переформулирую.
>Человек, который не может даже в программирование.
И такое уже есть (Orange, Weka, и т.п.). Только они справляются далеко не со всеми задачами, которые с каждым днем становятся все сложнее. Зачастую нужна тонкая настройка и хотя бы относительное понимание как оно работает, иначе получишь 60% точности вместо 95%. Еще как правило нужна оптимизация. Возникнет задача где данных под тесять терабайт, и любая система где нужно нажимать на кнопочки сделает пук-среньк и повиснет.
Анон, выручай, ты смог установить BigARTM 0.9 версии или старше?
(Py3, windows10, да, пидарас я)
Следовал строго инструкции из installation, но все равно выдает ошибку, что модуль artm отсутствует
(Py3, windows10, да, пидарас я)
Следовал строго инструкции из installation, но все равно выдает ошибку, что модуль artm отсутствует
Спасибо, анон.
А как вкатиться в работу по МашОбу?
Я 23 лвл, инженер по электроприводу. Год работаю программистом АСУТП (это собирать из блоков И, ИЛИ разрешения на пуск и алгоритмизировать работу промышленного оборудования).
Математику на уровне обычного инженерного ВУЗа выучить не проблема. Технический английский присутствует.
Правильно я понимаю, что сперва надо научиться писать читаемый код я писал только скрипты для тестов мох программ на Python, выучить SQL, R, PyTorch и можно смело перекатываться? И рассчитывать на 70к в ДС2 через год-другой.
работа не нравится из-за командировок и ебанутой ответственности. Можно один бит пропустить и из-за тебя работа 50 инженеров встанет. А если ещё что-нибудь как на саяно-шушенской ГЭС там на релейно-контактных схемаз все было сделано, так что виноват не программистслучится и на тебя решат спихнуть вину, то совсем печально будет
>А как вкатиться
Никак. Ты уже слишком стар для интерна/ждуна, да ещё и с непрофильной вышкой
>А как вкатиться в работу по МашОбу?
Понятия не имею я сам еще не вкатился.
Главное, что я готов работать за еду год, потом сбережения закончатся
Да и история челиков, которые в 30+ перекатились меня подбадривает.
К тому, же из-за ЧСВ, присущего любому человеку, я думаю, что у меня точно получится.
Даже если ты прав. Я же могу вкатиться в машинное обучение по своей специальности. Я знаю технологии, а судя по интервью это часто бывает важно.
Мага МАИ подойдёт?
примат, но не по машобу, обосрался на вступительных
Раз в год меняешь работу/должность на более машобную - куда возьмут, а при новом трудоустройстве немного пиздишь о том, чем занимался
Сразу трясуном ящиков тебя не возьмут конечно
> Человек, который не может даже в программирование.
Там программирование не нужно. Написать несколько строк вызова готовых функций с параметрами, причем, примеры кода есть в документации это не программирование.
этот прав. Там даже дебич может справиться. Касательно вопроса- ну да, все идет к этому, но не так быстро. Это будет как рост производительности пк догоняться ростом требований софта (из-за ухудшения оптимизации-упрощения процесса "программирования"). Прогресс будет медленным, ну или ебнут квантовый пк, и тогда тут будет скайнет.
>это не программирование
хрюкнул, дай свое определение программирования
Если вместо дерганья ануса через код будет голосовой интерфейс это ничего не поменяет. Без знаний в этой области далеко не уедешь.
https://youtu.be/hHwjceFcF2Q
> , дай свое определение программирования
На примере слесарьплова. Написать сам слесарьплов - это программирование. Пользоваться им (дергать анус готовые функции через код) - не программирование.
Добавлю ещё про непрограммирование.
Это просто другой абстракции, также, как сейчас не надо наизусть знать конфигурацию суперкомпьютера на котором ты щелкаешь тумблерами, чтобы подвигать байтики.
В очередной раз убеждаюсь, что подобные статейки это просто инфоциганский мусор+лохотрон.
Нет, чтобы просто дать документацию и небольшой туториал, они берут и размазывают всё по всему.
Очень долго не мог запустить приведённый в первой статье код, так как не понимал, что авторы подразумевали под некоторыми переменными, например T.
Но я разобрался и всё-равно, мы видим, что автор статьи просто набросал рандомного текста, ничего не объяснив, так что мой результат только пикрелейтед, мда.
Люди, кстати, выглядят так. будто сгенерированы нейросетью. Вполне вероятно, что и текст той статьи сгенерирова нейросетью.
>я готов
И нахуй ты нужен? С непрофильным образованием и без опыта от тебя будет больше вреда.
>история челиков
Инфоцыгане пиздят, чтобы продавать курсы по машобу.
>Я же могу вкатиться в машинное обучение по своей специальности
Так чего ещё не вкатился, лол.
Тф - это фреймворк, говорить, что писать код для фреймворка - не программирование, это все равно, что обозвать C# не программированием только на основании того, что ты видел, как какие-то студенты кидают батоны на winforms.
При этом по сути это еще и метапрограммирование (код, генерирующий граф вычислений), результатом которого является дифференцируемый код (функциональщина в квадрате).
Я молчу о том, что воспроизводимость требует хороших практик написания кода и организации работы, а стоимость железа не позволяет повысить требования и забить хуй, как много лет делают мейнстримные программисты.
>Очень долго не мог запустить приведённый в первой статье код, так как не понимал, что авторы подразумевали под некоторыми переменными, например T.
>инфоциганский мусор+лохотрон
Охуенная логика, если ты новичок и у тебя что-то не получается, виноват в этом кто угодно, только не ты. Далеко пойдешь. Политиком можешь стать, мэром города какого-нибудь небольшого.
Смотри paperswithcode.com
https://www.youtube.com/watch?v=i3ZnDRrmFjg
Почему двухслойный перцептрон не справился со спиралью?
Почему двухслойный перцептрон не справился со спиралью?
нелинейности не хватило
Так у двухслойного хватает чтобы выучить в принципе любую функцию.
так справился же. Ну и да, если бы в первом инпуте были два входа: угол от центральной точки + расстояние от центральной точки, то там можно было бы в один слой всё зарешать (наверное)
Это уже ручной дизайн фич
это норма
Чтобы выучить любую функцию, достаточно просто массива точек и интерполяции между ближайшими соседями. Нет никакого практического смысла рассуждать о том, можно ли какой-то йобой описать любую функцию, если иметь достаточное число весов. Важно еще при этом чтобы это число весов умещалось хотя бы в видимые размеры вселенной.
> Чтобы выучить любую функцию, достаточно просто массива точек и интерполяции между ближайшими соседями.
Вот только ещё в 60х поняли, что это так не работает. Точек и расстояния между ними недостаточно в подавляющем большинстве случаев, хотя бы из-за того что почти все подобные задачи некорректнопоставленные.
> Нет никакого практического смысла рассуждать о том, можно ли какой-то йобой описать любую функцию, если иметь достаточное число весов. Важно еще при этом чтобы это число весов умещалось хотя бы в видимые размеры вселенной.
Это единственное, что вообще имеет смысл в машобе. Все остальное это шаманство и тряска черных ящиков.
>Точек и расстояния между ними недостаточно в подавляющем большинстве случаев, хотя бы из-за того что почти все подобные задачи некорректнопоставленные.
Какие "подобные задачи". Я отвечал на фразу "Так у двухслойного хватает чтобы выучить в принципе любую функцию". Не хватает, потому что в этом случае скрытый слой будет представлять как раз подобную таблицу.
>Это единственное, что вообще имеет смысл в машобе.
Не, это твоя очередная сверхидея.
Тряс-тряс чёрный ящик, а результат говно.
Переверни его, дебич
Пока нёс черный ящик с говном кабанчикам, расплескал содержимое на ротешники зумерам вкатывальщикам
>Важно еще при этом чтобы это число весов умещалось хотя бы в видимые размеры вселенной.
Так там вроде достаточно взять n+1 нейрон на внутреннем слое, чтобы получить возможность аппроксимировать любую гладкую функцию на n-мерном пространстве.
Т.е. конкретно в случае со спиралью на плоскости вообще трёх нейронов должно хватить, видимо в локальный минимум застревает какой-то просто.
Старшекурсник мэгэу в треде, куда можно пойти стажёром кроме Яндекса/Сбера/SAS?
в ODS состою, там ещё несколько мест видел в job, но нигде в данный момент нет активных вакансий
мимо другой анон
Спасибо.
Примерно 0, так как программы для автоматического решения задач ML по типу RapidMiner умеют во входные данные только определенного формата, а без кода который хотя бы джейсончики перегоняет в csv ничего работать не будет, к томуже они не могут извлекать новые признаки.
>Колмогорова-Арнольда
Курицына-Рикибазукова
Прям чтовы менеджер среднего звена Вася работал полностью сам - не раньше чем протез мозга сделают.
Ну полностью не полностью, но входной барьер опустят - зарплаты упадут.
> но входной барьер опустят - зарплаты упадут
Сразу после колонизации Марса
Это естественный ход вещей. 15 лет назад простейший макакинг был не то что как рокет саенс, даже еще выше. Рили выучив синтаксис какой-нибудь джавы можно было сесть и рубить бабло.
Барьеры убирают, но за ними вырастают новые, повыше. Нейроночки на серьезном уровне это все же головоломная штука, которую надо изучать годами. На таком уровне в математику могут жалкие проценты людей. Делать что-то без представления о том, что такое параметры, функция потерь, градиент, свертка, нормализация, оптимизация - ну это как кодить на жс не зная что такое переменная, функция, цикл. То есть можно, наверное, как-то, по примерам копируя, но ясно что много ты так не накодишь.
>в математику могут жалкие проценты людей
А куда девается хуева туча маняматиков выпускаемых говновузами по всему миру?
Во-первых, их мало - матфаки совсем не популярны. Во-вторых, получить корку баки может любой дурак, это не значит что он реально может работать по специальности на новейших технологиях. Скорее всего подавляющее большинство из выпускников вообще не слышали про нейроночки в стенах вуза, как максимум какой-то наспех состряпаный курс на уровне ютуб-лекций "тренируем классификатор МНИСТ вместе". В третьих, те кто реально хорошо делают математику, идут на ПхД в чистой математике, и для них нейроночки это просто очередное навевающее зевоту приложение, никак не соприкасающееся с современными математическими трендами (там вся матеша из 19 века).
Але, у меня одногруппница щас на 4 курсе учится, не получила диплом еще, ее уже взяли работать на джуна в машоб 20ч в неделю - 30к зп. Шарит она или нет? Нет))) Ну просто умело пыль в глаза кидает и много теории знает + девочка. Я к чему. Нахуй вам ваш диплом и учеба? Идите учите, пытайтесь устроиться и т.д. Вот пример из жизни привел. Прям вчера ее повысили со стажора до джуна на изичах.
Ты сам-то где работаешь?
А, да, к слову город наш новосибирск, т.к. не масква и не питир, где 30к - это копейки. У нас в 21 год получать 30к - это збс. Кароч ебал диплом и учебу, я конечно чмо, которого никуда не принимают, потому что пишут "Ты еще студент." "У тебя нет опытаа работы.", но ей повезло и ее устроили. И вам так же может повести) Ну либо как мне будут писать что вы чмо))))))) Но я просто лошок
Я не работаю, потому что меня отшивают на хед хантере)) Пишут что я додик-студент-без опыта работы)) Но я - это плохой пример))))) Просто что-то не так делаю, или резюме помойка) Она попала на работу, потому что на конференции заобщалась с типом, который ее заинвайтил.. Но я верю, что и через хед хантер можно найти работу)))))) Главное же верить?)
Если ты не работаешь, то как ты можешь оценить скиллы этой тянки?
Если язык подвешен, можно и гендиром стать, или вообще свою галеру устроить. Это все известно. Мы тут о лобовой атаке речь ведем, когда своими силами все.
>15 лет назад простейший макакинг был не то что как рокет саенс, даже еще выше. Рили выучив синтаксис какой-нибудь джавы можно было сесть и рубить бабло.
Как же вы заебали. Аутсорса не было, веба не было, английский никто не знал, основные рабочие места - это автоматизация документооборота в рашкофирмах, и платили много только в местах типа банков, и таких мест было мало.
В нейронках зарплаты в принципе на уровне любого другого скиллового айти, будто девопсенье на AWS или способность сделать хороший нетормозящий UI в браузере. Они не большие и не маленькие, обыкновенные.
Потому что она моя одногруппинца) Я 3 года с ней общаюсь и вижу, что пыль в глаза только пускает, что преподам, что всем) За нее все делают, она только теорию учит и выдает за свой результат, но причем умело) Сомневаюсь что тут по другому. Но она пол года на стажировке была, мб ее там и научили чему-то, и щас скиллы есть. Но когда попадала в компанию - 99% что не было скиллов, кроме хорошего и умелого навяливаня лапши на уши.
>Я 3 года с ней общаюсь и вижу, что пыль в глаза только пускает, что преподам, что всем
Ну так рашкообразование страшно нерелевантная хуйня в плане оценки скиллов, и это говно нужно пару лет выбивать из любого студента.
Я же не про рашу, где люди выращивали картоху технологиями до каменного века, с мотыгами, чтобы с голоду не подохнуть. Тут ничего не было и никто ничего не знал.
Если человек сам нихуя не делает, а только пыль в глаза пускает, то это человек такой, а не рашкообразование.. Я вижу много студентов, кто так же нихуя не делает, но они пытаются хотябы, списывают, разбирают что списали, чтобы разобраться и ответить преподу.. Да, они тратят больше времени и получают тот же результат, а они хуже, чем всякие бляди типо этой одонгруппницы. Но и в жизни и в работе оне попытаются разобраться и понять, а не пустить пыль в глаза мол есть скиллы, когда их нет. Хотя чего спорить то)) Тебе то лучше знать есть ли у этой одонгруппницы скиллы или нет, не видя и не зная ее..
Если она умеет заобщаться, то зачем ей это делать с типом на конференции за 30к, если она может заобщаться с папиком и получать от него 300к?
Одно другому не мешает. Днем она общается с типом на конференции, вечером - с папиком.
>Тебе то лучше знать есть ли у этой одонгруппницы скиллы или нет, не видя и не зная ее..
Объективный факт в том, что у нее есть работа, а у тебя нет, а все остальное твое субъективное мнение - безработного студенчешки, который меряет успех способностью сдать экзамен не списывая
А спать когда?
Симп, спок. Сейчас бы в 2К20 не знать о существовании pussypass.
да канеш
тимлиду насасывает после работки
Вангую, что там не беспилотный автомобиль делают, а на дата-аналитика ее взяли. Т. е. нужно будет софтскиллить с разработчиками, чтобы они встроили логи для сбора данных для тебя, потом обработка и применение машоба уровня регрессии и донесение получившегося результата до манагеров. При этом кеглядрочерство (подбор модели и ее параметров) занимает меньше всего времени в это процессе. Софтскиллы и понимание бизнес-процессов важнее.
> питир
Я попал через производственную практику, дс2
Работать в ДС - топ спот по сочетанию необходимости вникать в теорию / прогать / вникать в предметную область
Мимопроходил
Мимопроходил
Стоит ли делать карьеру в ML, если ты принципе уже состоялся как программист мидл Python/C++, город ДС? Карьеру сугубо промышленную, хоть и обещают простор для творчества и экспериментов, но продукт полностью коммерческий (а значит правит балом заказчик). Разумеется все под строгим NDA, без планов на публикации и получение научной степени. В наличии есть вышка хорошего вуза, где в том числе был курс по ML, и базовые знания из головы пока не выветрились. Но я конечно понимаю, что это копейки от нужных для работы навыков, и в принципе готов первые год-два серьезно позадротить эту тему. Все же не круды шлепать и запросы в БД посылать, тут хоть какой-то интерес и азарт присутствуют.
Почитав и треды, и другие источники, пока что для меня складывается ощущение, что ML (по крайней мере исследовательская часть, дата-инженеров с "импорт тензорфлоу" в расчет не берем) это удел математиков с прикормленных кафедр, которые в свою тусовочку ой как неохотно принимают чужаков. Хотелось бы спросить людей из соответствующих отделов крупных контор, вроде Яндекса или Сбера кого я только на двачах не встречал, думаю и такие найдутся. Как вы себя чувствуете на своем месте, работа интересная? По зарплатам не обижают? До сеньор-помидорских позиций дорасти без серьезной phd и статей реально? Не боитесь отправиться на мороз от прихоти руководства, особенно после случая, когда Самсунг разогнал весь NLP отдел в полном составе?
Стою сейчас на очень серьезном жизненном распутье и терзает меня чуйка, что такой шанс вкатиться дается раз в жизни.
Почитав и треды, и другие источники, пока что для меня складывается ощущение, что ML (по крайней мере исследовательская часть, дата-инженеров с "импорт тензорфлоу" в расчет не берем) это удел математиков с прикормленных кафедр, которые в свою тусовочку ой как неохотно принимают чужаков. Хотелось бы спросить людей из соответствующих отделов крупных контор, вроде Яндекса или Сбера кого я только на двачах не встречал, думаю и такие найдутся. Как вы себя чувствуете на своем месте, работа интересная? По зарплатам не обижают? До сеньор-помидорских позиций дорасти без серьезной phd и статей реально? Не боитесь отправиться на мороз от прихоти руководства, особенно после случая, когда Самсунг разогнал весь NLP отдел в полном составе?
Стою сейчас на очень серьезном жизненном распутье и терзает меня чуйка, что такой шанс вкатиться дается раз в жизни.
Очередной самоподдув неудачников с борд
А GAN'ы после обучения валидируют?
Нет. Хайп ML и иже с ним уже умирает в США, а значит вскоре это дойдет и до нас. Вкатываться в ML в 2020 - ловить падающий нож
как может скатываться то в чем каждый день придумывают что то новое?)
>придумывают что то новое
придумывают как stack more layers?
поинтересуйся лучше эффективностью этих придумываний
>Стоит ли делать карьеру в ML, если ты принципе уже состоялся как программист
Стоит, потому что это твой шанс не продавать свои жопочасы до 40 лет, а продавать знания.
В принципе ML в этом плане близок к знанию какого-нибудь AWS, когда умеешь. кажется, что херня для даунов, а на деле полно людей, для которых это все рокет саенс. Ну или я не знаю, к программированию смарт-контрактов. Короче это нишевое айти со всеми вытекающими, работы меньше, но и работников меньше.
>Почитав и треды, и другие источники
В интернете везде пасутся тролли, вниманиебляди и прочие токсичные пидорки, инфа несет скорее отрицательную ценность.
>Стоит, потому что это твой шанс не продавать свои жопочасы до 40 лет, а продавать знания.
С чего ты решил что знания стоят дороже жопочасов? Тем более что продаешь ты не знания, а результат, который в ML в большинстве случаев получается говно. Проще работать за зарплату, чем пытаться объяснить кабанчику почему у тебя ничего не получилось.
вот щяс обидно было
мимо_женат_на_тимлид_ке
>Проще работать за зарплату, чем пытаться объяснить кабанчику почему у тебя ничего не получилось.
Может у него софтскиллы вкачаны.
зачем тогда мышиное облучение? эффективнее будет прокачиваться в менеджеры
Если нейронки не работают, то почему разрастаются дата-центры с гпу? Нвидия с них уже имеет больше доходов, чем с задротов.
>Если нейронки не работают, то почему разрастаются дата-центры с гпу?
Придумали новый объеб корпоративных кабанчиков на деньги, а то базы данных оракл и SAP уже не в моде.
>Нвидия с них уже имеет больше доходов, чем с задротов.
Так там и накрутки в 10 раз больше. Типичный рецепт нвидии - это взять флагманскую геймерскую карту, которая сама по себе двухкратный оверпрайс по сравнению с бюджетом, добавить 4 гига памяти и продать еще раза в 2.5 дороже. При этом ресерчерам подобные карты дарятся бесплатно, чтобы они выкладывали модели которые требуют ну тютелька-в-тютельку 16 гигов.
Куда смотрит амуде не понятно.
>Куда смотрит амуде не понятно.
Radeon™ Pro SSG Graphics
>Типичный рецепт нвидии
типичный рецепт нвидии, это брать отбраковку камней, и делать из этой отбраковки линейку потребительский карт.
среди потребительских карт, только в самой старшей может быть полный камень
>>Типичный рецепт нвидии
>типичный рецепт нвидии, это брать отбраковку камней, и делать из этой отбраковки линейку потребительский карт.
>среди потребительских карт, только в самой старшей может быть полный камень
Привет, дебич, это у всезх производителей такая практика. Тупо потому что ASML заряжает за каждый фотошаблон как за чугунный мост и линейку дешевле из отбраковки делать.
Это вы так своих кабанчиков словом "отбраковка" пугаете? Что это меняет в сказанном мной?
Больно дохуя отбраковки получается, сколько это в штуках, 99% выпуска? Ну, допустим, битые SM-ядра можно отключать, но а если брак попадет на другую часть кристалла? Попахивает пиздежом, потому что не понятно, нахуя так сильно шакалить техпроцесс. Проще отрубить лишние ядра программно.
думаю, зеленые инжинеры знают что и как отключать. да и вообще, основная площадь кристалла — всякие ядра и, соответственно, большая вероятность, что битыми окажутся именно ядра.
>а то базы данных оракл и SAP уже не в моде.
В текством файле лучше всего БД держать?
CSV, работать через pandas
>При этом ресерчерам подобные карты дарятся бесплатно
Ресерчеры их покупают за деньги из бюджета на ресерч.
Это уже фуфлыжники какие-то, которым ни нвидия ни амазон мощности не дарят
Я такое в первый раз слышу. Цена на эти видеокарты настолько высокая именно потому, что их покупает либо бизнес, либо ресерчеры на бюджет, который положить в карман все равно не получится. Остальным эти карты нахуй не нужны.
>Я такое в первый раз слышу
Потому что пейперы не читаешь. Куда ни плюнь, нвидия подарила какой-нибудь титан хэ.
>Цена на эти видеокарты настолько высокая
Потому что нвидия лишает лицензии если использовать геймерские карты в датацентрах. В чем это выражается не знаю, скорее всего в лишении гарантии. Ну а датацентры берут оптом по другим ценам.
>Потому что пейперы не читаешь.
Ни в одном пейпере не видел такого. Пишут конфигурацию и все - ничего про подаренные видеокарты.
> которые требуют ну тютелька-в-тютельку 16 гигов
Это херня какая-то. Не может обученная модель использовать столько памяти для калькуляции
C++ или Python и в чём преимущества и недостатки обоих?
C++ если тебе нужно чтобы работало быстро
пистон - если нужно побэрику решить какую-то прикладную шняжку, не сильно завязанную на числодробилках и мультитрединге
Короче говоря умея вна плюсы питон ценности не имеет?
>Короче говоря умея вна плюсы питон ценности не имеет?
Если тебя устраивает затрачивать в десять раз больше времени чем нужно - пиши на плюсах.
Ну я нацелен именно на серьёзные проекты а не на какую-то прикладную шняжку, так что думаю плюсы как-никак идеальный выбор.
>Ну я нацелен именно на серьёзные проекты а не на какую-то прикладную шняжку
Ты вообще машобом занимаешься? Все проекты сначала пишутся на питоне в качестве прототипов, а уже потом часточно или полностью переписываются.
Eсть же ufuncs в NumPy.
Не, я только кресты учу но в конце хочу нейронки со зрением писать.
>нейронки со зрением писать
Тогда тебе однозначно нужен питон.
Понадобится - выучу. Думаю после того как выдрочу плюсы с ним проблем не возникнет.
Ну ты наверное один хайп от гуглбрейна читаешь, потому что я встречаю это постоянно, но естественно не у гугла
На плюсах пишется код который гоняет модель где-то на телефоне или десктопном приложении. На питоне пишется код который создаёт и обучает эту самую модель. Зная только питон машобом заниматься можно, зная только кресты нет
Возникнет
Ты просто вкатывальщик, который не работал над реальными проектами. Когда пишешь прототипы, которые в 90% случаев не работают, тебе не важно насколько производителен язык - тебе нужно как можно быстрее проверить идею, и перейти к новой. Никто не будет ждать пока ты месяцами дрочишь байты.
Еще не забывай, что многие библиотеки, которые используются для тяжелых вычислений, написаны на крестах и куде.
Ок, ок. Выучу я ваш питон. Спасибо за ответы.
Анон, тема заезжанная - есть ли какие-то годные готовые решения, с помощью которых можно сделать голосового помощника?
Чтобы не брать у гуглов и амазонов апи, что-то локальное, простенькое.
Чтобы ещё на питоне работало.
Обязательно ли нейросеть для распознавания речи использовать, или может какие-то методы переоткрыли и улучшили?
Чтобы не брать у гуглов и амазонов апи, что-то локальное, простенькое.
Чтобы ещё на питоне работало.
Обязательно ли нейросеть для распознавания речи использовать, или может какие-то методы переоткрыли и улучшили?
Сап.
Хочу создать бота для конфочки группы вбыдлятне, который будет учиться на высерах дногруппников и как-то иногда отвечать. До этого с нейроночками тыкался только с тенсорфлоу и базовым примером классификации изображений MNIST. Делал я это для курсача в том году.
Дорогие аноны, что мне нужно нагуглить и почитать, чтобы понять, как делать нейронки, которые будут отвечать на вводимый текст и попутно обучаться?
Хочу создать бота для конфочки группы вбыдлятне, который будет учиться на высерах дногруппников и как-то иногда отвечать. До этого с нейроночками тыкался только с тенсорфлоу и базовым примером классификации изображений MNIST. Делал я это для курсача в том году.
Дорогие аноны, что мне нужно нагуглить и почитать, чтобы понять, как делать нейронки, которые будут отвечать на вводимый текст и попутно обучаться?
голосовой помощник делится на две части:
1. распознавание речи
2. анализ вопроса и реакция на вопрос
Тебе только первое? Компании туда миллионы долларов вливают. В паблике ничего нет
>Тебе только первое?
Да, только распознавание речи.
Sphinx
Спасибо.
Еще kaldi
Пожалуйста.
подойдет ли для этого GPT от опенаи?
Как я понимаю, тут нужно сделать то, что описал анон в этом посте
>анализ вопроса и реакция на вопрос
что нужно загуглить для этого?
>>анализ вопроса и реакция на вопрос
На нейроговне соснешь.
да? а как работают боты всякие? на основе чего?
я почему-то думал всегда что это нейросетки
> боты всякие
Всякие так и рабтают через нерожопу, хочешь нормального ищи что нибудь подобное ALICE типа
https://github.com/thammegowda/charliebot
с поддержкой AIML
https://github.com/drwallace/AIML-Spec/blob/master/aiml.md
Гитхаб автора порфирьевича
Серьёзно?
Будет ли работать регрессия если я, допустим, захочу прогнозировать стоимость дома по 200+ категореальным признакам и дом сможет иметь одновременно 10 таких признаков. Короче 190 нулей one hot encoding и 10 единиц загружаю в сеть, на выход цифру.
То, о чём ты говоришь, называется разряженными данными. Это совершенно нормально
Кто-нибудь ИТТ сдавал какие-нибудь сертификации ради повышения своей ценности на рынки труда в сфере анализа данных или ML и с для структурирования своих знаний в сфере? Типа IBM Data Science Professional Certificate / EMCDSA / TensorFlow Developer Certificate. Как думаете, имеет смысл?
>IBM Data Science Professional Certificate
По описанию похоже на обычный курс по мл
ну и ебанутый контест конеш
3DNews: Тесты GeForce RTX 3080 в задачах CUDA и OpenCL — прирост на 68 % по сравнению с RTX 2080.
https://3dnews.ru/1019979
DOMINATED
https://3dnews.ru/1019979
DOMINATED
>прирост на 68 %
Ну все, теперь уууууух бля
Теперь ваши v100 за 800к превратились в тыкву
Помогите найти материалы по определению рукописного ввода.
Везде все очень сложно, а у меня более простая задача - определить какую фигуру рисует человек из предзаданного набора.
Везде все очень сложно, а у меня более простая задача - определить какую фигуру рисует человек из предзаданного набора.
>а у меня более простая задача
А ты смешной
П.с. поковыряйся в ОпенЦВ
GAN'ы целиком или частично (дискриминатор) вообще как-то валидируют?
Верно, завтра удалённым приказом нвидии все старые карты будут перепрошиты на простой и перестанут работать.
Ну мечтать-то не вредно, что кто-то уже занимался подобным и скинет репо с рабочей моделью какого-нибудь китайца.
Opencv - не то.
Анализируя только полученное изображение мы теряем инфу о том, как оно рисовалось.
>мы теряем инфу о том, как оно рисовалось.
Чигобля?
В нейроговне индусы рулят?
А где нет?
Вот, например, наебалово с курсами: https://www.reddit.com/r/MachineLearning/comments/d7ad2y/d_siraj_raval_potentially_exploiting_students/
>>мы теряем инфу о том, как оно рисовалось.
Логично же. При анализе готового пятна на канвасе, мы ничего не сможем о нем сказать.
А если анализируем это пятно как набор векторов, можно понять, что это у нас спиралька.
Самое смешное его обоссали еще года 3-4 назад после шизофазного говногайду по питону собравшему лям. Нихуя в нём не понимал но пытался встюхать какие-то курсы
Как я понял он в итоге раскрутил это говно и катается на ламбе, сам за эти годы нихуя не вникнув даже в основы хуйни которую впихивает
СУп.
Подскажите, какую функцию активации нейросети лучше выбрать, если всего 500 примеров и все признаки номенативные (и закодированные one hot encoding).
Relu выдаёт плохой результат. Нужно именно нейросеть задействовать
>А если анализируем это пятно как набор векторов, можно понять, что это у нас спиралька
Пиздец, ты поехавший?
Но бабосики то мутятся?
Отъебись от него, он правильно рассуждает
>он правильно рассуждает
Ты скозал?
Сколько классов? Для активации последнего слоя обычно используется softmax.
Если примеров 500 то лучше не использовать ничего сложнее логрега. Функция активации тут не поможет.
> все признаки номенативные
Сколько их?
Да, эпично пришёл к успеху.
AI godfather, которого мы заслужили.
68, при том, что датасет на 480 примеров. И все это нужно классифицировать на 5 категорий. Я понимаю, что это пиздец, но все же, как можно улучшить результат, хотя бы сделать его чуть осмысленнее
Спасибо
Подскажите библу, которую можно использовать для обработки естественного языка (русского). Чтоб на ее основе получилось классифицировать текст по темам.
Логистическая регрессия
Такой тупой вопрос: предпочтительно ли использовать MSE loss вместо RMSE loss'а? По сути рмсе это просто квадратный корень от мсе, то есть лишняя вычислительная операция, при том что минимум у них будет в одной и той же точке. Или я чего-то не догоняю?
Минимум тот же, градиент разный.
Посмотри на график функции sqrt(x). Он около нуля похож на y=x, а чем дальше от нуля, тем более пологий.
Поэтому у loss и sqrt(loss) отличается реакция на крупные выбросы. Грубо говоря, если нейронка крупно наебалась, для MSE это повод сильно и резко апдейтить веса для того, чтобы срабатывал именно этот неудачный случай, а если более удачные случаи при этом слегка ухудшатся - не так страшно.
RMSE отнесется к этому более философски - не будет портить перформанс хороших случаев ради одного неудачного. На самом деле это все возведение в степень (1 в случае MSE и 0.5 в случае RMSE), поэтому вариантов больше.
Лично я бы подобной хуйней заморачивался только если все другое уже сделано.
Алсо, надо отметить, что MSE сам по себе возводит ошибку каждого выходного нейрона в квадрат, поэтому делает все резко чувствительным к выбросам. Поэтому RMSE не настолько консервативен, как какой-нибудь mean absolute error, у которого градиент вообще один и тот же вне зависимости от степени ошибки.
Спасибо, анон
Но с адаптивным лёрнинг рейтом в любом случае должно быть всё равно.
Шах и мат, МЛ-бляди
Собака с головой тигра и телом тигра.jpg
А гугл так просто не наебёшь
Бонус
Чего на каггле там мало сорев?
7 с призами, еще пачка за фантики или просто так. Чего тебе не хватает?
Сразу скажу, что с НейроСетями никак не связан и вопрос скорее из области мимокрокодила
Так вот, допустим, я запускаю, сеть обучаться на одном компе. Есть ли способ перенести накопленное и обученное сетью, скажем на другой носитель, чтобы не ждать нового итога?
Каким образом, вобще, закрепляется тот или иной результат?
Так вот, допустим, я запускаю, сеть обучаться на одном компе. Есть ли способ перенести накопленное и обученное сетью, скажем на другой носитель, чтобы не ждать нового итога?
Каким образом, вобще, закрепляется тот или иной результат?
Состояние нейросети можно сохранить в виде файла.
https://www.tensorflow.org/guide/keras/save_and_serialize
Вах, как быстро ответили!
Спасиба!
>7 с призами
Так они все для буржуев с персональными датацентрами, для нищиков ничего нет
Какой потенциал у Julia? Это правда что это убийца питона в датасаенс и все такое?
>убийца питона
Думаю, давно пора извлечь уроки из истории. Ни один здравомыслящий человек не потащит в проект новый язык, пока вы хотя бы не покажете ему нормальные инструменты разработки, не расскажете парочку саксесс сторис и не покажете десяток программистов на этом языке, живущих поблизости. Программисты же, пожалуй, кроме самых молодых, никогда не станут тратить свое время и здоровье на изучение очередного самого правильного языка, пока вы не покажете им нормальные инструменты разработки (не поделки типа Racer), пару десятков тысяч готовых библиотек (не «experimental», «unstable» и так далее), не расскажете парочку саксесс сторис и не покажите десяток открытых вакансий в их городе. Проблема курицы и яйца. Очень редко эту проблему удается успешно решить (условно тут можно привести в пример Go и Scala), в основном благодаря вложению времени и денег со стороны некоторой крупной компании (Google, Typesafe), по каким-то своим соображениям заинтересованных в популяризации языка.
https://eax.me/cpp-will-never-die/
Никакой. Пока юлька развивалась, в питон завезли аннотации типов, numba и прочие jax.
Какое вообще должно быть преимущество у специализиованного продукта, чтобы его нельзя было заменить программой на питоне?
Система типов, позволяющая делать быстрый JIT с итоговой скоростью на уровне С++, более нативно встроенный в язык аналог нампая. Да и специализированным продуктом сложно назвать, вполне себе язык общего назначения
Я не про язык говорю, а именно про продукт.
Да да, успокойся.
Что такое продукт? Батон из магазина Продукты что ли?
Нихуя у вас тут дебилы в треде.
Дебилы типа тебя часто не могут понять мотивации умных людей
>умных людей
Ты к нам случайно не из Хабра такой лунопопый?
ананимь@легионь
Да нахуй не нужно, тут ж правильно сказал кто-то выше (или в прошлом треде): питон нужен быстренько набросать прототипчик и проверить имеет ли смысл дальше копать, никакие "системы типов и встроенные нампаи" здесь никому не нужны, главное - скорость разработки и инфраструктура.
Можно ли написать осознающую себя нейросеть?
И сколько ресурсов ПК это займет?
Бамп. Я просто пилил один проект, связанный с обработкой данных, не на питоне, и вдруг подумал, а что я отвечу на вопрос "почему вы просто не написали библиотеку на питоне?" и не придумал.
А ответа и нет. Сейчас без пайтон АПИ - считай что в мусорку код пишешь. Никто не будет на крестах или чем там еще пердолиться, подключая твою либу.
Это не либа, это полноценная отдельная программа.
>пайтон
Орнул
Что лучше: большее качество на тесте при том что на трейне ещё лучше или меньше и на трейне и на тесте, но зато примерно одинаково?
Еще хуже
define "осознающую"
Чем выше на тесте, тем лучше. Трейн не важен.
Какая из питоновских библиотек для обработки pcap файлов лучше? Что-то их дохера больно.
Бля, я думал, тут анончики модельки тюнят и рейтингом на каггле выебываются. А тут зумерки-вкатуны, да говнокодеры софтварные пытаются оправдать свою неспособность пройти 3 бесплатных курса на степике ВУЗом, наличием пипирки в штанах и возрастом.
>Можно ли написать осознающую себя нейросеть?
Да
>И сколько ресурсов ПК это займет?
Пара школьных спортивных залов
>говнокодеры софтварные
В машобе как раз большая нехватка нормальных софтвер девелоперов. Петушиные маняматики и прочие трясуны черных ящиков умеют программировать в лучшем случае на уровне стажера-выпускника. Гит, CI/CD, паттерны? Нет, не слышали.
При таком раскладе проект обречен на провал.
>тут анончики модельки тюнят
Ну, допустим, тюнят, и хули ты ждешь, скриншотов с графиком лосса?
А каглодрочер хуже пидораса.
>А каглодрочер хуже пидораса
Чё это
Архив с задачками и рейтингом для фаллометрии
Так никто и не говорит, что софтвер девелоперы хуйня и нн. Проигрываю с того, что мидлы-аноны не могут вкатиться в самую базовую хуйню, пусть даже в трясунство черных ящиков, и ноют об этом на сосаче. Говнокодер - не оскорбление, а постирония.
Вонаби-зумеркам на ебало харкать не зазорно. Стремно спрашивать, как забивать гвозди, построив дом
>не могут вкатиться в самую базовую хуйню
Имплаинг вкат зависит только и только от скиллов кодинга, а не от социоблядских игрищ (что особенно важно в этом вашем мышином облучении)
>мышином облучении
Ржу
Есть у кого нормальное описание алгоритма поиска контуров (функция findContours в OpenCV). Нахожу только ссылку на статью "Topological structural analysis of digitized binary images by border following. Computer Vision, Graphics, and Image Processing", которой в отрытом доступе нет нигде от слова совсем. Может кто сталкивался. Копаться в OpenCVшных имплементациях совсем не хочется
Все эти tensorflow работают на тензорных ядрах Хуанга?
Да
>Гит, CI/CD, паттерны? Нет, не слышали.
это не так уж принципиально для старта проекта.
А вот без маняматика в принципе никакого прорывного проекта не будет.
Вся ебанутая бесполезная хуйня уже понаписана
>Вонаби-зумеркам на ебало харкать не зазорно
Типичный признак омежки с психологией опущенного деда из армии и прочих унтерменшей.
>Есть у кого нормальное описание алгоритма поиска контуров
Загугли "поиск связных областей".
>которой в отрытом доступе нет нигде от слова совсем.
Не знать в 2020 о существовании сайхаба. https://sci-hub.st/https://doi.org/10.1016/0734-189X(85)90016-7
Да как-то и не подумал. Спасибо
А можно где-нибудь найти материалы к курсам How to Win a Data Science Competition с курсеры в свободном доступе?
> курсам How to Win a Data Science Competition
Заплоти инфоцыганам, инфоцыгани сами себе не заплотют.
Хуанг пишет библиотеку cudnn с закрытыми исходниками, в которой происходит неизвестный природе ахалай-махалай. Все эти тензорфлоу просто ее вызывают.
да чё она знает
привет, аноны. Короче я НЕ дата саентист и НЕ хочу вкатываться. Но зато очень хочу потыкать GPT-3 из-за хайпа. Где-нибудь можно глянуть материал про то, как ее дообучить/хуй знает что сделать, чтобы она могла генерить стихотворения (где-то видел как чел это сделал) на русском?
Спасибо
Спасибо
>очень хочу потыкать GPT-3 из-за хайпа
Разве она появилась в свободном доступе?
Пасаны, что посмотреть про ресурсное планирование? Всякие вот job shop, resource-constrained scheduling, вот это вот всё
так я хз, думал, что плохо ищу. Ее еще нет? А некоторые чуваки же учат, на TJ видел, что кто-то в фигме делает макеты, кто-то код пишет и тд
Она не доступна широкой публике. Сейчас закрытый бета-тест, потом будет платный доступ к API
>Сейчас закрытый бета-тест, потом будет платный доступ к API
А как же паперы в которых все написанно? Ну что бы любой задрот прочитал и сделол? Сарказм
думаю долго не протянет идея, ломанут пидорков
>А как же паперы в которых все написанно? Ну что бы любой задрот прочитал и сделол?
Оно так и работает, но лишь до тех пор, пока для тренировки не нужен датасет, которого нет в свободном доступе, или вычислительные ресурсы стоимостью в несколько миллионов.
>Но зато очень хочу потыкать GPT-3 из-за хайпа.
https://www.reddit.com/r/artificial/comments/icvypl/list_of_free_sitesprograms_that_are_powered_by/
>Где-нибудь можно глянуть материал про то, как ее дообучить/хуй знает что сделать, чтобы она могла генерить стихотворения (где-то видел как чел это сделал) на русском?
Ты скорее всего путаешь GPT-3 и GPT-2. GPT-2 можно дообучить, найди гитхаб автора порфирьевича, он там на русском все объясняет. Но у тебя вряд ли получится.
GPT-3 же не нужно обучать, оно само по нескольким примерам начинает генерить желаемый вывод, в этом его фишка
>Оно так и работает
А ну это типа аак квантовая физика, дяди имеют доступ к колайдеру и гранты, а ты ешь сухари и играешь с котиком.
Физика элементарных частиц примерно на 3 порядка дороже
> Но у тебя вряд ли получится.
А че это? ТИПА ОБИДЕТЬ МЕНЯ СУКА РЕШИЛ???
>элементарных частиц
Такая же магия и тряска ящика
Как вы проходите собеседования? Что на них спрашивают?
Очень глупые вопросы задаешь
ну это рофл был. Так то просто интересно: тут имеют место быть технические сложности или рил просто так считаешь, потому что я не из области дата саенса? Просто если это рил пиздец и займет месяц-два, то и хуй бы с ним
Меня на прошлой неделе выебали математикой, теор вер, статистика. Я жидко обосрался и обмяк после собеседования в мтс.
Пиздееец. Не падай духом, анончик
Да уже, понял над чем нужно поработать, что подучить. Но вообще неожиданно неприятно. Весной на джуна в контору обрабатывающую астрофотографии я прошел как по маслу и спрашивали не так много а я отказался, по некоторым причинам. Зря долго ебланил.
>мтс
Это телефонный оператор?
>Меня на прошлой неделе выебали математикой, теор вер, статистика.
Лолирую, скоро в МакДак будут так же ебать - срыночек, копетолиздм, заебись!
>понял над чем нужно поработать
Что ты понял, МТС дно донное, они ничего не сделали и звать их никак, понял он, лол. Во истину у нас дураков на 100 лет ну и плюс маняматиков, этих идиотов не считаем
Ну ты тоже как-то некрасиво себя ведешь, не был же на моем собеседовании, хули тявкать. Вывод некоторый сделал, вполне достаточно.
>в мтс
Хочешь получать 100к на должности "сеньора"?
Та ты тру лохопетыч, чего бы не поугарать. Сейчас тебя в Крошку Картошку бы нагрузить с таким бы собесом, лол
Экчуали 150 на мидла.
>Крошку Картошку
Люблю кстати, с тремя брынзами
>Крошку Картошку
Есть Додо Пицца, они там в Хабропетушарне раньше постились, примерно такое же.
> я отказался, по некоторым причинам.
Из-за диплома что ли? Долбоеб потому что.
Не, квартиру не давали рядом с работой, очередь была иннополис. Я живу на другом конце соседнего города.
Бля, пиздец вы тут желчные какие-то. Я просто опытом поделился, а уже накинулись. Проще будьте что ли.
Собственно отрасль долбоебов, чего удивляться.
>Я просто опытом поделился, а уже накинулись.
Мань, просто пойми, эти конторы они 0 и звать их никак и такие требования с тебя это просто жесть.
Я об этом спорю что ли? Ты же видишь на какой вопрос я ответил.
Что тебя триггернуло так?
Если из-за диплома - то долбоеб (я таких знаю, вместо получения драгоценного первого опыта страдают хуйней и получают нормальный оффер на год позже, чем могли бы). Если нет - то нет. Не понятно, где ты желчь нашел. Для борд твой пердак слишком чувствительный.
>Что тебя триггернуло так?
Что ты в обще начал с ними оправдываться.
С кем?
>Что ты понял, МТС дно донное, они ничего не сделали и звать их никак, понял он, лол
А что они должны были сделать? Выросло какое-то ебанутое поколение, которое уверено, что без ежедневного хайпа компании нихуя не делают и не существуют
оно запускается на огромных дорогих мощностях, просто так тебе не дадут покататься на ядерной ракете. Пока что.
>без ежедневного хайпа компании нихуя не делают и не существуют
Что про Додо Пиццу скажешь? Почитай их высеры на швабре, на досуге.
Запускается она не на особо дорогих мощностях, на видюху модель не влезет конечно же, но в целом инференс был бы посилен даже частнику-программисту с зарплатой 300к
>Что про Додо Пиццу скажешь?
Пицца как пицца. Что можно через вебку пронаблюдать как ее готовят - прикольная идея. В целом любой бизнесмен в этой говностране - народный герой, не вижу причин для хейта.
Я не про такой хайп. Я про тех дрочеров на всякие гугл и опенаи, которые уверены, что если коммерческая компания не делает публикаций, значит они нихуя не делают и внутри нихуя не происходит.
Двач, а есть ли какой-нибудь софт, с помощью которого можно БЫСТРА проанализировать данные, с минимальным количеством телодвижений? Буквально в три кнопки. Ну что бы сразу вывелось корреляция между разными атрибутами, количество уникальных значений, количество пустых значений...
http://r4stats.com/articles/software-reviews/r-gui-comparison/ что-то из этого. Или Statistica
энтузиасту тогда уже. Что потом делать со своим стеком видюх- вопрос, каждые пару лет новая линейка. Пускаю слюни на 24 гб новую карту, как ее там, 3090 или 80...
Ну и говно.
Этим вас с Пятерочках мучают?
А вот у меня есть такой софт.
Хотя, конечно, кореляции в численном виде могут скрываться
Поэтому есть разные удобные вызовы в библиотеках
https://pandas.pydata.org/docs/reference/api/pandas.plotting.scatter_matrix.html
https://seaborn.pydata.org/examples/scatterplot_matrix.html
Спермэн
Лол
>А вот у меня есть такой софт.
Он создает больше проблем, чем решает. Посчитать корреляцию это буквально три строчки на питоне включая импорт библиотеки. SOTA с помощью такого софта не воспроизвести, а от терабайта данных он сделает пук среньк и повиснет.
>а от терабайта данных он сделает пук среньк и повиснет.
А питон нет что ли?
>А питон нет что ли?
На питоне можно сделать генератор, который будет подгружать данные с диска.
Просто научись печатать вслепую
Поговори с преподавателями. Они, скорее всего, сами где-то работают.
А зачем тебе терабайт? Тестируй идеи на гигабайте. Не загружай все сырки из Пятерочки.
Все равно за тобой переписывать программист будет.
>Тестируй идеи на гигабайте. Не загружай все сырки из Пятерочки
>Все равно за тобой переписывать программист будет.
Он создает проблемы тебе, рабу какого-то кабанчика из Пятерочки и других крупных компаний.
А для нас он демократизирует науку. Позволяет все попробовать.
Принести в любой бизнес и классический машоб и нейросети.
как сделать SOTA из 90ых ?
https://www.researchgate.net/publication/5091269_Bordeaux_Wine_Vintage_Quality_and_Weather
А вот так:
шо самое интересное, это не было SOTA в 90ых
Просто какой-то экономист пришел и сказал : вы ебанутые? вы почему до сих пор платите этим экспертам по вину такие деньжищи? там же линейная регрессия!
Сап обучач, будут советы по выбору дистрибутива под сеточки? Минта мне с головой хватит или лучше что-то другое?
тоже СОТА собрался копировать? Тогда ставь дебиан. Будь как все.
Если копировать-вставить, то да, это про меня. Не люблю голый дебиан, ну раз говоришь дебиан норм, значит и минт сойдёт.
Я по привычке поставил ксубунту, первый раз 20.04, хули, лтс, а у этой падлы при 3х включённых в иксконфиге gpu (потому что нвидия охуенная фирма и не дает рулить вентилятором у хедлесс затычки) короче ломается вся крыса нахуй с каким-то феерическими багами и тормозами. Решил проблему установив гном3.
При этом на 18.04 такой хуйни не было.
А в целом похуй. Один хер это просто прошивка для запуска питона и вместо апта ты будешь юзать пип, конду, а то и докер. Главное чтобы системный питон не был убердревним говном, ну чисто из-за удобства
Какие-нибудь заметные плюсы по отношению к работе под шиндошсом имеются? А то все говорят, что надо на линух катиться, я так и не понял нахуя, што тут питон, што там, надо попробовать, видимо.
юзай докер/виртуалки и не еби себе мозги
>Какие-нибудь заметные плюсы по отношению к работе под шиндошсом имеются?
Винда отжирает 20% видеопамяти, и не получится тренировать на нескольких видеокартах. Некоторые библиотеки и модели придется адаптировать. Вроде все.
Совет годный, конечно, но у меня вышка немного не it (естественные науки)
В с++ могешь?
В унике проходили до ООП, уже год плюсы не практикую, но могу что-то вспомнить, если напрягусь
я тебе скажу, что особого прироста от тренировки на нескольких видюхах, если их не 8 и более нету. На винде может быть пердолинг с некоторыми либами, но это исправляется, если долго покурить. Ну и линух непривычен после 23 лет винды.
Хуево. Ищи какое рыночное преимущество ты можешь в себе развить, зумерков, да еще с естественной вышкой, просто дохуя.
Это да, есть знакомые-вкатыши даже с моего курса
А какой-нибудь проект за спиной в профильной области (NLP, CV, рекомендашки и пр.) сильно может заролять? Так впадлу кагл дрочить, учитывая, что не везде про него даже знают, а конкуренция там дикая
>я тебе скажу, что особого прироста от тренировки на нескольких видюхах, если их не 8 и более нету
Есть. Но он, конечно, зависит от размера и типа модели.
>На винде может быть пердолинг с некоторыми либами, но это исправляется, если долго покурить
Либы может быть и настраиваются, но вот ограничение памяти выбешивает. Купишь видеокарту на 24Гб, а доступными будет лишь 20. Причем на семерке все работало нормально, а на десятке какому-то пидарасу пришло в голову поменять лимиты памяти в видеодрайвере. Пять лет прошло, а починить до сих пор не удосужились, несмотря на многочисленные жалобы пользователей.
К сожалению, комп у меня один на все задачи, поэтому приходится терпеть.
>Какие-нибудь заметные плюсы по отношению к работе под шиндошсом имеются?
Основные плюсы появляются, когда ты становишься достаточно большим мальчиком, у которого машина с IDE - это одно, а машина для тряски ящиков - это другое. А то очень неудобно сидеть пердеть на дваче, пока у тебя параллельно на 100% CPU занят вычислениями, а из-за запущенного фаерфокса случается OOM. Фактически если у тебя нет лишних $500, чтобы собрать на 2700x рызене машинку для вычислений с двумя PCIEx16 слотами и закинуть ее на балкон, то о какой продуктивной работе вообще может идти речь. Естественно для такой машины нужна простая и беспроблемная прошивка, которую установил, настроил и забыл, там нативный шелл со всеми плюхами типа tmux'а, и она не ебет тебе мозги обновлениями и вообще всей той бесящей хуйней, которую дарит пользователям винда.
Если же ты студентик и $500 на выделенную машину у тебя нет, то линукс тебе осваивать все равно придется, и делай это лучше сейчас.
На "машине с иде" у меня меня тоже линукс уже лет 10, но это уже холивар. В целом мне похуй, с чего работать, я летом неделю со смартфона с установленным ssh работал, редактируя скрипты в nano. Ноутбук так и пролежал в сумке.
Анчоусы, хелп плиз. Как найти по графу вычислений производную y с крышкой по b? Вообще не выкупаю что-то
>А то очень неудобно сидеть пердеть на дваче, пока у тебя параллельно на 100% CPU занят вычислениями, а из-за запущенного фаерфокса случается OOM
Оперативка и CPU для нейронок не нужны. Проблема разве что в видеокарте, из-за которой при тряске ящиков начинает тормозить абсолютно все, включая даже браузер. Решается покупкой второй видеокарты. На одной трясешь ящики, на второй играешь и двачуешь.
>А какой-нибудь проект за спиной в профильной области (NLP, CV, рекомендашки и пр.) сильно может заролять?
Это полный рандом. Люди, которые разбираются в нейросетях, не разбираются в людях, и наоборот. Совет только один - чем больше ты разносторонне развит, с подтверждением скилла независимым источником (даже с твоих слов), тем больше шансов.
Кагл говно, да. У меня у знакомого джуна есть половина сервера с четыремя V100, который простаивает 90% времени. И вот теперь подумай, какие у тебя шансы победить такого на кагле. Это спорт высоких достижений с разрешенным допингом. Но, опять же, это рандом, тебе может попасться тимлид-каглодрочер, а может тот, кто хейтит кагл, как я. Я бы если бы был мной но студентом, делал бы то же, что делал тогда - задрочил C++ и искал работу именно с мотивацией того, что я может и херовый исследователь (на самом деле нет), но зато заэмбедю вашу писечку в продакшен так, что конкуренты обзавидуются. Это еще до нейронок было. И это сработало, потому что вкатывальщиков как грязи, а чтобы они еще при этом и сносными программистами были - это нереально уже, а средний программист дико боится ТЗ с интегралами и не способен соптимизировать это самое ТЗ на высоком уровне. Ну, либо, задрочить AWS и куберфлоу за две недели, и сказать, что ты ниибаца инфарструктурщик. Хуй знает, пробуй.
Признаюсь, я не всё понял, но посыл уловил, буду просто апргрейдить своего покемона в резюме разносторонними фичами. Спасибо, анон
>Оперативка и CPU для нейронок не нужны.
Не не нужны, а при желании и отдельном геморрое ты можешь настроить пайплайн так, чтобы они минимально ботлнечили. На деле же с хорошим CPU можно аугментировать данные нампаем на лету, а не встраивать эту ебань в граф вычислений или предварительно формировать из 1 гб датасета 100 гб аугментированного говна, да и просто написать синхронный скрипт и ебать мозг с параллельной работой CPU и GPU.
То же касается и экономии оперативки - можно, конечно, ебать мозги с генераторами и подгружать все асинхронно с диска, но когда ты можешь загрузить 60 гб датасет тупо в оперативку и сделать model.fit() прямо из говноскрипта китайца, это удобно.
Но если ты днищук, то да, можно обойтись без оперативки и CPU. И покупается все за копейки. Не знаю правда почему я 2700x назвал, забыл уже маркировку амудей.
Навскидку, cpu - 8к, лучший по перформанс-на-доллар амуде, но не менее 2 ядер на GPU, мать на X370 чипсете - 6.5к, бп на 850 вт - 10к, память 2666 16 гб - 5к, ссд - 5к, корпус - 3к. Меньше $500 в сумме. Если совсем-совсем днищук, то же самое собирается из мусора с авито в 2 раза дешевле, главное не экономить на БП. Потом покупается вторая карта, докупается оперативка, процессор апгрейдится. Хватит такой машинки лет на 5, если конечно хуанг не сделает 40хх серию с потреблением электрического чайника, а все к этому идет.
>Решается покупкой второй видеокарты. На одной трясешь ящики, на второй играешь и двачуешь.
Это спор пека-вс-консоли напоминает. Решение это так себе - солидный боярин со спецализированным сервером и студентик, готовый ради экономии 20к к куче решаемых, но дурацких проблем, и все чтобы поиграть в некстген. Понятно что на самом деле никакой второй видюхи не будет, а будет просто превозмогание от тормозов на единственной.
Каггл хейтят неосиляторы с оправданиями НУ У НИГО ЖИ СТО НИРОНОК
Каглодрочер порвался. Ничего нового
>На деле же с хорошим CPU можно аугментировать данные нампаем на лету, а не встраивать эту ебань в граф вычислений или предварительно формировать из 1 гб датасета 100 гб аугментированного говна
Намапай не задействует больше одного потока. А самому распараллелить зачастую не получится из-за GIL.
>То же касается и экономии оперативки - можно, конечно, ебать мозги с генераторами и подгружать все асинхронно с диска, но когда ты можешь загрузить 60 гб датасет тупо в оперативку и сделать model.fit() прямо из говноскрипта китайца, это удобно.
Сегодня тебе нужно 60гб, завтра 100, а послезавтра терабайт. Грузить данные с SSD гораздо дешевле и падения в производительности практически нет. Просто делаешь memmap и работаешь с данными на диске как будто они находятся в памяти. Даже генератор писать не нужно.
>Навскидку, cpu - 8к, лучший по перформанс-на-доллар амуде, но не менее 2 ядер на GPU, мать на X370 чипсете - 6.5к, бп на 850 вт - 10к, память 2666 16 гб - 5к, ссд - 5к, корпус - 3к. Меньше $500 в сумме.
За такие деньги говно получится. Нормальная машина для тряски ящиков стоит $2-3k.
>солидный боярин со спецализированным сервером
Солидным боярам сервер выдает работодатель, и этот сервер на порядок мощнее десктопа. Собирать сравнимые по стоимости сервер и десктоп не имеет смысла, поскольку у тебя будут постоянно простаивать ресурсы. Либо сервер, если не трясешь ящики, либо десктоп, когда не пользуешься им.
Собирая одну машину за те же деньги ты получаешь более мощный процессор, больше памяти и дискового пространства, и две видеокарты вместо одной. Для многозадачности можешь ограничить использование ядер процессора, и тренировать на одной видеокарте. Только при этом у тебя сохраняется возможность использования всех ресурсов одновременно.
В общем, собирать сервер имеет смысл только когда он как минимум в несколько раз дороже десктопа.
>самому распараллелить зачастую не получится из-за GIL
Проблемы питоноёбов
Туда ли ты зашел, петушок?
>А самому распараллелить зачастую не получится из-за GIL.
Как вариант use_multiprocessing=True в fit_generator
Мне не понравилось, уже не помню почему, и я использую просто Pool и starmap_async. Оно еще и универсально к фреймворку
>Сегодня тебе нужно 60гб, завтра 100, а послезавтра терабайт.
Нет, не так. Для теста разных идей приходится частенько пользоваться чужими скриптами, в которых каждый лепит как угодно. Как правило - это китайцы, которые ничего, кроме np.load не знают. Когда нужно скрипт каждого китайца адаптировать под свое железо - это проеб времени на ублажение железа. При этом если у тебя CPU медленнее, чем у китайца, это не страшно, а вот количество оперативки критично. Так что 16 гб это минимум, даже если ты сам у мамы оптимизатор и меммапы с ссд хуячишь
>За такие деньги говно получится.
Лол
1. Нагруженность машины не важна, я просто куплю вторую видеокарту
2. Нагруженность машины важна, и пекарни за $500 не хватит
Критерий говно-не-говно простой - у тебя утилизирована видюха на 100%, или простаивает. Критерий второго порядка - это возможности апгрейда на следующем поколении видюх, и так далее. В целом, когда ты проапгрейдишься до какого-нибудь 4080 и тебе перестанет хватать амд 2018 года, купишь амд 2020 года, который к тому моменту будет стоить 40 баксов, и опять будет хватать.
>Солидным боярам сервер выдает работодатель, и этот сервер на порядок мощнее десктопа
Солидные бояре сами говорят работодателю, что им купить. Просто большинство пользуется хайпом и шальными деньгами и просто берет что-то типа DGX, а потом шарит его между отделом из 4 человек (если повезет - то двух). То есть реально, у каждого в распоряжении по два V100, а контора заплатила за это счастье по миллиону рублей на рабочее место.
>Собирая одну машину за те же деньги ты получаешь более мощный процессор, больше памяти и дискового пространства, и две видеокарты вместо одной.
Ну то есть, как я и писал, что твоя логика в том, что ты хочешь физически шерить разного рода работу (в частности - игори и ML) на одном железе. Сегодня нейроночку потренировал, завтра в игру поиграл. Сегодня игорьку установил, завтра удалил и скачал датасет. Потом удалил датасет, установил игру. Поставил обучаться - вместо игры пошел влипать в телефон. На корпусе 3к сэкономил, на БП. И так далее. Говно, в общем.
>В общем, собирать сервер имеет смысл только когда он как минимум в несколько раз дороже десктопа.
О, а это ты охуенный вопрос поднял.
Самое дорогое в DL, помимо видюх, - это, внезапно, PCIEx16 слоты. Мать с двумя слотами стоит 7к, мать с 4 слотами стоит 20к. Мать с 8 слотами это вообще отдельная история.
На втором месте - БП. И тут аналогичная ситуация, 2 БП по 800 Вт стоят дешевле, чем один по 1600, если не пользоваться майнерскими решениями. И это намного проще разрулить с точки зрения электрики и розеток.
На третьем месте - корпус и охлаждение. И тут опять же 2 корпуса по 3к выйдут дешевле, холоднее и тише, чем один большой. Особенно это актуально для 30хх печек.
С процессорами тоже выгоды нет. По перформансу/доллар и даже ядроперформансу/доллар в топе недорогие процессоры.
Короче реальная экономия идет только на SSD и оперативке, которую можно шарить между экспериментами, но оно тонет в пунктах, которые я перечислил выше.
Такая вот аберрация на рыночке - как только ты выходишь за рамки геймерского рыночка с его 2xSLI, ты попадаешь на серверное железо, которое, с одной стороны, нахуй не нужно с его надежностью и накруткой за малые тиражи, если у тебя не облачный датацентр, а с другой - в разы дороже и устаревает быстрее.
Так что в итоге получается, что собирать сервер в несколько раз дороже имеет смысл только для больших multi-gpu моделей в кластере. А если цель получить наиболее эффективную йобу для гридсерча в данном бюджете, то ПК среднего сегмента уделывают остальные решения в разы.
>Как вариант use_multiprocessing=True в fit_generator
Спасибо, я про это не знал. Хотя, у меня не всегда получалось использовать multiprocessing, поскольку копирование данных между процессами убивало всю производительность.
>Так что 16 гб это минимум, даже если ты сам у мамы оптимизатор и меммапы с ссд хуячишь
16 это вообще смешно. Я имел в виду разницу между 32-64 на десктопе и 128+ на сервере.
>О, а это ты охуенный вопрос поднял.
Но ведь мы обсуждаем не сервера с 4-8 видеокартами, а ПК для простых смертных, так что матери с 8 слотами идут мимо. БП на 800 ватт хватит для двух видеокарт (нахрена больше?), и стоит он недорого. Охлаждение и корпус стоят копейки. В случае одного ПК придется лишь чуть больше потратить на корпус и охлаждение, а в случае двух - заново покупать процессор/мать/бп/память/диски. Ну а если для других задач ПК тебе не нужен, то нет вопросов - собирай один в качестве сервера, накатывай на него линукс, а код пиши на ноутбуке.
>С процессорами тоже выгоды нет. По перформансу/доллар и даже ядроперформансу/доллар в топе недорогие процессоры.
Мне кажется у нас разные определения недорогих процессоров. Для меня недорогой это 12-ядерный 3900X или 16-ядерный 3950X. Именно такой я бы поставил в ПК для дата саенса, если собирать его прямо сейчас. Не только для нейронок, а для дата саенса в целом.
На самом деле нет. Тут демонстрируется какие же машинлернщики хуевые программисты.
GIL "отпускается" при вызове numpy.
>Хотя, у меня не всегда получалось использовать multiprocessing, поскольку копирование данных между процессами убивало всю производительность.
Вместо самих данных можно либо передавать указатель на меммап, либо в дочернем процессе создать глобальную переменную с указателем на меммап. Это вообще лол - в питоне мультитрединг программируется как какая-то сишка из-за необходимости обмена данных между процессами. Но вообще это несложно. В случае с ручным педролингом, это делается как-то так
yoba = None #инстанс йобы будет в каждом процессе отдельно
def init(куча параметров):
. global yoba
. yoba = np.memmap("yoba.bin", dtype=np.float32, mode='w+', shape=(...))
def worker(параметры для воркера, например, индекс в батче):
. global yoba
. yoba[eto_ti] = 12345
pool = Pool(processes=6, initializer=init, initargs=[тут имена файлов с меммапами])
yoba_read = np.memmap("yoba.bin", dtype=np.float32, mode='r', shape=(...))
И далее где-то в цикле:
done = pool.starmap_async(worker, параметры)
model.train_on_batch(yoba_copy)
if done.get():
. yoba_copy = yoba_read.copy()
Все. Наверное можно сделать так, чтобы пердолиться еще меньше, но я не вижу проблем в этих 15 строчках кода.
>БП на 800 ватт хватит для двух видеокарт (нахрена больше?)
БП вообще дело такое, прогресс в электротехнике околонулевой, поэтому покупать его можно лет на 5-10. А твоего 800 на пару 3080 уже не хватит. Что придумает хуанг через 2 года - неизвестно. Да и в случае с парой 250 ваттных видюх тоже лотерея, в пике они потреблять могут дохуя, а если 2 пичка произойдут синхронно, БП может вылететь. И такая хуйня происходить раз в сутки, например.
>В случае одного ПК придется лишь чуть больше потратить на корпус и охлаждение, а в случае двух - заново покупать процессор/мать/бп/память/диски.
Да когда у тебя один ПК - понятно, что это дешевле всего. Но рано или поздно ты перерастешь этот комп и тебе нужно будет апгрейдиться. И дальше два стула. Первый - выкинуть старый комп нахуй. Второй - продать его на авито за копейки или отдать бедным родственникам. Третий - установить на него линукс поставить его на балкон в качестве хоста для пары GPU, и в этом случае он проработает у тебя пару поколений видеокарт. Но это при условии, что ты изначально это предусмотрел и взял нормальный БП и мать с двумя слотами и промежутком.
>Мне кажется у нас разные определения недорогих процессоров. Для меня недорогой это 12-ядерный 3900X или 16-ядерный 3950X.
Два критерия - максимальный перформанс на доллар и способность загрузить топовый ГПУ. У меня сейчас 4 2070S обслуживает двухлетний тредриппер за 15к, при чем считая довольно сложную аугментацию с гигантскими батчсайзами. На компе с двумя 1080Ti вообще 1600. А если я захочу потратить 40К, я лучше куплю себе еще один числодробилку, нахуя мне йоба-CPU, который будет простаивать 99% времени. Прогресс в железе какой-то ебанутый стал, или я старый, потому что по перформансу я уже не помню, когда мне хотелось, чтобы CPU был побыстрей. Разве что при компиляции какого-нибудь говна. Что там на CPU делают вообще в датасаенце?
>в питоне мультитрединг программируется как какая-то сишка из-за необходимости обмена данных между процессами.
извинись.
Что у тебя на самом деле узкое место? GIL - это лок интерпретатора. Почему обмолот чисел ты считаешь узким местом, если там как раз GIL отпускается и можно задействовать второй процессор ?
>извинись
За что? Вместо написания чистенького кода вида parallel_map_async(container, function) как на каком-нибудь, прости господи, С++, мне приходится рассуждать о каких-то кишках интерпретатора высокоуровнего языка и думать, сделать ли мне import threading или import multiprocessing, где там случится GIL, а где не случится. Я не сомневаюсь, что ты спец по кишкам питона, но это как раз мой поинт и есть, что нужно быть низкоуровневым спецом просто чтобы параллельно данные в батч запихнуть.
>Что у тебя на самом деле узкое место?
Лично у меня узкое место в том, что нужно, чтобы функции train_on_batch и prepare_batch выполнялись одновременно, потому что одна грузит GPU и ждет результат, а вторая эти данные готовит на GPU. Как устроен внутри train_on_batch я не ебу, это библиотечная функция
numpy узким местом бывает редко, потому что он умеет параллелить себя на уровне векторизированных операций. То есть когда у тебя только хорошо написанный numpy-код, использовать что мультитрединг, что мультипроцессинг бессмысленно. Нужно написать код на нампае так, чтобы он сам все распараллелил в сингл-треде. Помимо этого тогда еще будут заюзаны всякие AVX и прочие йобы
>Все. Наверное можно сделать так, чтобы пердолиться еще меньше, но я не вижу проблем в этих 15 строчках кода.
Интересный подход, но есть одна проблема - ограниченный ресурс SSD. При таком раскладе он сдохнет за пару месяцев, учитывая размер данных. Хотя, в принципе, можно сделать рам диск и использовать его в качестве кеша, куда будут складываться аугментированные данные. Надо будет попробовать.
Насчет потоков я тупанул - нампай действительно не блокирует GIL. Но с другими библиотеками все равно могут быть проблемы.
>А твоего 800 на пару 3080 уже не хватит
Да хватит его. На пиковое энергопотребление можно поставить лимит, а так оно будет 250-300 ватт на каждую видеокарту, и то не факт что так много.
> Но рано или поздно ты перерастешь этот комп и тебе нужно будет апгрейдиться. И дальше два стула. Первый - выкинуть старый комп нахуй. Второй - продать его на авито за копейки или отдать бедным родственникам. Третий - установить на него линукс поставить его на балкон в качестве хоста для пары GPU, и в этом случае он проработает у тебя пару поколений видеокарт. Но это при условии, что ты изначально это предусмотрел и взял нормальный БП и мать с двумя слотами и промежутком.
С этой точки зрения согласен. Только тут у половины треда нет даже одного нормального ПК с видеокартой.
>Что там на CPU делают вообще в датасаенце?
Ну, кминс там всякий, аугментация, разжатие картинок на лету, computer vision алгоритмы, некоторые из которых не получится гонять на видеокарте. В принципе не критично, но все же желательно иметь процессор получше.
>Интересный подход, но есть одна проблема - ограниченный ресурс SSD. При таком раскладе он сдохнет за пару месяцев, учитывая размер данных.
По расчетам wd green, у которого нет даже DRAM для кэша, должен быть сдохнуть за пару дней со своим TBW в 40 терабайт, а работает 2 года. Мне кажется есть какая-то защита от дурака то ли в оси, то ли в самом контроллере ссд.
Вообще сами меммапы это непринципиально, можно https://stackoverflow.com/questions/7894791/use-numpy-array-in-shared-memory-for-multiprocessing использовать. Надо будет переписать. Главное это то, что не используется стандартный питоновский путь через сериализацию параметров функций. Спасибо, что обратил внимание на это, я об этом парился, но забыл, хотя в принципе переписать нормально ничего не стоит
>Да хватит его. На пиковое энергопотребление можно поставить лимит
Экономить на БП 4к чтобы по итогу глушить видюху? Ну такое.
А так это не поможет, потому что даже пиковые значения в nvidia-smi на самом деле усреднение. Есть еще более пиковые пики за более короткие промежутки. И от пары таких пиков синхронно дешевому и нагревшемуся БП может поплохеть. При этом комп даже не зависнет, просто отвалится один из GPU.
Вооо https://pypi.org/project/SharedArray/
То, что нужно
>С этой точки зрения согласен. Только тут у половины треда нет даже одного нормального ПК с видеокартой.
Думаю еще больше людей заходит в тред, смотрит его содержимое и уходит.
>По расчетам wd green, у которого нет даже DRAM для кэша, должен быть сдохнуть за пару дней со своим TBW в 40 терабайт, а работает 2 года
У жесткого диска неограниченное количество перезаписи. У меня же на SSD за год набегает около петабайта чтения. От такого количества перезаписи он точно помрет.
>можно https://stackoverflow.com/questions/7894791/use-numpy-array-in-shared-memory-for-multiprocessing использовать
Пытался использовать такие массивы, и они пиздец насколько меленные.
>Экономить на БП 4к чтобы по итогу глушить видюху? Ну такое.
Я просто долбоеб, когда покупал не думал, что буду докупать вторую видеокарту. Сам БП то топовый.
>Пытался использовать такие массивы, и они пиздец насколько меленные.
Ну может быть, хотя это странно, но я уже не буду тестить. Второе что я принес использует позикс шаред память и не должно отличаться от меммапов как перформансу, так и по интерфейсу (обращение через строку)
>мне приходится рассуждать о каких-то кишках интерпретатора высокоуровнего языка и думать, сделать ли мне import threading или import multiprocessing, где там случится GIL, а где не случится. Я не сомневаюсь, что ты спец по кишкам питона, но это как раз мой поинт и есть, что нужно быть низкоуровневым спецом
Нет, это знания практически на уровне FAQ. Не кишки питона.
Мне кажется ты просто не стал пробовать и измерять реальную производительность, а полез использовать модуль multiprocessing и получил падение производительности - горе от ума,
Не выебывался бы и нормально все было бы, датасаентист хуев.
>Не выебывался бы
Так это ты развыебывался на пустом месте. Я с тобой вежливо общался и даже не послал нахуй с этой шизой по поводу использования тредов, но, как видно, шизики не ценят, когда с ними как с людьми разговаривают.
Всем stack more layers за мой счет!
>Что там на CPU делают вообще в датасаенце?
Бустинг?
Это хоть ты делаешь эту приблуду, или ты просто хвалишься как ты ловко кликаешь?
Хвалюсь тем, что каждый может кликать, а не обсуждать по десятому разу какую видеокарту купить.
Ну вообще, конечно, единственный вывод, который следует сделать, что все эти покликанные мной дедовские методы отсасывают у нейросетей.
Зато наглядно.
Зато наглядно.
Насколько я вижу, тут уже просто готовые цсвешки ты суёшь в модели.
Это и в питоне делается двумя строчками, наибольшая еботня это собственно в удобоваримом виде эти данные получить после сотен строк препроцессинга и очистки, тебе или кому-то за тебя эту хуйню всё равно придётся писать и что-то мне подсказывает что кликер для зумеров тебе в этом никак не поможет.
А что хорошего в кликаньи? Одно дело художники которые в фотошопе рисуют, или даже видеомонтаж (и то он во многом скриптуется), но подобные вещи в разы удобнее скриптовать. Мало того, что на экране это все меньше места занимает, так еще раз написавши удобнее копипастить, про гиты-диффы я вообще молчу.
>дедовские методы
Они там на 640 кб делали
На такой табличке 80% вероятности что lightgbm порвет сетки. Но, дай-ка я угадаю, твой кликер его не поддерживает?
Деды не знали о существовании himem.sys?
Это быстро.
Я могу проверить гипотезы, а не платить дармоеду за месяц работы, который слегка изучил tensorflow, а про GIL знает только мемасики.
И поэтому у вас такой подрыв.
Главным образом, моя цель в изучении и прототипировании. Препроцессинг - штука рутинная и техническая. Тут для меня ничего удивительного.
Градиентный бустинг вроде есть, но непонятно какой.
Есть одна причина существования дедовских методов - интерпретируемость
В сложные архитектуры твой зумерский кликер не умеет, а для всего остального эффективнее использовать AutoML.
Более того, ты умудрился обосраться даже на простом табличном датасете.
А мне сложно не надо. Это же не игра в Каглы. Это жизнь.
Вот видишь, как просто найти ошибки визуально. Да, тут порог срабатывания лучше завысить.
И что я вам объясняю как мне жить? Просто завидуйте что проебали на питон лучшие годы жизни.
Что за финнопомойка?
>Это быстро.
Тебе? Для 60-летнего совка быстро - это написать текст от руки и отдать катеньке перепечатать. И некоторые совки даже это с гордостью говорят. Но на деле это просто лень и неумение пользоваться нормальными инструментами.
Тебя лично никто не заставляет. Но нас тут уже двое - я и тип, который спрашивал инструмент нахождения корреляций.
Подумой об этом.
>Тебя лично никто не заставляет.
Мне рассказывают, что у меня бомбит и я завидую. А я говорю о том, что я не завидую ни вам, ни дедам, пишущим от руки. Скрипты - это лучшее, что может быть, и не понимает этого только тот, кто не осилил печать вслепую и основы скриптования. Скриптование - это лучшее и инвестиция в сытое будущее, в будущем все будут скриптовать что-то
Хей, ребятушечки, я не шарю за матан.
Хочу вкатиться в машоб, но мне знакомая, кто вкатилась, твердит что если ты знал математику и не увлекаешься так же, как она, то даже могу не пытаться?
Тут реально настолько сильно матан нужен? Или она прост цену набивает себе, как обычно, и даже не зная матан, но имея упорство и усидчивость можно за пол года хотябы на уровень недо джуна выйти?
Хочу вкатиться в машоб, но мне знакомая, кто вкатилась, твердит что если ты знал математику и не увлекаешься так же, как она, то даже могу не пытаться?
Тут реально настолько сильно матан нужен? Или она прост цену набивает себе, как обычно, и даже не зная матан, но имея упорство и усидчивость можно за пол года хотябы на уровень недо джуна выйти?
Не знал математику*
Потому что как она преподности это, то там одни пиздец гении сидят у нее на работе.. Что они все очень умные и образованные люди. Что она очень любит математику и всю жизнь искала то, что связано с математикой и будет приносить еще не только радость, но и деньги... И т.д.
Общий смысл: Там пиздец одни умные люди, тупых туда не возьмут, поэтому ее и взяли. Ну меня естесна не возьмут, потому что я, несмотря на школьную склонность к математике, забивал хер на нее) Что в школе, что в универе))
И как-то задизморалила меня своими рассказами о том, что там происходит..
Общий смысл: Там пиздец одни умные люди, тупых туда не возьмут, поэтому ее и взяли. Ну меня естесна не возьмут, потому что я, несмотря на школьную склонность к математике, забивал хер на нее) Что в школе, что в универе))
И как-то задизморалила меня своими рассказами о том, что там происходит..
>Ну меня естесна не возьмут, потому что я, несмотря на школьную склонность к математике, забивал хер на нее
Ну и соси хуй теперь. Тут недавно спрашивали, как так получается, что математику учат тысячи выпускников каждый год, а в ML дефицит кадров. А вот поэтому
Ты ещё многочлен не видел
Потому что матеша не нужна? А все думают что нужна и не идут туда?
Дело не в том нужна она или не нужна, а в том что если ты не осиливаешь матёшку под разными оправданиями типа я умный но ленивый то скорее всего ты просто додик не способный к работе.
>знакомая, кто вкатилась
Pussypass
>матёшку
бесполезное говно не нужно
В будущем будут просто говорить: "Сири, наверни 50 сверток и поиграйся с гиперпараметрами"
А есть вот типа такого обзорчик но актуальное на текущий момент?
https://www.asimovinstitute.org/neural-network-zoo/
https://www.asimovinstitute.org/neural-network-zoo/
А на чем достопочтенные исследователи ИИ трясут ящик? Ну вот есть у меня коробка с ГПУ (одной), что на нее поставить? Пока что там убунту стоит с полгода. Думаю перейти на дебиан, ибо она жрет видеопамять, что не приятно.
Я программист вот уже 20 лет.
Думаешь меня это впечатлит?
А вот МЛ как продолжение алгоритмики впечатляет и вызывает желание изучить.
Кликер для образования - идеален.
>МЛ
>как продолжение алгоритмики
> не выкупаю что-то
Это потому, что ты тупая? Раз backprop сходу не можешь расписать, то начни с реверс-реверс инжиниринга, и посчитай производную напрямую.
Да у тебя даже с пониманием написанного плохо, какая тебе матешка
> с пониманием написанного плохо
Перельман, постирай штаны.
Мамка пусть тебе стирает
зубунту
Но все равно нужна отдельная видеокарта для нейроночек. Не только из-за памяти - когда гоняешь ГПУ, десктоп адски тормозит, если они на одном устройстве.
Что не так, родной? Не видишь общего в частностях?
>Я программист вот уже 20 лет.
Тебе 40 или ты с 10 лет свой стаж отсчитываешь?
>Кликер для образования - идеален.
Нихуя подобного. ML - он про автоматизацию автоматизации автоматизации. Если бы ты мог эти ноды графа автоматически строить, и далее в цикле перебирать всякого рода алгоритмы и их гиперпараметры - это одно. А кликер, где ты вручную меняешь один алгоритм обучения на другой - это совсем иное.
>ML - он про автоматизацию автоматизации автоматизации
Для не очень сложных задач можно вообще запустить оптимизацию гиперпараметров, которая переберет сотни вариантов архитектуры и найдет ту, которая работает лучше всего. Только зумеры-вкатывальщики с кликерами этого не понимают.
да, мне 40.
что это значит?
почему ты пытаешься меня этим поддеть? Я же не пытаюсь поддеть тебя, что ты как джун в МЛ в Мск зарабатываешь меньше чем я в провинции.
Да, с кликером вы найдете работу .
Но вы быстро разберетесь как это вообще работает и сможете выполнять первичный анализ проблемы. Понять стоит ли вкладывать деньги в решение проблемы, прежде чем нанимать дармоедов строить довольно банальные модели.
>С кликером вы НЕ найдете работу
fix
Это понятно, я и говорю что это коробка с ГПУ, работаю на ноутбуке. Вот и спрашиваю, может хитрости какие есть или вообще серверные ОС ставят? Но явно не убунту, которая (судя по nvidia-smi) отжирает до 400 метров(серьезно) видеопамяти.
Пиздят, вот тебе убунту.
Можешь поставить серверную убунту, но тогда управление вентиляторами потребует танцев с бубном. Правда если у тебя 1 GPU, оно особо и не нужно.
>притянуть за уши
>Не видишь общего в частностях?
Just stack more layers, алгоритмист хуев
> Не видишь общего в частностях?
Сейчас бы зумер что-то там увидел сложнее тиктока.
>да, мне 40.
И ты фанат бейсика? Я тебя помню кажется.
Нахуй мне тебя поддевать, ты мне ничего не сделал - ну, до этого поста, пока не обозвал меня МЛ джуном. Ну да хуй с тобой. Добра.
Открой torchvision.models, отсортируй по годам и читай отдельно про каждую.
Есть какие-нибудь готовые алгоритмы, позволяющие значительно увеличить картинку без потери качества?
>Есть какие-нибудь готовые алгоритмы, позволяющие значительно увеличить картинку без потери качества?
Если увеличивать картинки, то есть нейросеть waifu2x. Для видео не годится, поскольку слишком медленная.
Спасибо.
Я её в первую очередь и использовал. Но она почему-то режет разрешение.
Было 300dpi стало 72dpi. Хоть размер и увеличился в 2 раза.
>Было 300dpi стало 72dpi
Она не сохраняет метадату.
Зачем тебе вообще DPI? Он не нужен за исключением тех случаев, когда нужно печатать картинку и знать ее физические размеры.
>Зачем тебе вообще DPI?
Распечатать на стену.
Не "шакалами" же любоваться.
А почему подход из вариационного енкодера не применяют вообще везде? В смысле все эти эмбеддинги из бертов итп регуляризовывать с помощью предсказания не векторов на выходе а их распределения?
Не дает преимущества, видимо.
С эмбеддингами вообще как-то не принято ничего делать. Максимум кнн или SVM прикрутят и все. Миколов ещё лингвистические регулярности замутил, а больше ничего и не делается в этом направлении. Ящитаю, дело в том, что сойбои от машоба не могут придумать применения эмбеддингам за пределами имеющихся применений, для которых и SVM достаточно.
Наверное этот подход отдает предпочтение крупным деталям, хорошо восстанавливая основной горб распределения, но с проблемами в хвостах. На картинках это проявляется в том, что стандартный ВАЕ генерит очень мыльные картинки. Чтобы оно хоть как-то работало, пилят иерархичный стэк из ВАЕ, но в целом не похоже, что научились выжимать из этого подхода хоть что-то.
Антошка наш раскидал по фактам
https://www.youtube.com/watch?v=HoduB-KiDo0
https://www.youtube.com/watch?v=HoduB-KiDo0
Спасибо за фидбэк!
Ответ на вопрос про пайплайны внутри команды:....
Просто съебитесь
Привыкай к корпоративному суржику и готовься вейджслейвить зумирок - твоё будущее.
>суржику
Ну вот за чем такие англицизмы? Просто хочется плюнуть в лицо...
>Ну вот за чем такие англицизмы?
>за чем
Ну 200 метров. Ну вот куда.
>Ну 200 метров. Ну вот куда.
Тебя так сильно волнует использование 200 мегабайт из 11 гигабайт?
Не особо, до того момента, пока не начинаешь считать, например, батчсайз. ПОтому что после открытия фраерфокса потреление скаконуло до 280, потом опустилось до ~260. Не люблю непредсказуемость.
Ваш? Ты его один сюда приносишь
Не логинься в гном. Либо
1. На экране логина нажми ctrl-alt-f1 и запускай через терминал
2. Либо то же самое через ssh
3. Либо через apt установи себе ldxe и выбирай его на экране логина https://www.howtogeek.com/107368/how-to-install-the-lightweight-lxde-desktop-on-ubuntu/ . lxde я от балды предложил, я не знаю, что выбрать для минимимума-минимума в потреблении видеопамяти
Но если ты целый фаерфокс решил запускать, это вообще пушка. Просто думай, что у тебя не 11 гб памяти, а 10,5. Эти 5% тебе нихуя погоды не сделают. Я думал ты спрашиваешь про убунту сервер, чтобы на сервер себе что-то установить, а на сервер нужно ванильку ставить, потому что без иксов управлять вентиляторами нельзя, а ставить микроиксы с эмулятором монитора на убунту сервер можно, но удовольствие так себе.
>open data science
>анальный логин
>Unlisted видео на ютубе
ods как обычно
https://www.youtube.com/watch?v=W5GFH1erQ4U - хороший доклад, для всех сработает, не только для цифрового гулага
>анальный логин
Иначе анонемасы набигут
Через какое-то время выложат на ютуб для плебса вроде тебя, не ной
Разуй глаза, уже выложили - но unlisted, как положено тамошним пидорахам.
Если нужно, но лень сделать лишнее усилие - значит на самом деле не нужно. Довольно мудро, нечего ленивым уебанам ненужным им знанием башку засорять.
От создателей "не служил - не мужик"
Как включить в Keras FP16 чтобы тензорные ядра от Хуанга работали?
Установи tf 2.3 и далее вверху модуля
from tensorflow.keras.mixed_precision import experimental as mixed_precision
policy = mixed_precision.Policy('mixed_float16')
mixed_precision.set_policy(policy)
В некоторых местах возможно придется прописать tf.cast из tf.float16 в tf.float32 или наоборот.
Ну дебажить нужно, куча вариантов может быть. Первый - ты упился стекломоя и у тебя 10хх серия. Второй - где-то в самом тормозном слое (например в последнем dense) у тебя каст до fp32, нужно посмотреть типы тензоров в графе. Чтобы это исключить, возьми код из туториала как есть.
А может у тебя вообще GPU недонагружен и тормоза в другом месте.
У меня имеется оригинальный текст и такой же второй, но немного измененный. Подскажите как мне сделать такую нейросеть, которая будет таким же образом менять текст? В какую сторону идти?
С нейросетями вообще не знаком, питон знаю неплохо
В сторону знакомства с нейроночками.
Берешь миллион баксов, качаешь 20 терабайт текстов на русском языке...
Иди в сторону PhD по NLP, потом узнаешь, что лучшим решением будет прикрутить seq2seq трансформер.
Вообще, если данных очень много, то задача ничем не отличается от machine translation. Если текста мало, то надо придумывать какие-то хитрые функции потерь.
нахуй идти.
помогать замусориванию веба противоречит этики элитных учоных.
Почему я слева вижу Обаму, как работает мозг? Что там вговнемоченые говорят? Как вы пытаетесь подражать мозгу не понимая как он работает?
у тя прост ооверфит в мозге.
Потому что это и есть Обама слева, пали по воротничку
Сильно подозреваю, даже во всех выпущенных русских книжк за всю историю, не наберётся 20 терабайт.
>Сильно подозреваю, даже во всех выпущенных русских книжк за всю историю, не наберётся 20 терабайт.
Значит придется писать книги самому.
> Как вы пытаетесь подражать мозгу не понимая как он работает?
Ну раз зумер сказал, что ему неизвестно как мозг работает, значит и никому это не известно. Зумерская "логика".
Есть интернет с форумами
>Потому что это и есть Обама слева
Так как я его через квадратики узнал?
По фичам
Алгоритм на картинке достраивает недостающие пиксели по своей логике. А ты сравниваешь картинку с теми лицами, которые у тебя в памяти. Если алгоритму дать набор реальных людей и сделать сравнение, на кого картинка больше похожа, то алгоритм даст правильный ответ.
> А ты сравниваешь картинку
Картинка не полная
Существуют ли видеокамеры, которые сразу бы в реалтайме выплевывали бы эмбединги (image embeddings) ?
Если нет, то почему?
Не гуглится.
Если нет, то почему?
Не гуглится.
Это и есть Обама. А справа сгенеренный GAN-сетью персонаж.
Ты не выкупил тонкую шутку
Я не вкупаю, как человек сразу узнает Обаму за квадратиками
>Почему я слева вижу Обаму, как работает мозг?
Потому что эта фотка Обамы (в гораздо лучшем качестве) тебе уже попадалась на глаза. Ты знаешь наперёд, как выглядит Обама. И легко отличаешь низкокачественную версию его фотки среди множества других фоток. Вот если человек не знал про Обаму, тогда другое дело.
>не понимая как он работает?
Ну почему не понимая? Что, нейронки не модель работы мозга, что ли?
>Что, нейронки не модель работы мозга, что ли?
Нет конечно, кто в обще эту бредятину форсит?
>Существуют ли видеокамеры, которые сразу бы в реалтайме выплевывали бы эмбединги (image embeddings) ?
>Если нет, то почему?
Потому что архитектура любой системы должна быть модульной, а не представлять собой монолит, разве нет? Способов получить эмбедиги множество, и не факт что тебя устроит тот, который встроят в камеру.
Любой кэглодрочер и без ста нейронок взъебет вкатывальщиков, которые с умным видом говорят "ну на кагле не бизнес задачи, не считается, там за 0.0000001 rocauc бьются"
Какие блядь "сто нейронок", что ты несешь вообще, вкатывальщик. Какие-то абстрактные выдуманные тобой люди со странными критериями.
Кто-то из MADE есть тут? Стоит поступать?
А есть здесь магистры/аспиранты? Я тут подумываю, стоит ли пойти в магистратуру? Удается сочетать с работой?
Тебе лучше пойти своей жопой в мой хуй
Сейчас рандомшкольник тебе скажет: да, конечно иди, и ты встанешь и пойдешь? Или в чем смысл твоего идиотского вопроса?
>Почему я слева вижу Обаму
Ты переобучился.
Так ее можно загрузить разную!главное проецессор иметь.
Я несколько лет назад читал про новые модели с нейронками на китайской выставке и это противоречит твоим словам.
Думал уже готовые изделия начали продавать.
Все?
В бумерских книжках этому посвящены целые главы
Нет. Я хейтю Кагл за оторванность от реальности.
Датасайенс начинается не с датасета, а с CRISP-DM.
(погуглите, вы же любите заумные сокращения)
>Так ее можно загрузить разную
А можно вообще засунуть в облако. Вдобавок, некоторые модели физически не получится запустить на слабом девайсе вроде камеры.
В девайсы имеет смысл встраивать только когда уже имеется готовый продукт.
Это вы ещё Кохонена не читали, зумера. Но это направление - моделирование нейроночками реальной нейрофизиологии, начисто проебано, так как сойбои не могут в нейронауки. А ведь диплернинх начинался с моделирования зрительной коры кошки на основе работ нобелевских лауреатов Хьюбела и Визеля. Более того, эффекты нейроночек типа Гугл дипдрим, все эти фракталы из собачек и прочей херни, легко объясняются отсутствием у нейроночек аналогов таламуса, который тормозит подобные глюки у человека. 5ht2a- агонисты типа ЛСД это торможение снижают и человек начинает видеть эти фракталы. Но откуда зумерам знать такие вещи.
В том и дело что они не слабые. Китайцы что пытались разработать.
Зачем концентрировать мощность в одной точке?
>5ht2a- агонисты типа ЛСД это торможение снижают
ЛСД - антагонист
>Но откуда зумерам знать такие вещи.
Действительно, откуда тебе знать такие вещи
> ЛСД - антагонист
Нет конечно же. Это раньше так думали, например, в совковых источниках была такая инфа (могу даже точно привести пример - Закусов, "фармакология центральных синапсов"). Потом доказали обратное, но к тому времени совка уже не было, а по английски ты читать не умеешь.
Ну да, ты прав, за 10 лет, с тех пор как я увлекался всей этой шульгиновщиной, знания выветрились.
Анончик, поясни за кагл. На примере всеми заезженного титаника. Там есть куча анонов с точностью предикта 1.0. Насколько это реальная хуйня и сколько лет нужно вилкой чистить датасет, чтобы был такой же результат? У меня закрадывается мысль, что эти черти багнули сайт и скачали оттуда проверочный датасет.
Либо я не знаю уже, как тюнить модель, чтобы было хотя бы 0.8+
Максимум, что я смог выдать - это 0.77 на катбусте
Либо я не знаю уже, как тюнить модель, чтобы было хотя бы 0.8+
Максимум, что я смог выдать - это 0.77 на катбусте
Я ничего не понимаю, что делать?
Вкатывальщики импортят slesarplow as sp по туториалам (хотя сейчас актуальнее keras и pytorch)
Толковые качают из репозитория awesome-XXXX на гитхабе проект какого-то китайца, меняют фамилию и получают $10M инвестиций как стартап.
Умные смотрят prerequisites на https://see.stanford.edu/Course/CS229 и http://cs231n.stanford.edu/
Остальные сидят ИТТ
Какая математика используется?
В основном линейная алгебра, теорвер, матстат, базовый матан и matrix calculus
Как работает градиентный спуск?
https://cs231n.github.io/optimization-2/
Почему python?
Исторически сложилось
Можно не python?
Никого не волнует, где именно ты натренируешь свою гениальную модель. Но при серьезной работе придется изучать то, что выкладывают другие, а это будет, скорее всего, python, если работа последних лет
Что почитать для вкатывания?
http://www.deeplearningbook.org/
Николенко "Глубокое обучение" - на русском, есть примеры, но меньше охват материала
Франсуа Шолле - Глубокое обучение на Python
В чем практиковаться нубу?
http://www.deeplearning.net/tutorial/
https://www.hackerrank.com/domains/ai
https://github.com/pytorch/examples
https://github.com/ChristosChristofidis/awesome-deep-learning#tutorials
Где набрать первый самостоятельный опыт?
https://www.kaggle.com/ | http://mltrainings.ru/
Стоит отметить, что спортивный deep learning отличается от работы примерно так же, как олимпиадное программирование от настоящего. За полпроцента точности в бизнесе борятся редко, а в случае проблем нанимают больше макак для разметки датасетов. На кагле ты будешь вилкой чистить свой датасет, чтобы на 0,1% обогнать конкурента.
Где работать?
https://www.indeed.com/q-deep-learning-jobs.html
Вкатывальщики могут устроиться программистами и дальше попроситься в ML-отдел
Есть ли фриланс в машобе?
Есть, https://www.upwork.com/search/jobs/?q=machine+learning
Но прожить только фриланся сложно, разве что постоянного клиента найти, а для этого нужно не быть тобой
Где узнать последние новости?
https://www.reddit.com/r/MachineLearning/
http://www.datatau.com/
https://twitter.com/ylecun
На реддите также есть хороший FAQ для вкатывающихся
Где посмотреть последние статьи?
http://www.arxiv-sanity.com/
https://paperswithcode.com/
https://openreview.net/
Количество статей зашкваливающее, поэтому все читают только свою узкую тему и хайповые статьи, упоминаемые в блогах, твиттере, ютубе и телеграме, топы NIPS и прочий хайп. Есть блоги, где кратко пересказывают статьи, даже на русском
Где ещё можно поговорить про анализ данных?
http://ods.ai/
Нужно ли покупать видеокарту/дорогой пека?
Если хочешь просто пощупать нейроночки или сделать курсовую, то можно обойтись облаком. На март 2020 Google Colab дает бесплатно аналог GPU среднего ценового уровня (что-то между 1050 и 1080) на несколько часов с возможностью продления.
Иначе выгоднее вложиться в GPU https://timdettmers.com/2019/04/03/which-gpu-for-deep-learning/ Заодно в майнкрафт на топовых настройках погоняешь
Когда уже изобретут AI и он нас всех поработит?
На текущем железе - никогда, тред не об этом
Список дедовских книг для серьёзных людей:
Trevor Hastie et al. "The Elements of Statistical Learning"
Vladimir N. Vapnik "The Nature of Statistical Learning Theory"
Christopher M. Bishop "Pattern Recognition and Machine Learning"
Взять можно тут: http://libgen.io/
Напоминание ньюфагам: немодифицированные персептроны и прочий мусор середины прошлого века действительно не работают на серьёзных задачах.