Разбираем, чем отличается версионирование в ML-разработке по коду от версионирования по коду и состоянию.

Ситуация: вы работаете над проектом, например занимаетесь ML-прототипированием или анализом данных. По ходу работы в системе сохраняется код, и вы спокойно продолжаете, не боясь что-то упустить из виду. Но в конце недели понимаете, что где-то свернули не туда. Вы откатываетесь на несколько шагов назад по коду, и все бы ничего, но вычисления ведь придется делать заново. Это главный недостаток версионирования по коду.

Версионирование по коду и состоянию отличается тем, что во время работы сохраняется не только сам код, но и состояние вычислений. То есть состояние = код + вывод + переменные. Это значит, что если вы откатитесь назад, то получите не только прежний код, но и значения переменных. Вам не придется заново запускать вычисления, терять время и ресурсы.

Попробуйте версионирование по коду и состоянию в Yandex DataSphere, где каждому новому пользователю доступны бесплатные ресурсы на ML-разработку:

👉 https://clck.ru/ToJNp

Big Data: что это такое, как искать, хранить и использовать
В этой статье разберемся, что считается Big Data, а что нет, как эту информацию хранить, обрабатывать и получать пользу.
https://telegra.ph/Big-Data-chto-ehto-takoe-kak-iskat-hranit-i-ispolzovat-03-22

​​Описание одиночного набора данных
Факты - упрямая вещь, а статистика гораздо сговорчивее.
-Марк Твен

Благодаря полезному сочетанию живого слова и удачи социальная сеть DataSciencester
выросла до нескольких десятков пользователей, и директор по привлечению фи­
нансовых ресурсов просит вас проанализировать, сколько друзей есть у пользова­
телей сети, чтобы он мог включить эти данные в свои "презентации для лифта" 2•
Используя простые методы из главы 1, вы легко можете предъявить запрашивае­
мые данные. Однако сейчас вы столкнулись с задачей выполнения их описательно­
го аншlИза.
Любой набор данных очевидным образом характеризует сам себя:
# Число друзей
nurn friends
[100, 49, 41, 40, 25,
# ... и еще много других
]
Для достаточно малого набора данных такое описание может даже оказаться наи­
лучшим. Но для более крупного набора данных это будет выглядеть очень громоздко и, скорее всего, непрозрачно.
https://telegra.ph/Opisanie-odinochnogo-nabora-dannyh-03-23

Что читать специалисту по Data Science в 2021 году

В этом посте делимся с вами подборкой источников полезной информации о Data Science от сооснователя и CTO DAGsHub — сообщества и веб-платформы для контроля версий данных и совместной работы дата-сайентистов и инженеров по машинному обучению. В подборку попали самые разные источники, от аккаунтов в твиттере, до полноценных инженерных блогов, которые ориентированы для тех, кто точно знает, что ищет. Подробности под катом.

​​Мы много говорим о понятии data science , даже канал называется так, но многие всё еще путают данную науку с узкими отраслями IT сферы. Чтобы наши подписчики больше не путали данное понятие мы дадим понятное объяснени где и как используют data science.

- Об­на­ру­же­ние ано­ма­лий, на­при­мер, ненор­маль­ное поведение кли­ен­та, мошенни­че­ства;
пер­со­на­ли­зи­ро­ван­ный мар­ке­тинг — элек­трон­ные рассылки, ре­тар­ге­тинг, системы ре­ко­мен­да­ций;

- Ко­ли­че­ствен­ные про­гно­зы — по­ка­за­те­ли эф­фек­тив­но­сти, ка­че­ство ре­клам­ных кам­па­ний и дру­гих ме­ро­при­я­тий;

- Cко­рин­го­вые си­сте­мы — об­ра­бот­ка боль­ших объ­ё­мов данных, по­мощь в принятии ре­ше­ний, на­при­мер, о предостав­ле­нии кре­ди­та;

- Ба­зо­вое вза­и­мо­дей­ствие с кли­ен­том — стан­дарт­ные ответы в ча­тах, го­ло­со­вые по­мощ­ни­ки, сор­ти­ров­ка пи­сем по пап­кам.


Пять ос­нов­ных эта­пов в ра­бо­те с дан­ны­ми

Сбор. По­иск ка­на­лов, где мож­но со­би­рать дан­ные, и выбор ме­то­дов их по­лу­че­ния.

Про­вер­ка. Ва­ли­да­ция, ни­ве­ли­ро­ва­ние ано­ма­лий, ко­то­рые не вли­я­ют на ре­зуль­тат и ме­ша­ют даль­ней­ше­му ана­ли­зу.

Ана­лиз. Изу­че­ние дан­ных, под­твер­жде­ние предположений.

Ви­зу­а­ли­за­ция. Пред­став­ле­ние ин­фор­ма­ции в по­нят­ном для вос­при­я­тия виде: гра­фи­ки, диа­
грам­мы.

Ре­ак­ция. При­ня­тие ре­ше­ний на ос­но­ве дан­ных. На­при­мер, из­ме­не­ние мар­ке­тин­го­вой стра­те­гии, уве­ли­че­ние бюд­же­та ком­па­нии.

​​Тонкая настройка предварительно обученных трансформаторов в RNN
Microsoft + Deepmind + ...

Трансформеры - это текущая СОТА в языковом моделировании. Но они сопряжены со значительными вычислительными затратами, поскольку механизм внимания квадратично масштабируется по длине последовательности. Потребление памяти также линейно растет с увеличением длины последовательности. Это узкое место ограничивает использование крупномасштабных предварительно обученных моделей генерации, таких как GPT-3 или преобразователи изображений.

Недавно было предложено несколько эффективных вариантов трансформатора. Например, рекуррентный вариант линейной сложности (https://arxiv.org/abs/2006.16236) оказался хорошо подходящим для генерации авторегрессии. Он аппроксимирует внимание softmax с помощью рандомизированных или эвристических карт характеристик, но может быть трудно обучить или получить неоптимальную точность.

Эта работа преобразует предварительно обученный преобразователь в его эффективный рекуррентный аналог линейной сложности с изученной картой функций для повышения эффективности при сохранении точности. Для этого они заменяют softmax Внимание в готовом предварительно обученном трансформаторе на его рекуррентную альтернативу линейной сложности, а затем тонкую настройку.

➕ Плюсы:
+ Процесс точной настройки требует гораздо меньше времени графического процессора, чем обучение повторяющихся вариантов с нуля
+ Преобразование большого стандартного трансформатора в облегченную модель вывода без повторения всей процедуры обучения очень удобно во многих последующих приложениях.

Kак появилась Data Science и при чем тут большие данные?
От Википедии : " Data Science – это наука о данных, объединяющая разные области знаний: информатику, математику и системный анализ. Сюда входят методы обработки больших данных (Big Data), интеллектуального анализа данных (Data Mining), статистические методы, методы искусственного интеллекта, в т.ч машинное обучение (Machine Learning). DS включает методы проектирования и разработки баз данных и прикладного программного обеспечения "
А подробнее про тему читайте по этой ссылке.

na centre - чатбот, который поможет найти работу и оставаться в курсе карьерных возможностей.

Чатбот позволяет получать интересные вакансии в одном месте, а не просматривать много телеграм-каналов, сайтов)

@na_centre_bot поможет оставаться в курсе интересных вам вакансий с помощью настроек подписки по:
- сфере деятельности
- уровню зарплаты
- локации (и по другим в будущем).
Собирает вакансии из 100+ источников, постепенно список источников пополняется, добавляют персонализацию.

Попробовать - @na_centre_bot 🚀

​Аналитика данных используется во многих областях и требует людей с самым разным бэкграундом, поэтому в Data Science каждый может найти себя.

7 апреля в Нетологии пройдет «Онлайн-день открытых дверей и презентация новых программ по Аналитике и Data Science», на котором подробно расскажут о профессиях в этой сфере — data scientist, продуктовый аналитик, игровой аналитик, дата-журналист, маркетолог-аналитик, инженер данных, аналитик bi, — и где они нужны.

Вы найдете подходящее именно вам направление, выберете для себя трек развития карьеры и узнаете, какие шаги нужно сделать для входа в новую профессию.

Регистрируйтесь и постройте свой план карьерного роста ↓
https://netolo.gy/gnG

Алгоритм обучения многослойной нейронной сети методом обратного распространения ошибки (Backpropagation).
Тема нейронных сетей была уже ни раз освещена на хабре, однако сегодня я бы хотел познакомить читателей с алгоритмом обучения многослойной нейронной сети методом обратного распространения ошибки и привести реализацию данного метода.

Сразу хочу оговориться, что не являюсь экспертом в области нейронных сетей, поэтому жду от читателей конструктивной критики, замечаний и дополнений.
Читать статью.

​​Основы ИНС - Очень полезная статья для тех , кто ещё не знаком или мало знаком со сферой ИНС (искусственых нейронных сетей).