​​Где брать данные инженеру-исследователю?

Статья предназначена для молодых инженеров-исследователей, не знающих – где взять данные для проведения исследований в области машинного обучения. 

Читать...

​​Как мы составили Словарь больших данных для тех, кто не в теме бигдаты

Однажды мой приятель — проджект в одной компании и бывший учитель английского, пожаловался: «На созвонах, где речь про бигдату заходит, я ничего не понимаю!» И это прям эхом отозвалось в моей душе: увы, но у меня с пониманием больших данных дела обстояли не лучше. Да что там: признаюсь, когда наши дата-инженеры начинали говорить, мне казалось, что беседа вдруг перешла на эльфийский.

Об этом и о том, в каких муках рождался обозначенный выше Словарь, и написана эта статья.

Читать...

​​Воспроизводимость ML экспериментов с помощью MLflow project

Всем привет! Меня зовут Игорь Дергунов и я руководитель инновационной лаборатории Digital Design, которая занимается оптимизацией бизнес-процессов с помощью методов машинного обучения. В процессе работы над проектами в данной сфере быстро приходит осознание необходимости учета и структурирования проводимых экспериментов. В нашем случае мы воспользовались инструментом MLflow, который предоставляет функциональность для отслеживания экспериментов и управления жизненным циклом моделей машинного обучения.

Читать...

​​Как с помощью ML удалять объекты из видео

В новом исследовании, проведённом в Китае, сообщается о высоких результатах и впечатляющем росте эффективности новой системы ретуширования, позволяющей легко удалять объекты на видео

Читать...

​​28 июня, 16:00
SAP-проекты: инфраструктура и миграция в 2022 году

В этот вторник @Selectel проведет вебинар, где покажет, как арендовать инфраструктуру для SAP «под ключ» и мигрировать с зарубежной платформы. Расскажут про SLA, оборудование в HCL SAP, сопровождение SAP Basis и соответствие инфраструктуры для SAP 152-ФЗ.

Темы вебинара:

◽️ Переезд на российский SAP-хостинг от зарубежных провайдеров
◽️ Миграция проектов SAP без даунтайма
◽️ Настройка SAP на гибридной инфраструктуре
◽️ Оптимизация расходов на инфраструктуру для SAP

Также эксперты из компании IBS — интегратора SAP-решений — расскажут про задачи для SAP и техподдержку пользователей.

🚀 Участие бесплатное, регистрируйтесь по ссылке: https://slc.tl/5j1bs

​​HaGRID — огромный открытый датасет для распознавания жестов

Хороший набор данных невероятно важен при обучении нейросетей. Наш датасет изображений с жестами HaGRID (Hand Gesture Recognition Image Dataset) — один из таких. С его помощью можно создать систему распознавания жестов, которая будет отлично работать в совершенно разных ситуациях. Например, жестовое управление можно использовать в видеоконференциях, для управления устройствами умного дома или мультимедийными возможностями автомобиля. Ещё одна важная возможность — создание виртуальных помощников для пользователей с дефектами речи или использующих язык жестов. Ниже рассказываем, как всё это работает, и делимся ссылками на датасет и набор предобученных моделей к нему.

Читать...

​​⚡️Приглашаем на VK Tech Talks · ML. 

Когда: 30 июня в 19:00. 
Где: офлайн в офисе VK и онлайн в сообществе VK Team. 

В программе:
🔹Контентные рекомендации в Delivery Club
🔹Шесть классификаторов по цене одного, или всё о детекторе токсичности ВКонтакте
🔹Автораспознавание объявлений: сложно — не значит тяжело
 
👉 Регистрация тут

До встречи!

​​Метод наименьших квадратов: формулы, код и применение

Традиционно в машинном обучении, при анализе данных, перед разработчиком ставится проблема построения объясняющей эти данные модели, которая должна сделать жизнь проще и понятней тому, кто этой моделью начинает пользоваться. Обычно это модель некоторого объекта/процесса, данные о котором собираются при регистрации ряда его параметров. Полученные данные, после выполнения различных подготовительных процедур, представляются в виде таблицы с числовыми данными (где строка – объект, а столбец – параметр), которые необходимо обработать, подставив их в те или иные формулы и посчитать по ним, используя какой-нибудь язык программирования.

Читать...

​​Ныряем со Сноркелем в море данных. Туториал по фреймворку для программирования датасетов

 В этом посте хочу рассказать вам о Сноркеле - фреймворке для программирования данных (data programming). Познакомился я с ним случайно несколько лет назад, и меня поразил этот подход, который заключается в использовании разных эвристик и априорных знаний для автоматической разметки датасетов. Проект стартовал в Стэнфорде как инструмент для помощи в разметке датасетов для задачи information extraction, а сейчас разработчики делают платформу для пользования внешними заказчиками.

Читать...

​​👩‍🎓 Заканчивается приём заявок на 11 программ магистратуры Сколтеха:
- Фотоника и квантовые материалы
- Энергетические системы
- Технологии материалов
- Современные вычислительные методы 
- Интернет вещей и технологии беспроводной связи
- Науки о данных 
- Материаловедение 
- Нефтегазовое дело 
- Инженерные системы 
- Науки о жизни 
- Математическая и теоретическая физика

Университет входит в ТОП-100 лучших молодых университетов мира по версии Nature Index. Учёба в Сколтехе — это:

- Уникальные высокотехнологичные лаборатории
- Профессора и студенты со всего мира
- Международный диплом и обучение на английском
- Широкие возможности после окончания: карьера в ведущих компаниях, наука или свой стартап

📅 10 июля — последний дедлайн конкурсного отбора в магистратуру Сколтеха. Познакомиться подробнее с программами и начать процесс поступления можно по ссылке: 
https://is.gd/gAwHV8

​​Яндекс Практикум обновил бесплатный тренажёр по основам математики для цифровых профессий

Сервис онлайн-обучения цифровым профессиям Яндекс Практикум обновил бесплатный тренажёр по математике: теперь в нем есть модуль по теории вероятностей. В рамках нового модуля студенты познакомятся с тем, как строятся вероятностные модели, как они связаны с тем, что мы наблюдаем в жизни, и как этим можно пользоваться. 

Прохождение нового модуля займёт 15-20 часов. Дедлайнов на выполнение задач нет, это самостоятельное обучение.

Помимо нового модуля, в тренажёре есть 5 других: «Числа», «Дроби», «Алгебра», «Множества и логика» и «Комбинаторика».

В каждом модуле от 15 до 20 уроков.

Внутри модулей — теория в тексте, визуальные интерактивные объяснения и задачи. Всего более 1600 задач с автоматической проверкой и объяснением хода решения.

Длительность прохождения одного модуля — 20-30 часов.
 
Вы научитесь: 

- быстро считать в уме, работать с пропорциями и процентами, решать уравнения и неравенства, совершать операции над множествами, использовать логические операторы, решать комбинаторные задачи и доказывать несложные теоремы;
- браться за задачи с несколькими переменными, корректно интерпретировать данные статистики, видеть ошибки в расчётах и понимать абстракции, которыми в работе оперируют разработчики и аналитики;
- решать задачи, с которыми менеджеры проектов, маркетологи, тестировщики, аналитики, разработчики и представители других цифровых профессий сталкиваются на работе.

Приступить к прохождению тренажёра и изучить подробности можно по ссылке.

​​Может ли синтез речи обмануть систему биометрической идентификации?

Под одной из наших недавних статей на Хабре я упомянул исследование, подробно рассматривающее вопрос "обмана" коммерческих систем биометрической идентификации с помощью открытых инструментов по клонированию голоса. Завязалась дискуссия на тему "стоит ли бояться, что ваш голос украдут".

Естественно, исследование четкого однозначного ответа не дает, но скорее говорит, что на пути злоумышленников в первую очередь встает несовершенство систем клонирования голоса, количество и качество записей полученных мошенниками, акценты и прочие несовершенства мира. Проценты "обмана" при наличии ряда таких затруднений там не впечатляющие.

Читать...

Нужна ли математика в Data Science и почему ее тяжело учить одному? Первый подкаст ФКН

Чем занимаются математики? Нужна ли все-таки математика в Data Science? Поздно ли учить высшую математику после универа? Как вкатиться в математику самостоятельно?

Ведущий: Евгений Соколов, академический руководитель бакалавриата «Прикладная математика и информатика» ФКН и научный руководитель Центра непрерывного образования ФКН.

Гости:
• Леонид Иосипой, эксперт Центра непрерывного образования, преподаватель курса повышения квалификации «Математика для анализа данных»
• Сергей Карапетян, начальник отдела внешних коммуникаций ФКН

Смотреть подкаст...

​​⚡️ Аналитика данных - блог ведущего Дата саентиста, работющего с данными в Uber, одного из авторов легендарного🔥 Machine Learning. Материал канала поможет реально вырасти до профессионала по работе с данными и получить самую высокоплачиваю ит-профессию. 

1 канал вместо тысячи учебников и курсов, подписывайтесь: 👇👇👇

@data_analysis_ml

​​Предварительное обучение новой модели CoCa на мультимодальных объектах

Новаторская работа в области компьютерного зрения показала эффективность моделей с одним кодером, предварительно обученным классификации изображений, для захвата обобщённых визуальных представлений, эффективных в других задачах. 

Читать...

Приглашаем на ML-митап Big Data МТС  

Когда: 7 июля, 18.00 

🧑‍💻 Расскажем, как автоматизировать контроль за качеством данных в Feature Store: рассмотрим базовые алгоритмы детекции дрейфа на признаковом пространстве моделей и их реализации в распределенном стеке. 

⚡️ Рассмотрим популярные проблемы ML-систем и способы их предотвращения: как сугубо инженерные подходы к тестированию всей системы, так и тесты, применимые исключительно к ML моделям. 

🤓 Обсудим что происходит с RnD в промышленном Data Science. В качестве экспертов: Анатолий Орлов — СTO AliExpress Россия, Радослав Нечаев — лектор по ML и руководитель магистратуры MSAI МФТИ и Валерий Бабушкин - Head of Data Science Blockchain.com

Регистрация здесь.

​​Инфоинженер. Как я делал курс по NLP для МГТУ им. Баумана

Пандемия. Осень. Друг и бывший одногруппник, работающий на кафедре прикладной математики, попросил меня сделать курс по обработке естественного языка для МГТУ имени Баумана. Курс подразумевался быть коротким, около 10 занятий, аудитория — студенты с первого по четвертый курс. Студенты хотели больше знать о том, что их ждет после окончания факультета и чем реально могут заниматься его выпускники. Я вспомнил, что и сам не до конца понимал, в какую сферу податься после диплома, поэтому подумал и согласился.

Читать...

​​Что мы действительно (не)знаем о наличии сознания у сверхбольших нейросетей?

В последнее время чаще стали появляется новости о том, что тот или иной эксперт в области ИИ заявил про появление у машины сознания. То Илья Суцкевер, директор по науке в OpenAI напишет о том, что «может быть, сегодняшние большие нейронные сети немножко обладают сознанием». А то и вовсе инженер Гугла Леймон Блейк найдет у искусственного интеллекта LaMDA разум и сознание и выложит в доказательство диалоги с ним. Резонанс последнего эпизода вообще большой — после объявления о том, что Блека отстранили от работы, а он в свою очередь собирается нанять для ИИ адвоката, разные конспирологические версии появились даже в комментариях на Хабре.

Читать...

​​👨🏻‍💻 3 канала, с помощью которых ты освоишь программирование от А до Я:

Easy Code - настоящий сундук с сокровищами для каждого кодера. Видео-уроки, статьи, шпаргалки, материалы от преподавателей ведущих ВУЗов и многое другое в одном канале.

Просто Python - здесь есть все чтобы упростить тебе изучение Python: интересные библиотеки, функции, советы по написанию кода. Подписывайся, чтобы через пару недель чувствовать себя как рыба в воде!

Просто IT-книги - тысячи бесплатных книг по всем языкам программирования, благодаря которым ты прокачаешь свои скиллы на максимум.

​​Papers, please! Как устроены сервисы по распознаванию лиц для идентификации клиента и проверки документов

В популярной в свое время игре Papers, please! игрок выполняет роль таможенника, проверяющего документы по все более усложняющимся правилам. Главная игровая механика - проверка документов на соответствие всем нормам, таким как верная дата и место выдачи, соответствие имени и фамилии человека на всех документах, срок действия визы, наличие человека в “черных” списках и тому подобное.

Игра привлекла тысячи пользователей по всему миру самобытным стилем и необычной механикой игры, однако для некоторых людей подобная игра показалась бы настоящим кошмаром, ведь в реальной жизни, на своей реальной работе они занимаются тем же самым.

Читать...

​​Решаем задачи машинного обучения с помощью алгоритма градиентного бустинга

Градиентный бустинг (Gradient Boosting) – один из самых эффективных инструментов для решения задач машинного обучения, в особенности на соревнованиях Kaggle. Чтобы научиться правильно его применять, разберем подробнее лежащие в основе алгоритма процессы.

Читать...