​​Как не перестать быть data driven из-за data driften, или Пару слов о дрейфе данных

Нестабильная экономическая ситуация значительно влияет почти на все сферы жизни общества и бизнеса. Меняется потребительское поведение, производственные и логистические цепочки, закупочные цены, доступность огромного количества товаров и услуг и даже состав конкурентов на рынке. Конечно, это не может не сказаться на качестве многих моделей машинного обучения, поскольку они были обучены на исторических данных, которые уже не актуальны. Это явление известно как дрейф данных или дрейф концепции и оно является основной причиной деградации модели с течением времени. Сейчас особенно полезно знать о методах детекции дрейфа и борьбы с его последствиями, ведь когда данные дрейфуют, прогнозы будут ошибочными, а решения, принятые на основе этих прогнозов, могут негативно влиять на бизнес.

Читать...

​​Самое время начать карьеру в IT-сфере! Участвуйте в бесплатном интенсиве с 18 по 20 августа в 16:00 по московскому времени. Обучитесь новой профессии — 1С-разработчик. 

Регистрируйтесь: 👉 https://clc.to/Y2J2Mg.

👨‍💻 Познакомитесь с платформой 1С и её основными объектами. Создадите базу для торгового предприятия и на её примере поймёте, что 1С — это легко.

💼 К концу интенсива подготовите проект, который станет первым кейсом в вашем портфолио разработчика.

🎁 Всем участникам подарим чек-лист о создании баз данных в 1С и электронную книгу Пола Доэрти и Джеймса Уилсона «Человек + машина» издательства МИФ. Участвуйте, задавайте вопросы и получите сертификат на 10 000 рублей на любой курс Skillbox.

​​Раскрашивание изображений с использованием нейронных сетей

DeOldify — это проект, основанный на глубоком обучении, для раскрашивания и восстановления изображений. Модель использует архитектуру NoGAN для обучения модели.

Мы будем использовать эту модель, чтобы преобразовать некоторые старые черно-белые фотографии, добавив к ним цвет.

Читать...

​​NLP. Проект по распознаванию адресов. Natasha, Pullenti, Stanza

Многие аналитики данных сталкиваются с задачей распознавания адресов, напечатанных на документах. Для решения этой задачи я обратился к инструментам выявления сущностей в тексте с помощью NLP: NLTK, Spacy, Flair, DeepPavlov, Polyglot, AdaptNLP, Stanza, AllenNLP, HanLP, PullEnti, Natasha и т. д. Глаза начали разбегаться. И что же делать? Конечно, выбрать самое лучшее. Я выбрал несколько самых популярных библиотек, поддерживающих русский язык, и сравнил, кукую же из них использовать — Natasha, Stanza и Pullenti. Далее пойдет речь именно об этих библиотеках.

Читать...

​​Найти работу в айти можно 2 методами:

Первый. Бесконечно скроллить HeadHunter и пытаться что-то выклевать на LinkedIN. Офигеть от условий и закрыть.

Второй. Подписаться на Python Job. Это база адекватных предложений, где даже для новичков много мест с хорошей з/п.

Тут найдете работу как в Яндексе (именно сюда крупняки присылают вакансии напрямую), так и в молодых стартапах!

В общем, не теряйте времени и находите работу в 2 клика: @job_python

​​Я нанял AI иллюстратора в свой стартап

И кажется мы оставим его в штате...

Читать...

​​В IT в 30. Как я стал solo Kaggle Grandmaster, устроился на работу, но так и не стал программистом

В этом году мне исполнилось 30 лет, а также случилось много событий, в том числе и позитивных. Во первых, я устроился на вторую в жизни работу(и первую в айти), а во вторых, стал грандмастером. Это сложный путь, на котором было несколько ключевых решений, которые привели меня к себе нынешнему. О нём я и поделюсь далее, начав с детства.

Читать...

​​Хотите получить профессию и стать junior-специалистом по Data Science за 9 месяцев?

31 августа начинается программа «Профессия Data Scientist» На ней вы получите знания и наработаете навыки junior-специалиста с хорошей базой для роста в middle.

Data Scientist — востребованная профессия помогающая бизнесу превращать мёртвые данные в прибыль, поэтому она высоко оплачивается и junior может зарабатывать от 100 000 рублей в месяц.

Программа состоит из 3-х курсов:
— «Python и инструменты машинного обучения»
— «Математика для анализа данных»
— «Методы анализа данных и машинного обучения»

Уже после первого курса вы получите первое удостоверение от МФТИ, некоторым нашим студентам этого хватает, чтобы устроится в крупную компанию на позицию джуниора.

После обучения вы получите:
✔️ Диплом о профессиональной переподготовке МФТИ, который выделит ваше резюме для HR-специалистов и руководителей.
✔️ Готовый первый проект для портфолио. Проекты выполняются самостоятельно под руководством преподавателей курсов и позволяют закрепить весь спектр знаний и навыков, полученных на программе.
✔️ Индивидуальные консультации по трудоустройству от нашего карьерного специалиста.
✔️ Поддержку от сообщества и преподавателей.

По промокоду GADS скидка 5% на программу «Профессия Data Scientist», записывайтесь и начинайте строить карьеру в Big Data! https://fpmi-edu.ru/datascience?utm_source=telegram&utm_medium=partner&utm_campaign=gapartner

​​Нейронные сети для начинающих. [2 части]

На хабре было множество публикаций по данной теме, но все они говорят о разных вещах. Автор решил собрать всё в одну кучку и рассказать людям.

👉 Решение задачи классификации Ирисов Фишера
👉 NumPy. MatplotLib. Операции с изображениями в OpenCV

​​Теория графов как метод раннего выявления болезни Альцгеймера

Древнеримский врач Гален был одним из первых, кто осознал, что именно мозг управляет моторными реакциями, когнитивными функциями и памятью. Но как именно мозг контролирует эти процессы?

Читать...

​​Приветствую!

Неплохой канал для тех кому нравится регулярно решать задачки на Python.

Добро пожаловать! https://news.1rj.ru/str/python_tesst

​​Теория алгоритма лежащего в основе разума

Здесь описан алгоритм мозга, который с небольшими вариациями управляет разнообразными мыслительными процессами и все наше мышление есть по сути его комбинации. Я предполагаю, что он соответствует созданному эволюцией алгоритму разума, так как он простой и универсальный. Проявления этого алгоритма участвуют, как в распознавании картинки, так и в мышлении.

Читать...

​​Почему ИИ так актуален в банковской сфере? 
Узнай на лекции от Газпромбанка уже 25 августа  

Подробнее о лекции:
Где: в Zoom
Во сколько: в 18:00 (по МСК)
Спикер: Адель Валиуллин, начальник отдела искусственного интеллекта Газпромбанка
Что узнаем: почему искусственный интеллект (AI) сегодня так актуален, в каких сферах применяется, какие задачи решаются в банке на основе AI и, конечно, что нужно знать для построения карьеры в data science и AI

Встречаемся 25 августа, регистрируйся по ссылке - https://vk.cc/cfSGCw

​​Прогнозирование спроса: как СберМаркет прогнозирует, что вы закажете вечером в пятницу

Когда вы заказываете продукты к пятничному ужину, мы должны быть уверены, что для доставки хватит сборщиков и курьеров. Поэтому мы прогнозируем число заказов в каждом магазине с точностью до часа. В статье — как мы это сделали на данных, которые устаревают уже за 3 месяца.

Читать...

​​Это телефонный разговор: как мы учили модели прогнозировать успех звонка из банка

Кто-то гадает по звёздам и кофе, кто-то — по фото, а нам в банке пришлось обучить модель предсказания по телефонным звонкам. А заодно пройтись по граблям обработки текстов и звука, выяснить, какие фичи можно извлечь из аудио, как привлечь ML и прикрутить к нему нейросеть, — и сделать всё на основе opensource. 

В прошлом году банк доверил мне провести исследование аудиоданных для целей collection. Если вам интересно, чем может быть полезна правильно обученная модель, анализирующая звонки и прогнозирующая их исход, что использовать для её обучения, с какими сложностями можно столкнуться в процессе и как их обойти, заглядывайте в статью.

Читать...

​​Улучшаем производительность: виртуальный рендеринг для больших объемов данных

К вам пришло из API что-то огромное, браузер начал тормозить, а пользователи недовольны? Как с этим справиться? Когда и в каких UI компонентах с проблемой отображения большого массива данных сталкиваются разработчики? Какие специальные подходы применять или не применять?

Читать...

​​Распознавание чисел в прописном виде.

Данный алгоритм является модифицированным и переписанным на Python с C# алгоритмом из этой статьи.
GitHub c реализацией автора на C#. GitHub c реализацией на Python.
В данной реализации отсутствует перевод числа в прописном виде из-за отсутствия потребности в такой задаче.

Читать...

​​Blender, захват движения, нейронные сети

Blender отличный 3d редактор, открытый документированный код, убирает ограничения в реализации творческих фантазий. Большая "фанатская база" сгенерировала решения под разные задачи, ускоряя творческий процесс. Периодически получаю практический опыта в Blender, главное в саморазвитие, ставить цель c желаемым результатом, повторение действий из уроков не рабочий способ получения знаний для меня. Выбираю цель, с учетом собственного интереса, предварительно проверяю на отсутствие готового решения, что бы не лишить себя этапов развития. Моим критериям соответствует - анимация персонажа в Blender, с использованием нейронных сетей. Существуют статьи, видео, рабочие коммерческие решения, но нет готового подходящего мне, только части головоломки которые нужно собрать.

Читать...

​​Автоматическое реферирование текстов. Обзор работ

Я думаю, многим знакома ситуация, когда в сжатые сроки необходимо ознакомиться с большим объёмом текстов – статей, обзоров, сюжетов, отзывов и так далее. Читать их все от начала и до конца слишком напряжно, не правда ли? И здесь на помощь приходят рефераты – краткие выжимки текстов, содержащие только самое главное и важное. Написанием рефератов занимаются зачастую эксперты, однако такая работа требует немало времени и усилий. Кроме того, труд экспертов должен, само собой, оплачиваться. Решение – применять методы автоматического реферирования текстов (Automatic Summarization), то есть порождать рефераты с помощью специальных компьютерных программ. В этой статье мы познакомимся с некоторыми наиболее распространёнными подходами к решению данной задачи.

Читать...

​​Делаем конфиг сервер безсерверным при помощи AWS API Gateway и DynamoDB

Облака все больше проникают в повседневную жизнь пользователя. Поэтому все больше разработчиков берут облака в свой арсенал инструментов, обустраивая эту самую жизнь пользователя. Об облаках и пойдет речь в этой статье.

Читать...

#longread

​​Что должен знать дата-инженер. Роадмап для джуниора

Меня зовут Иван Васенков и я джуниор дата-инженер в дирекции данных и аналитики Lamoda. Но к этой профессии я пришел не сразу: окончив университет, я начал работать аналитиком данных, затем стал BI-разработчиком, а уже после этого — дата-инженером.

На моем пути были простые и сложные участки: где-то помогал опыт предыдущей работы, а где-то приходилось доучиваться практически на ходу. Именно поэтому я хочу поделиться советами из своего опыта, которые помогут начинающим специалистам быть максимально готовыми к вступлению в мир дата-инжиниринга. 

Читать...