​​Dirty cat для категориальных переменных, или почему простых методов кодирования может быть недостаточно

Рассмотрим те минусы ohe, которые напрямую связаны с кодированием категориальных переменных.

Читать...

​​Применение нейросетей для сжатия данных при интерактивной визуализации

Одна из самых приятных вещей в жизни разработчика архитектуры ПО и технологического эксперта Intel — возможность наблюдать за фантастическими достижениями Центров передового опыта (CoE) OneAPI по всему миру. Недавно лаборатория UC Davis Visualization & Interface Design Innovation (VIDI) Lab поделилась опытом применения глубокого обучения в создании интерактивной визуализации для науки.

Читать...

​​Трекинг без разметки или как следить за тысячами пузырьков на производстве

Сегодня поговорим об алгоритмах компьютерного зрения, обработке видеопотока и подходах к трекингу без разметки (unsupervised tracking). Методичка будет полезна как опытным специалистам, перед которыми стоит подобная задача, так и начинающим энтузиастам.

В этой статье вы найдете:
— описание домена данных и технологического процесса флотации;
— подход к cегментации множества подобных объектов;
— существующие методы трекинга без разметки;
— подход к одновременному сопровождению множества подобных объектов;
— сравнение качества работы алгоритмов, полезный python-код и демонстрации!

Читать...

​​Causal Random Forest для оценки гетерогенного эффекта воздействия и его визуализация

В данной публикации рассмотрю расчет CATE посредством «причинных» случайных лесов с помощью библиотеки EconML, а также визуализацию результатов посредством библиотеки SHAP в Python.

Читать...

​​Удаляем фон у фото используя CoreML

В рамках данной статьи я хотел бы рассказать, с чем мне пришлось столкнуться, и как я реализовал вырезание заднего фона у фотографий в приложении на iOS.

Читать...

​​Графы в Python: введение и знакомство с лучшими библиотеками

В этой статье я расскажу вам о наиболее полезных библиотеках Python, которые использовал для сетевого/графового анализа, визуализации и машинного обучения.

Читать...

​​Как пользоваться Midjourney. Руководство по генерации изображений на русском языке.

Midjourney — это независимая исследовательская лаборатория, изучающая новые способы мышления и расширяющая творческие способности человечества.

Читать...

​​Генерируем музыку с помощью Stable Diffusion

Многие уже слышали, а может и пробовали модель Stable Diffusion для генерации картинок из текста. Но знаете ли вы, как с помощью той же модели можно генерировать аудио?

Читать...

​​Как зануды предсказывают результаты футбольных матчей

Если ты интересуешься футболом и умеешь работать с данными, кажется, неизбежно в твоей жизни настанет момент, когда тебе захочется предсказывать результаты любимой команды, а лучше вообще все.
Такой день наступил и в моей жизни. И пусть я больше интересуюсь спортивным "Что? Где? Когда?", футбол - это классно. И это классно и с точки зрения прогнозов - и много данных, и много инересующихся, кому можно показать результаты. Давайте попробуем!
И раз за дело взялись зануды, будет много теорий, ещё больше таблиц и графиков.

Читать...

​​Нейронные сети для начинающих. Sudoku Solver. Судоку. Часть 1

Предыстория: одним зимним вечером, а скорее ночью, мне пришла в голову интересная идея. Почему бы не попробовать автоматизировать с помощью компьютерного зрения решение одной классической головоломки с числами, а если быть точнее — судоку. Дело в том, что мой дедушка — большой любитель разных кроссвордов, судоку и т. д. Зная это, я подумал, что было бы неплохо попробовать как-нибудь автоматизировать эту задачу. Конечно, до задачи автоматизации решения кроссвордов мне ещё далеко, но вот с задачей решения судоку, у которого есть чёткий алгоритм, можно поэкспериментировать.

Спойлер: я столкнулся с парой проблем как в своём понимании этой игры, так и в понимании меня компьютером (тут должно было быть смешно), но всё получилось. С результатом моего труда я вам и предлагаю ознакомиться!

Читать...

​​Деплоим Machine Learning Workloads используя MLFlow

Сегодня мы узнаем, как развертывать различные рабочие нагрузки машинного обучения с помощью MLflow.

Не будем томить, сразу к делу.

Читать...

​​Релокация — не просто переезд

Сегодня многие россияне столкнулись с необходимостью переезда в другую страну. Дело это непростое, поэтому опыт тех, у кого все сложилось удачно, безусловно полезен.

Меня зовут Тимур Рахматуллин и я программист c более чем 10-летним опытом. Почти год назад наша IT-команда переместилась в Таиланд. Сегодня я, наверное, уже могу считать себя опытным “релокантом” и давать полезные советы тем, кому это только предстоит.

Читать...

#relocation

​​Прощай, Data Science

Это по большей мере личный пост, а не какое-то глубокое исследование. Если вам нужны какие-то выводы, то здесь вы их не найдёте. Откровенно говоря, я даже не знаю, кто его целевая аудитория (возможно «дата-саентисты, которые себя ненавидят»?).

Читать...

​​Копирайтеры больше не нужны? Просим новую нейросеть Notion AI написать про Python

В ноябре 2022 года компания Notion представила нейронную сеть для генерации текстов — и на днях мы получили доступ к альфа-версии. Вы не поверите, на что она способна. Notion AI умеет писать статьи, посты и даже твиты — и это вам не Балабоба!

Но настолько ли хороша Notion AI, как может показаться? И умеет ли она писать технические статьи? Под катом — первый на Хабре обзор новой нейронки.

Читать...

​​DeepFake в условиях современности: что, почему и возможно ли защититься

Дипфейк. Что первое приходит на ум, когда вы слышите или видите это слово? Наверное, какие-то картинки или видео откровенного характера, но что если я скажу вам, что такой жанр подделок давно уже вышел за любые рамки здравого смысла и проник абсолютно в каждую отрасль, которая, так или иначе, связана с интернетом?

После определенной череды событий, а именно пандемии COVID-19, в 2020 году, активизировалась форсированная интеграция компьютерных технологий в массы, которая выделила среди общего количества группу неопытных и легко внушаемых пользователей, что создало благоприятную почву для развития дипфейков. 

Подделки, созданные с использованием ИИ, не всегда производят лишь смеха ради. Всё чаще они используются во злой умысел, и ребром стоит вопрос об их обнаружении, но обо всем по порядку.

Читать...

​​Глубокое погружение в данные

В этой статье мы поговорим об особенностях машинного обучения, и о том, как можно соединить Deep Learning и Master Data Management. Разберем достаточно подробный пример использования глубокого обучения для управления данными.

Читать...

​​Лучшие новые библиотеки Python за 2022 год

В пост включены библиотеки, которые были запущены или приобрели популярность в этом году, хорошо поддерживаются, а также просто классные и достойные внимания. Подборка в значительной степени ориентирована на библиотеки по ИИ и науке о данных, но сюда так же включен ряд библиотек, которые могут быть полезны для целей, не связанных с наукой о данных.

Читать...

​​Введение в архитектуру Greenplum

В этой статье поговорим о Greenplum — СУБД, основанной на PostgreSQL. Разберём её общую архитектуру, способы хранения данных, а также перечислим проблемы, с которыми можно столкнуться в ходе эксплуатации.

Читать...

Что то в этом есть

​​Военное вычислительное мышление. Тактический искусcтвенный интеллект. Часть I

Тактический ИИ делится на две части: анализ – поля боя и действия на основе полученной и обработанной информации, путем создания набора согласованных приказов (известных, как План действий), которые используют слабые места в позиции нашего противника, обнаруженные во время анализа поля боя.

Читать...

​​Приветствую товарищи!
С наступающим вас Новым 2023 годом и пусть он будет лучше чем этот.