Инструкция по бесплатной GPT генерации новых фичей для наращивания точности ML модели

Одним из самых важных навыков любого специалиста по данным или ML инженера является умение извлекать информативные признаки из исходного набора данных. Этот процесс называемый feature engineering (инженерия признаков), — одна из самых полезных техник при построении моделей машинного обучения.

Работа с данными требует значительных инженерных усилий. Хотя современные библиотеки вроде scikit-learn помогают нам с большей частью рутинных операций, по-прежнему критически важно понимать структуру данных и адаптировать её под задачу, которую вы решаете.

Создание новых, более качественных признаков позволяет модели лучше улавливать зависимости, отражающие особенности предметной области и влияющие на результаты факторы.

Разумеется, feature engineering — это времязатратный, креативный и нередко утомительный процесс, требующий экспериментов и опыта.

https://habr.com/ru/articles/956310/

Алгоритмы и Структуры данных

Обучение скрытых слоёв S–A–R перцептрона без вычисления градиентов. Часть 2

Предисловие. Опубликовав первую часть понял, что само обучение перцептрона мало кого интересует, пока не будет экспериментальных результатов. И это разрешило мою дилемму о том, как сократить изложение для хабра. Мы пропустим разделы с объяснением архитектуры перцептрона TL&NL и начнем сразу с 4 раздела моей статьи.

https://habr.com/ru/articles/958498/

Алгоритмы и Структуры данных

Решение проблемы двойного букинга: паттерны проектирования систем

Давно прошло то время, когда люди стояли в длинных очередях для покупки билетов на концерты, авиарейсы, фильмы, матчи и другие события.

Технологические компании наподобие Ticketmaster, BookMyShow, Airbnb, Delta Airlines и так далее сделали бронирование делом одного клика, позволившим покупать билеты из дома.

Эта простота стала возможной благодаря технологическим платформам и сервисам, которые прячут от пользователей всю сложность и решают неординарные инженерные задачи. Одна из таких задач — предотвращение бронирования одного места несколькими пользователями.

https://habr.com/ru/articles/957954/

Алгоритмы и Структуры данных

Балконы и полигоны: как мы разметили 12 000 квартир для генерации 3D-туров

Те, кто имел дело с покупкой и продажей недвижимости, знает, что просмотры — очень хлопотное занятие. Неудивительно, что для экономии времени появляются предложения посмотреть квартиру онлайн или с помощью 3D‑тура. О таких виртуальных экскурсиях мы сегодня и поговорим.

В сентябре Яндекс Недвижимость рассказала о 3D‑турах для новостроек. С момента начала тестирования в июле на сервисе было сгенерировано более четверти миллиона виртуальных экскурсий по строящимся квартирам. Чтобы это стало возможным, мы обучили нейросеть анализировать планировки и превращать их в трёхмерные визуализации. Но прежде всего нужно было проделать большую и кропотливую работу, чтобы нейросеть понимала, где отрисовывать окно или класть плитку на пол.

https://habr.com/ru/companies/yandex/articles/954650/

Алгоритмы и Структуры данных

T-LoRA: дообучить диффузионную модель на одной картинке и не переобучиться

Вы когда‑нибудь мечтали стать лучшей версией себя? Моложе, красивее, идеальнее… А вот LoRA уже стала!

Меня зовут Вера Соболева, я научный сотрудник лаборатории FusionBrain Института AIRI, а также стажер‑исследователь Центра глубинного обучения и байесовских методов НИУ ВШЭ. Cегодня я расскажу про наше свежее исследование T‑LoRA: Single Image Diffusion Model Customization Without Overfitting. Мы с коллегами придумали эффективный способ как файнтюнить диффузионные модели с помощью LoRA всего по одной картинке.

https://habr.com/ru/companies/airi/articles/958348/

Алгоритмы и Структуры данных

Как RuStore читает мысли пользователей (и причём тут теги)

Когда пользователь открывает RuStore и вводит запрос вроде «тренировки дома» или «обои с кошками», он ищет не конкретное приложение, а способ решить задачу. Наша цель, как стора, — понять, какое приложение действительно поможет ему это сделать.

За этим стоит сложный ML-пайплайн: сначала модель отбирает кандидатов по смысловой близости запроса, затем ранжирует их по релевантности. А поисковые теги помогают системе уловить контекст — в каких ситуациях и по каким запросам ваше приложение должно оказаться в топе выдачи.

Меня зовут Анастасия Войцешко, я продакт-менеджер в RuStore. В этой статье расскажу, как устроен поиск внутри стора, какую роль теги играют и как подобрать их так, чтобы повысить шансы приложения попасть в релевантную выдачу.

https://habr.com/ru/companies/vk/articles/956450/

Алгоритмы и Структуры данных

Создание интерактивного макета. Упаковка кругов в квадрат и прямоугольник. Жадный алгоритм

Я занялась разработкой сайта, который предоставляет пользователям возможность визуализировать различные цветочные дизайны. По замыслу, любой страждущий, заходя на сайт, может выбрать желаемую форму и размер букета, после чего соответствующий макет заполнить цветами из каталога.

https://habr.com/ru/articles/958888/

Алгоритмы и Структуры данных

Передовые алгоритмы глубокого обучения

В этой главе мы поговорим о передовых алгоритмах глубокого обучения. Они были подобраны с учетом соответствия их архитектуры современным стандартам качества и широты спектра применения. В этой главе мы изучим генеративные модели, основанные на вариационных автоэнкодерах (variational autoencoders, VAE), и рассмотрим полноценную реализацию детектора аномалий для данных временнˆых рядов. Мы продолжим наше путешествие знакомством с интригующей комбинацией нейронных сетей и классических моделей гауссовой смеси с использованием амортизированного вариационного вывода и взглянем на реализацию сети смешанной плотности. Затем мы сосредоточимся на концепции внимания и изучим реализацию с чистого листа архитектуры трансформера для задачи классификации. Наконец, мы рассмотрим графовые нейронные сети и используем одну из них для классификации вершин в графе цитирования. На протяжении всей этой главы мы будем пользоваться библиотекой глубокого обучения Keras/TensorFlow.

https://habr.com/ru/companies/piter/articles/958662/

Алгоритмы и Структуры данных

Чем вообще занимается человечество?

Вот уже последние лет 10 одна половина человечества стремительно проваливается в пучину бесполезного повторения одного и того же с каждый раз всё худшими показателями, а вторая половина запрещает абы что.

в github, vscode и windows абсолютно каждое обновление уже несколько лет связано только с "ИИ", при этом ни один реальный показатель этих программ не стал лучше. В каждый поисковой запрос встроен ИИ, а качество поиска в гугле стало хуже (считал ли кто-то, сколько электричества ушло на это?)

Компилятор go переписывают на go, JavaScript существует больше 20 лет, появился TypeScript, но он... Всё также компилируется в обычный JavaScript, даже более объёмный, чем написанный вручную. До сих пор все оптимизации передачи джаваскрипта по сети не пошли дальше удаления пробелов из исходного текста, хотя на поверхности лежит трансляция TypeScript в бинарный JS, который позже напрямую быстрее интерпретируется и тратит в разы меньше сетевого трафика

https://habr.com/ru/articles/959142/

Алгоритмы и Структуры данных

От четырёх до семи сделок в день: как мы перестроили процесс записи и забили календари по полной

Всем привет! Меня зовут Станислав Тюленев, я главный инженер по разработке в одной из продуктовых команд Домклик. В этой статье я расскажу, как мы в полтора раза увеличили возможное количество сделок в течение дня, с какими сложностями столкнулись и почему это повлияло на скорость расчёта слотов для записи.

https://habr.com/ru/companies/domclick/articles/957550/

Алгоритмы и Структуры данных

Рендеринг трёхмерных фрактальных множеств: от оболочки Мандельброта до гибридов, часть 3

Меня всё также зовут Андрей Гринблат. В прошлых материалах я рассказывал о построении фотореалистичных изображений трёхмерных фракталов (часть 1 и часть 2). Это — завершающая статья цикла, в ней я разберу визуализацию оболочки Мандельброта, четырёхмерных аналогов множеств Мандельброта и Жюлиа, и рассмотрю гибридные фракталы.

https://habr.com/ru/companies/sberbank/articles/957194/

Алгоритмы и Структуры данных

Зачем дата-сайентисту дисперсия

Дисперсия — один из важнейших статистических показателей: oна играет центральную роль в оценке изменчивости данных, понимании поведения ML-моделей и снижении ошибок. В этой статье мы разберeм, почему правильное использование дисперсии критично для Data Science и разработаем нашу собственную модель Random Forest.

https://proglib.io/p/zachem-data-sayentistu-dispersiya-2025-04-11

Алгоритмы и Структуры данных

Как аналитику работать с задачами на интеграции — пошаговая инструкция

Я хочу рассказать о важной части задач, с которыми работают системные аналитики. Это задачи на проектирование интеграций.

Звучит серьезно и сложно. И это так, если не знаешь что это, с чего начать и как идти. Но если ты уже прошёл хотя бы три проекта, с разными особенностями, то понимания становится больше.

Для меня каждый проект был похож на приключение с неожиданным концом. Сначала я думала, что всё знаю и всё понятно. А потом, при детальном погружении, вылезали тонны нюансов и особенностей в работе API внешних систем, архитектуре, обработке ошибок...

https://habr.com/ru/articles/735332/

Алгоритмы и Структуры данных

FTM, который написал MUSIC: точное определение местоположения Wi-Fi-устройств в условиях многолучевости. Часть 3/3

В этом разделе кратко представлен прототип FUSIC, но основное внимание уделено результатам проведённой оценки FUSIC. Сначала оценивается точность данного метода, а затем – возможность его использования для определения местоположения в помещении. В решениях по определению местоположения в помещении чаще всего используется измерение расстояний с помощью Wi-Fi. Для этого варианта использования реализуется классический алгоритм нелинейной трилатерации [25]. Во всех экспериментах сравниваются FUSIC и оригинальный FTM.

https://habr.com/ru/companies/stc_spb/articles/731752/

Алгоритмы и Структуры данных

5 классических алгоритмов машинного обучения, о которых вам обязательно следует знать

Статья дает базовое представление о классических алгоритмах машинного обучения, которые находят широкое применение при решении прикладных задач, таких как предсказание оттока клиентов, персонализация рекламы и так далее.

https://proglib.io/p/5-klassicheskih-algoritmov-mashinnogo-obucheniya-o-kotoryh-vam-obyazatelno-sleduet-znat-2022-08-16

Алгоритмы и Структуры данных

Почему РЭБ заставляет нервничать пилотов

Если в процессе установившегося снижения при заходе на посадку воздушное судно резко переходит в набор высоты, это значит, что либо экипаж прервал заход и начал «уходить на второй круг», либо вы стали участником того самого случая, о котором пойдет речь.

https://habr.com/ru/articles/960244/

Алгоритмы и Структуры данных

Нейросеть, что это такое и как создать свою? Детальная инструкция

Что такое нейросеть? В базовом понимании, нейросеть – это совокупность связанных нейронных блоков, выполняющих обработку информации.

https://habr.com/ru/articles/736466/

Алгоритмы и Структуры данных

Графы и программирование

Особый подход использования графов при рассмотрении задач программирования состоит в том,что само формирование графа определяется имеющейся программой, а не выбором его из какого-то определенного класса. В результате такой граф можно отнести к тому или иному классу, но заранее (априори) это не определено.Так,например, получают управляющий граф программы или ее информационный граф. После ознакомления с темой на Хабре, стало ясно, что углубляться в теорию нет смысла. Решил ограничиться только использованием графов, причем именно с теоретической стороны.

https://habr.com/ru/articles/734642/

Алгоритмы и Структуры данных

Новый подход к вычислениям переосмысливает искусственный интеллект

Наполняя огромные векторы семантическим значением, мы можем заставить машины рассуждать более абстрактно и эффективно, чем раньше.

https://habr.com/ru/companies/first/articles/735648/

Алгоритмы и Структуры данных

ИИ вместо врача: алгоритм определения тактики лечения пациентов с сепсисом

Практически каждый день мы видим и слышим новости о том, что искусственный интеллект научился делать что-то новое либо начал применяться в новом амплуа. С одной стороны, это невероятно значимые события в научном и технологическом плане. С другой, многих это настораживает, а порой откровенно пугает. Тем не менее польза от ИИ превосходит любые связанные с ним страхи. Ученые из Венского технического университета (Австрия) разработали новый алгоритм, способный определять необходимое лечение кортикостероидами для пациентов с сепсисом. На чем основан алгоритм, как именно он работает, и лучше ли он человека в этой задаче? Ответы на эти вопросы мы найдем в докладе ученых.

https://habr.com/ru/companies/ua-hosting/articles/735918/

Алгоритмы и Структуры данных

Русские шашки: реализация минимакса с альфа-бета отсечением в Golang

Серия статей про создание AI для игры в русские шашки:

Русские шашки: эффективная генерация ходов в Golang

Русские шашки: представление доски с помощью двух uint64

Русские шашки: реализация минимакса с альфа-бета отсечением в Golang

В предыдущих записях блога мы обсудили, как эффективно генерировать ходы и представлять шашечную доску в Golang. Теперь мы углубимся в сердце нашей игры в шашки: ИИ, который принимает решения. ИИ будет использовать алгоритм Minimax с Alpha-Beta отсечением, популярный метод принятия решений в настольных играх.

https://habr.com/ru/articles/735776/

Алгоритмы и Структуры данных