Почему файлы стали меньше: форматы фото и видео (JPEG, HEIC, AV1)

Форматы изображений и видео вроде JPEG, HEIC и AV1 давно стали частью нашей повседневности. Мы снимаем на смартфон, пересылаем фото в мессенджерах, заливаем видео в облако — и редко задумываемся, почему одинаковый кадр может весить в три раза меньше, но выглядеть так же.

Если вы хотите разобраться, как современные кодеки экономят место, почему файлы стали компактнее и зачем это вообще понадобилось, то эта статья для вас.

https://habr.com/ru/companies/ruvds/articles/956918/

Алгоритмы и Структуры данных

Задачи по алгоритмам: избавляемся от анаграмм

https://leetcode.com/problems/find-resultant-array-after-removing-anagrams/

Дан массив слов words. Слово содержит латинские буквы в нижнем регистре a-z. Проверить пары смежных слов (w_i, w_{i+1}) и удалить w_{i+1}, когда w_i и w_{i+1} - анаграммы.

https://habr.com/ru/articles/958004/

Алгоритмы и Структуры данных

RL (RLM): Разбираемся вместе

Всем привет! Недавно я познакомился с курсом по глубокому обучению с подкреплением от HuggingFace Deep Reinforcement Learning Course и захотел сделать выжимку самого интересного. Эта статья — своего рода шпаргалка по основам Reinforcement Learning (RL) и одному из ключевых алгоритмов — PPO, который лежит в основе тонкой настройки современных LLM (Large Language Models).

Вы наверняка слышали про такие модели, как o1 от OpenAI или QwQ от Alibaba. Их "рассуждающие" способности во многом — результат применения RL. Давайте разберемся, как обычный принцип обучения, известный по играм вроде AlphaGo, помогает языковым моделям стать умнее.

https://habr.com/ru/articles/958062/

Алгоритмы и Структуры данных

EvoPress: новый подход к оптимизации и сжатию LLM от исследователей Яндекса

Всем привет! Меня зовут Денис Кузнеделев, я работаю в команде Yandex Research. Моё основное направление деятельности на данный момент — задача сжатия и ускорения больших языковых и картиночных моделей. Затраты на обучение, инференс и деплой LLM стали одной из ключевых инфраструктурных проблем индустрии: дефицит вычислительных ресурсов, нехватка видеопамяти и высокие требования языковых моделей к вычислительным ресурсам препятствуют масштабированию решений.

Сегодня я расскажу о методе неравномерного сжатия нейронных сетей EvoPress, который мы предложили совместно с коллегами из ETH Zurich и представили в июле этого года на одной из ведущих конференций по машинному обучению — ICML.

https://habr.com/ru/companies/yandex/articles/957228/

Алгоритмы и Структуры данных

Инструкция по бесплатной GPT генерации новых фичей для наращивания точности ML модели

Одним из самых важных навыков любого специалиста по данным или ML инженера является умение извлекать информативные признаки из исходного набора данных. Этот процесс называемый feature engineering (инженерия признаков), — одна из самых полезных техник при построении моделей машинного обучения.

Работа с данными требует значительных инженерных усилий. Хотя современные библиотеки вроде scikit-learn помогают нам с большей частью рутинных операций, по-прежнему критически важно понимать структуру данных и адаптировать её под задачу, которую вы решаете.

Создание новых, более качественных признаков позволяет модели лучше улавливать зависимости, отражающие особенности предметной области и влияющие на результаты факторы.

Разумеется, feature engineering — это времязатратный, креативный и нередко утомительный процесс, требующий экспериментов и опыта.

https://habr.com/ru/articles/956310/

Алгоритмы и Структуры данных

Обучение скрытых слоёв S–A–R перцептрона без вычисления градиентов. Часть 2

Предисловие. Опубликовав первую часть понял, что само обучение перцептрона мало кого интересует, пока не будет экспериментальных результатов. И это разрешило мою дилемму о том, как сократить изложение для хабра. Мы пропустим разделы с объяснением архитектуры перцептрона TL&NL и начнем сразу с 4 раздела моей статьи.

https://habr.com/ru/articles/958498/

Алгоритмы и Структуры данных

Решение проблемы двойного букинга: паттерны проектирования систем

Давно прошло то время, когда люди стояли в длинных очередях для покупки билетов на концерты, авиарейсы, фильмы, матчи и другие события.

Технологические компании наподобие Ticketmaster, BookMyShow, Airbnb, Delta Airlines и так далее сделали бронирование делом одного клика, позволившим покупать билеты из дома.

Эта простота стала возможной благодаря технологическим платформам и сервисам, которые прячут от пользователей всю сложность и решают неординарные инженерные задачи. Одна из таких задач — предотвращение бронирования одного места несколькими пользователями.

https://habr.com/ru/articles/957954/

Алгоритмы и Структуры данных

Балконы и полигоны: как мы разметили 12 000 квартир для генерации 3D-туров

Те, кто имел дело с покупкой и продажей недвижимости, знает, что просмотры — очень хлопотное занятие. Неудивительно, что для экономии времени появляются предложения посмотреть квартиру онлайн или с помощью 3D‑тура. О таких виртуальных экскурсиях мы сегодня и поговорим.

В сентябре Яндекс Недвижимость рассказала о 3D‑турах для новостроек. С момента начала тестирования в июле на сервисе было сгенерировано более четверти миллиона виртуальных экскурсий по строящимся квартирам. Чтобы это стало возможным, мы обучили нейросеть анализировать планировки и превращать их в трёхмерные визуализации. Но прежде всего нужно было проделать большую и кропотливую работу, чтобы нейросеть понимала, где отрисовывать окно или класть плитку на пол.

https://habr.com/ru/companies/yandex/articles/954650/

Алгоритмы и Структуры данных

T-LoRA: дообучить диффузионную модель на одной картинке и не переобучиться

Вы когда‑нибудь мечтали стать лучшей версией себя? Моложе, красивее, идеальнее… А вот LoRA уже стала!

Меня зовут Вера Соболева, я научный сотрудник лаборатории FusionBrain Института AIRI, а также стажер‑исследователь Центра глубинного обучения и байесовских методов НИУ ВШЭ. Cегодня я расскажу про наше свежее исследование T‑LoRA: Single Image Diffusion Model Customization Without Overfitting. Мы с коллегами придумали эффективный способ как файнтюнить диффузионные модели с помощью LoRA всего по одной картинке.

https://habr.com/ru/companies/airi/articles/958348/

Алгоритмы и Структуры данных

Как RuStore читает мысли пользователей (и причём тут теги)

Когда пользователь открывает RuStore и вводит запрос вроде «тренировки дома» или «обои с кошками», он ищет не конкретное приложение, а способ решить задачу. Наша цель, как стора, — понять, какое приложение действительно поможет ему это сделать.

За этим стоит сложный ML-пайплайн: сначала модель отбирает кандидатов по смысловой близости запроса, затем ранжирует их по релевантности. А поисковые теги помогают системе уловить контекст — в каких ситуациях и по каким запросам ваше приложение должно оказаться в топе выдачи.

Меня зовут Анастасия Войцешко, я продакт-менеджер в RuStore. В этой статье расскажу, как устроен поиск внутри стора, какую роль теги играют и как подобрать их так, чтобы повысить шансы приложения попасть в релевантную выдачу.

https://habr.com/ru/companies/vk/articles/956450/

Алгоритмы и Структуры данных

Создание интерактивного макета. Упаковка кругов в квадрат и прямоугольник. Жадный алгоритм

Я занялась разработкой сайта, который предоставляет пользователям возможность визуализировать различные цветочные дизайны. По замыслу, любой страждущий, заходя на сайт, может выбрать желаемую форму и размер букета, после чего соответствующий макет заполнить цветами из каталога.

https://habr.com/ru/articles/958888/

Алгоритмы и Структуры данных

Передовые алгоритмы глубокого обучения

В этой главе мы поговорим о передовых алгоритмах глубокого обучения. Они были подобраны с учетом соответствия их архитектуры современным стандартам качества и широты спектра применения. В этой главе мы изучим генеративные модели, основанные на вариационных автоэнкодерах (variational autoencoders, VAE), и рассмотрим полноценную реализацию детектора аномалий для данных временнˆых рядов. Мы продолжим наше путешествие знакомством с интригующей комбинацией нейронных сетей и классических моделей гауссовой смеси с использованием амортизированного вариационного вывода и взглянем на реализацию сети смешанной плотности. Затем мы сосредоточимся на концепции внимания и изучим реализацию с чистого листа архитектуры трансформера для задачи классификации. Наконец, мы рассмотрим графовые нейронные сети и используем одну из них для классификации вершин в графе цитирования. На протяжении всей этой главы мы будем пользоваться библиотекой глубокого обучения Keras/TensorFlow.

https://habr.com/ru/companies/piter/articles/958662/

Алгоритмы и Структуры данных

Чем вообще занимается человечество?

Вот уже последние лет 10 одна половина человечества стремительно проваливается в пучину бесполезного повторения одного и того же с каждый раз всё худшими показателями, а вторая половина запрещает абы что.

в github, vscode и windows абсолютно каждое обновление уже несколько лет связано только с "ИИ", при этом ни один реальный показатель этих программ не стал лучше. В каждый поисковой запрос встроен ИИ, а качество поиска в гугле стало хуже (считал ли кто-то, сколько электричества ушло на это?)

Компилятор go переписывают на go, JavaScript существует больше 20 лет, появился TypeScript, но он... Всё также компилируется в обычный JavaScript, даже более объёмный, чем написанный вручную. До сих пор все оптимизации передачи джаваскрипта по сети не пошли дальше удаления пробелов из исходного текста, хотя на поверхности лежит трансляция TypeScript в бинарный JS, который позже напрямую быстрее интерпретируется и тратит в разы меньше сетевого трафика

https://habr.com/ru/articles/959142/

Алгоритмы и Структуры данных

От четырёх до семи сделок в день: как мы перестроили процесс записи и забили календари по полной

Всем привет! Меня зовут Станислав Тюленев, я главный инженер по разработке в одной из продуктовых команд Домклик. В этой статье я расскажу, как мы в полтора раза увеличили возможное количество сделок в течение дня, с какими сложностями столкнулись и почему это повлияло на скорость расчёта слотов для записи.

https://habr.com/ru/companies/domclick/articles/957550/

Алгоритмы и Структуры данных

Рендеринг трёхмерных фрактальных множеств: от оболочки Мандельброта до гибридов, часть 3

Меня всё также зовут Андрей Гринблат. В прошлых материалах я рассказывал о построении фотореалистичных изображений трёхмерных фракталов (часть 1 и часть 2). Это — завершающая статья цикла, в ней я разберу визуализацию оболочки Мандельброта, четырёхмерных аналогов множеств Мандельброта и Жюлиа, и рассмотрю гибридные фракталы.

https://habr.com/ru/companies/sberbank/articles/957194/

Алгоритмы и Структуры данных

Зачем дата-сайентисту дисперсия

Дисперсия — один из важнейших статистических показателей: oна играет центральную роль в оценке изменчивости данных, понимании поведения ML-моделей и снижении ошибок. В этой статье мы разберeм, почему правильное использование дисперсии критично для Data Science и разработаем нашу собственную модель Random Forest.

https://proglib.io/p/zachem-data-sayentistu-dispersiya-2025-04-11

Алгоритмы и Структуры данных

Как аналитику работать с задачами на интеграции — пошаговая инструкция

Я хочу рассказать о важной части задач, с которыми работают системные аналитики. Это задачи на проектирование интеграций.

Звучит серьезно и сложно. И это так, если не знаешь что это, с чего начать и как идти. Но если ты уже прошёл хотя бы три проекта, с разными особенностями, то понимания становится больше.

Для меня каждый проект был похож на приключение с неожиданным концом. Сначала я думала, что всё знаю и всё понятно. А потом, при детальном погружении, вылезали тонны нюансов и особенностей в работе API внешних систем, архитектуре, обработке ошибок...

https://habr.com/ru/articles/735332/

Алгоритмы и Структуры данных

FTM, который написал MUSIC: точное определение местоположения Wi-Fi-устройств в условиях многолучевости. Часть 3/3

В этом разделе кратко представлен прототип FUSIC, но основное внимание уделено результатам проведённой оценки FUSIC. Сначала оценивается точность данного метода, а затем – возможность его использования для определения местоположения в помещении. В решениях по определению местоположения в помещении чаще всего используется измерение расстояний с помощью Wi-Fi. Для этого варианта использования реализуется классический алгоритм нелинейной трилатерации [25]. Во всех экспериментах сравниваются FUSIC и оригинальный FTM.

https://habr.com/ru/companies/stc_spb/articles/731752/

Алгоритмы и Структуры данных

5 классических алгоритмов машинного обучения, о которых вам обязательно следует знать

Статья дает базовое представление о классических алгоритмах машинного обучения, которые находят широкое применение при решении прикладных задач, таких как предсказание оттока клиентов, персонализация рекламы и так далее.

https://proglib.io/p/5-klassicheskih-algoritmov-mashinnogo-obucheniya-o-kotoryh-vam-obyazatelno-sleduet-znat-2022-08-16

Алгоритмы и Структуры данных

Почему РЭБ заставляет нервничать пилотов

Если в процессе установившегося снижения при заходе на посадку воздушное судно резко переходит в набор высоты, это значит, что либо экипаж прервал заход и начал «уходить на второй круг», либо вы стали участником того самого случая, о котором пойдет речь.

https://habr.com/ru/articles/960244/

Алгоритмы и Структуры данных

Нейросеть, что это такое и как создать свою? Детальная инструкция

Что такое нейросеть? В базовом понимании, нейросеть – это совокупность связанных нейронных блоков, выполняющих обработку информации.

https://habr.com/ru/articles/736466/

Алгоритмы и Структуры данных