🤖 Откуда берутся данные? Рассказываем о парсинге

Мир стремительно оцифровывается: каждый наш клик, пост или покупка превращаются в данные. Но сами по себе они бесполезны, если их не собрать и не превратить в знания. Тут на помощь приходит парсинг.

👤 Что это такое, зачем он нужен и какие перспективы открывает — разбираемся вместе с Анастасией Корепановой, научным сотрудником лПИИ СПб ФИЦ РАН, исполнительным директором по исследованию данных в Сбере и старшим преподавателем СПбГУ

🔍 Что такое парсинг?

Парсинг (он же веб-скрейпинг или краулинг) — это автоматизированный сбор данных с сайтов, форумов, соцсетей и других онлайн-ресурсов. В отличие от обычного сбора информации, автоматизированный парсинг работает в промышленных масштабах, экономя время и ресурсы.

⚙️ Языки и инструменты для парсинга

Парсинг возможно писать практически на любом языке программирования, но безусловными лидерами остаются Python и JavaScript.

➖ Python — фаворит среди персеров и специалистов по ИИ.
Богат экосистемой библиотек: BeautifulSoup, Scrapy, Selenium

➖ JavaScript — идеально подходит, если нужно работать с фронтендом или парсить SPA-сайты. Среди инструментов: Cheerio, Puppeteer, Playwright.

📌 Зачем нужен парсинг в 2025 году?

💬 Интернет стал крупнейшим источником данных. Парсинг позволяет видеть не только информацию о людях — через профили в соцсетях, — но и о состоянии общества в целом, анализируя цифровые коммуникации», — делится Анастасия Андреевна

Вот где парсинг особенно востребован:

🔵 ИИ: собранные данные — это источник для обучения LLM и других ИИ-систем. Например, Сбер использует парсинг для дообучения GigaChat

🔵Бизнес: парсинг даёт полный срез рынка по ценам и ассортименту, анализирует риски и тренды, информирует о новостях, влияющих на работу бизнеса, собирает информацию о пользователях на основе профилей и активности в соцсетях.

🔵Наука: анализ коммуникаций в медиа и соцсетях позволяет отслеживать общественные тренды, настроения и динамику изменений в реальном времени.

❗️ С какими вызовами сталкиваются парсеры?

— Анти-бот защита: Cloudflare, Akamai, CAPTCHA, поведенческий анализ.
— Динамический контент: данные загружаются асинхронно через JavaScript, что делает их невидимыми для простых HTTP-запросов.
— Нестабильная структура данных: Частое изменение HTML-разметки целевого сайта приводит к поломке парсера.
— Масштабы: обработка миллионов страниц требует эффективного управления памятью, параллельного исполнения и надежного хранения.
— Этика и закон: не всё можно парсить легально — важно соблюдать robots.txt, условия использования сайта и законодательство (например, GDPR).

🚀 Что дальше?

По словам Анастасии Андреевны, в ближайшие годы мы увидим рывок в трёх ключевых направлениях:

✅ Сложный медиаконтент: ИИ уже умеет извлекать данные из изображений и видео — например, определять цены с фото витрин или анализировать видеоролики.

✅ AI-Powered Parsing: языковые модели (LLM) делают парсеры «умнее», позволяя им адаптироваться к изменениям сайтов и извлекать информацию по смыслу, а не по жестко заданным правилам.

✅ Этичный парсинг с Federated Learning: разработка методов, которые позволяют обучать модели на агрегированных данных без необходимости централизации конфиденциальной информации. Это станет стандартом для чувствительных сфер, таких как медицина и финансы.

Еще больше об ИИ и науке читайте в DSCS.pro

📰Дайджест новостей в сфере ИИ: собрали главные инфоповоды недели

Kandinsky научился писать по-русски, в СПб ФИЦ РАН распознают дипфейки, а OpenAI выпустила новый инструмент для создания ИИ-агентов. Что еще произошло за эту неделю — читайте в нашем свежем дайджесте! ⬇️

🇷🇺 В России:

Департамент предпринимательства и инновационного развития Москвы и Сбер будут сотрудничать в сфере внедрения инноваций, в том числе на основе ИИ

Отраслевой клуб «Технологии ИИ для транспорта и логистики» представил белую книгу (White Paper) «Искусственный интеллект в сфере транспорта и логистики»

В Санкт-Петербургском федеральном исследовательском центре РАН создали прототип ИИ-решения для выявления дипфейков

Сбер добавил в Kandinsky Image возможность генерации изображений с надписями на русском языке

В ВТБ и МГУ им. М.В. Ломоносова разрабатывают ИИ-модель для проверки ответов других нейросетей, работающих в сервисах банка, на этичность и отсутствие галлюцинаций

Облачный провайдер Cloud. ru открыл доступ к модели GLM-4.6 компании Z. ai в каталоге Evolution Foundation Models

MWS AI выпустила мультимодальную модель Cotype VL для работы с текстом и изображениями, а также представила бенчмарк для мультимодальных моделей MWS Vision Bench

🌍 В мире:

Anysphere (США) выпустила обновленный редактор кода на основе ИИ Cursor 1.7

NVIDIA представила способ обучения ИИ Reinforcement Learning Pretraining. Он предполагает интеграцию рассуждения на этапе претренинга

Google представила ИИ-агента для устранения уязвимостей в коде CodeMender

OpenAI выпустила инструмент для создания ИИ-агентов AgentKit и решение для создания приложений внутри ChatGPT Apps SDK. Компания также обновила ИИ-агента для разработки GPT-5-Codex и сделала GPT-5 Pro и Sora 2 доступными по API

Британская ElevenLabs представила визуальный редактор для построения ИИ-агентов Agent Workflows

Google представила предварительную версию модели Gemini 2.5 Computer Use для взаимодействия ИИ-агентов с пользовательскими интерфейсами. Компания также показала исследовательский прототип персонального медицинского агента на базе LLM

Microsoft внедрила в ИИ-ассистента Copilot возможность запоминать или забывать факты о пользователе

Google выпустили каталог расширений для агента Gemini CLI. Они присоединяются к нейронке прямо из командной строки

ChatGPT встроят во все приложения в мире — нейронка сможет использовать Figma, Spotify, Canva, Zillow и многие другие

🤖 ИИ в деле: создаем презентации руками нейросетей

Продолжаем делиться практическими кейсами о том, как ИИ решает наши повседневные задачи.

📷 Сегодня — о том, как создать впечатляющую презентацию даже если с дизайном вы «на вы»

📌 Что умеет ИИ при работе с презентациями?

1️⃣ Структура и сценарий выступления
Введите тему, и нейросеть предложит чёткий план, ключевые тезисы и логику слайдов. Можно даже попросить черновик речи для спикера с плавными переходами и акцентами на главном.

2️⃣ Генерация изображений и иллюстраций
Искать подходящий визуал среди огромного количества стоковых картинок утомляет. Особенно если приходится делать это в последнюю ночь перед сдачей доклада.
ИИ создаст изображения в нужном вам стиле — минимализм, инфографика, фэнтези или деловая презентация.
Достаточно описать тему и желаемую атмосферу, чтобы визуалы идеально дополнили смысл.

3️⃣ Полная сборка слайдов
Если хотите собрать презентацию «под ключ», просто опишите цели, структуру и стиль. Нейросеть подготовит текст, подберёт оформление и даже предложит шаблон для экспорта в PowerPoint или Google Slides.

⚙️ Какие инструменты выбрать?

⚪️ Gamma — самая быстрая и интуитивная платформа для создания презентаций без дизайнерских навыков.
Достаточно ввести тему и пару смысловых блоков — остальное сделает искусственный интеллект.

⚪️ Magic Slides — отличный инструмент для быстрого черновика прямо в браузере. ИИ сам разбивает материал на слайды, подбирает логику и базовый дизайн.

⚪️ Tome — платформа, где ИИ помогает не только оформить слайды, но и продумать логику выступления.

⚪️ Wepik — удобный онлайн-редактор с шаблонами, ИИ-помощником и встроенным конструктором.

⚪️ GigaChat — универсальный инструмент, который умеет не только генерировать текст и код, но и создавать планы презентаций, описания и визуальные элементы.

⚪️ Kandinsky — подходит для генерации изображений, а новая AI-модель Malvina отредактирует изображения по текстовому описанию — например, заменить фон, добавить объект или изменить стиль.

А вы уже пробовали собирать презентации с помощью ИИ? Делитесь опытом в комментариях ⬇️

Еще больше об ИИ и науке читайте в DSCS.pro

📢 Wunder RNN Challenge: международное соревнование по машинному обучению

Хотите применить свои знания на практике и заработать до 1,4 млн рублей? Присоединяйтесь к Wunder RNN Challenge — соревнованию по прогнозированию временных рядов с использованием RNN, LSTM и Transformers.

📃 Формат задачи: предсказать следующее состояние рынка по последовательности предыдущих.
Данные: ~1 млн наблюдений и около 500 независимых последовательностей.

🔥 Что вас ждёт:
⚪️ Работа с реальными финансовыми данными
⚪️ Опыт построения и обучения моделей для предсказания состояния рынка.
⚪️ Возможность попасть в пул кандидатов на стажировки и собеседования.

🕓 Принять участие можно до 1 декабря 2025.
Объявление победителей — 15 декабря 2025.

➡️ Подавайте заявку, прокачивайте скиллы и соревнуйтесь за приз с профессионалами со всего мира!

Викторина 5️⃣
Какой метод чаще всего применяют для обнаружения аномалий в больших данных?

Неожиданные значения, сбои и скрытые инциденты могут указывать на мошенничество или проблемы в системе. Чтобы их вовремя заметить, аналитики используют специальные алгоритмы, способные быстро распознавать отклонения в масштабных потоках данных.

Знаете ли вы, какой алгоритм чаще всего используют в этом случае? ⬇️

Разбор Викторины #5: Какой метод чаще всего применяют для обнаружения аномалий в больших данных?

💜 Спасибо всем, кто участвовал в викторине! Давайте разберём ответы.

✅ Правильный ответ: г) Principal Component Analysis (PCA)

🔍 Почему PCA?

Principal Component Analysis — это статистический метод, который помогает выявлять скрытые закономерности и уменьшать размерность данных. При анализе больших массивов информации PCA позволяет выделить главные компоненты и обнаружить те наблюдения, которые сильно отклоняются от общего распределения — то есть аномалии.

PCA часто применяют в банковском скоринге, мониторинге сетевой безопасности, промышленной аналитике и даже в детекции мошенничества. Метод особенно эффективен, когда данные имеют высокую размерность и коррелированные признаки.

📌 Почему другие варианты не подходят?

➖ K-Nearest Neighbors (KNN): это базовый алгоритм обучения с учителем, используемый как для задач классификации, так и для задач регрессии. Может применяться для поиска аномалий, но плохо масштабируется на большие данные и чувствителен к размерности пространства.

➖ Decision Trees: хороши для классификации и регрессии, но не оптимальны для обнаружения редких или «нестандартных» точек, если они не были заранее размечены.

➖ Naive Bayes: основан на вероятностной модели с предположением независимости признаков. Это делает его простым и быстрым, но малопригодным для детекции сложных, многомерных аномалий.

А ваш ответ совпал с правильным? Делитесь в комментариях ⬇️

Еще больше об ИИ и науке читайте в DSCS.pro