Научный сотрудник ТиМПИ Максим Сергеевич Есин на семинаре Лаборатории поделился результатами улучшения работы системы трекинга контейнеров Cargotime.ru

Компания Cargotime — активно развивающийся проект, направленный на цифровизацию логистики, упрощение и автоматизацию доступа к информации о грузах, грузовых компаниях и их предложениях для всех участников рынка

Успешная работа логистики компании в частности зависит от систем отслеживания контейнеров, которые подвержены частым техническим сбоям

Работа Максима Сергеевича направлена как раз на повышение отказоустойчивости системы агрегации данных о перемещении контейнеров с помощью разработки и внедрения автоматизированной системы мониторинга и управления работой парсеров

Результаты разработки:
— проведена классификация проверок работоспособности парсеров;
— разработаны вспомогательные алгоритмы для подбора релевантных входных данных и задания очередности запусков парсеров;
— в существующий продукт встроена автономная система тестирования парсеров и телеграм-бот для внутреннего пользования

Как итог:
— нестабильные парсеры теперь не влияют на скорость отклика, а число серверных ошибок, связанных с ошибками парсеров, снизилось в два раза;
— время реакции на сбои в работе парсеров сократилось до минимума;
— за счет своевременных уведомлений о сбоях улучшен клиентский опыт


Подробнее с работой можно ознакомиться в презентации ниже

#cargo | #seminar | #students

Семинар. Сегодня, 20 марта в 17:00 (по мск) 3 доклада сотрудников Лаборатории:

→ Чекалёв Артём Алексеевич «Приложение ВКонтакте: анализ неявных предпочтений пользователей социальных сетей»

→ Рязанцев Григорий Евгеньевич
«Автоматизация предсказания результатов теста EPQ по аккаунтам пользователей социальной сети»

→ Павел Андреевич Никитин
«Языковые модели в качестве интеллектуального инструмента работы с текстом»

Ссылка на видеовстречу:
> > > НАЖМИ НА МЕНЯ < < <

До встречи!

#announcement | #seminar | #students

Участник проектов Лаборатории ТиМПИ Чекалёв Артём Алексеевич на семинаре поделился анализом неявных предпочтений пользователей социальной сети ВКонтакте

Социальные сети в настоящее время являются уникальным источником личных данных и интересов реальных людей

Кроме этого:
— люди любят проходить тесты и узнавать информацию о себе;
— по данным VK за декабрь 2023 года, у VK Mini Apps большая аудитория:
45 млн пользователей в месяц.

Актуально было бы иметь представления о профориентационных предпочтениях людей, используя цифровые следы пользователей социальных сетей

Автоматизированная профориентация на основе цифровых следов поможет:
— сократить время, потраченное на прохождение профориентационных тестов;
— исключить проблему поиска специалиста, умеющего правильно определять результаты тестов.

Работа Артёма Алексеевича как раз направлена на улучшение процесса профессионального самоопределения пользователя путем разработки и внедрения приложения, которое на основе анализа тематик подписок в социальной сети ВКонтакте будет предоставлять персонализированные рекомендации

Результаты исследования:
— выбран наиболее подходящий стек технологий;
— реализована основная функциональность приложения;
— реализован интерфейс пользователя на основе дизайн-макета.


#seminar | #students | #Полезное

Психологические особенности (по тесту EPQ) можно оценить на основе подписок пользователей социальных сетей на группы, а также исходя из данных профиля во Вконтакте

Об автоматизации предсказаний результатов теста EPQ по аккаунтам пользователей социальной сети на семинаре рассказал участник проектов Лаборатории ТиМПИ Рязанцев Григорий Евгеньевич

Григорий Евгеньевич провел исследование, в котором:
— провел анализ работ и выделил наиболее релевантные признаки для предсказания;
— обработал цифровые следы пользователей, которые прошли психологический тест;
— настроил алгоритмы машинного обучения на обработанных данных;
— проанализировал результаты предсказания оценки факторов пользователей.

Подробнее с описанием подхода, обучением моделей, результатами машинного обучения можно ознакомиться в презентации, приятного просмотра!

#seminar | #students |#Полезное

Темперамент можно узнать буквально за минуту благодаря новому мини-приложению AI-темперамент

Сотрудники Лаборатории ТиМПИ разработали мини-приложение ВКонтакте AI-темперамент, которое с помощью искусственного интеллекта анализирует вашу страницу в ВК и сразу же определяет преобладающий тип темперамента

Темперамент — это природная основа характера, определяющая его врождённые свойства, такие как степень эмоциональности, импульсивности, общительности и т.д.

Каждый тип темперамента имеет свои слабые и сильные стороны, как раз об этом можно узнать в мини-приложении. «Плюсы» необходимо осознавать и пользоваться ими в жизни, а «минусы» — принимать и держать под контролем

Это увлекательный и простой способ узнать больше о себе и своих близких. Попробуйте уже сегодня и откройте для себя новые грани своей личности!

#Приложения #Полезное

Семинар. Сегодня, 27 марта в 17:00 (по мск) доклад сотрудника Лаборатории

→ Павел Андреевич Никитин
«Языковые модели в задаче автоматизации оценки личностных особенностей пользователей социальных сетей»

Ссылка на видеовстречу:
> > > НАЖМИ НА МЕНЯ < < <

До встречи!

#announcement | #seminar | #students

Уже совсем скоро... уже вот-вот... семинар

Семинар начнется через 15 минут, подробности в предыдущем посте!

Ссылка на видеовстречу:
> > > НАЖМИ НА МЕНЯ < < <

Будем рады видеть вас, присоединяйтесь!

#announcement | #seminar

ВКонтакте: новый подход к классификации личности

Вчера в рамках семинара Лаборатории Павел Андреевич Никитин рассказал про языковые модели в задаче автоматизации оценки личностных особенностей пользователей социальных сетей

Делимся с вами основными тезисами:
— для автоматизации оценки личностных особенностей за основу были взяты результаты прохождения психологического тестирования пользователей ВКонтакте, так как эта социальная сеть является самой популярной в России, исходя из данных новостного ресурса inclient.ru

— персонализированные рекомендательные и контролирующие системы возможно настраивать, основываясь на понимании паттернов человеческого поведения через анализ данных из соц. сетей

— на основе полученных данных Павел Андреевич соотнес показатели темперамента личности по классификации И.П.Павлова, включающей 4 классических типа темперамента: меланхолик, сангвиник, флегматик и холерик

Многие пользователи социальных сетей не хотят тратить время на прохождение тестирования, кроме того, некоторые пользователи никогда бы не прошли психологические тесты, но оценка личностных особенностей может быть актуальна для персонализированных рекомендаций

Именно с помощью автоматизации данных социальных сетей можно быстро узнать оценку выраженности личностных особенностей человека по цифровым следам

#seminar | #students | #Полезное

Максим Сергеевич Есин, разработчик web-проекта Cargotime.ru, посетил выставку TransRussia 2024

19-21 марта в Москве проходило одно из крупнейших международных событий в области транспортно-логистических услуг, складского оборудования и технологий, выставка TransRussia 2024. В этом году выставка собрала более 30.000 специалистов и 580 компаний-участников, среди которых были представлены крупные экспедиторы, представители контейнерных линий и железнодорожных компаний, авиаперевозчики, поставщики складского оборудования, таможенные брокеры, эксперты ВЭД и представители IT-компаний

«Побывал на выставке такого масштаба впервые. В первую очередь понравилась деловая атмосфера мероприятия, было приятно увидеть и пообщаться с представителями транспортных компаний, данные от которых мы агрегируем на нашем логистическом портале Cargotime.ru. Было полезно узнать о проблемах, с которыми сталкиваются транспортные компании при цифровизации, а также изучить рынок поставщиков ПО для оптимизации логистических бизнес-процессов, участником которого является наш логистический портал» — делится впечатлением Максим Сергеевич

На выставке были отмечены следующие ключевые моменты:
1. В ближайшее время в России будет развиваться железнодорожная инфраструктура, также будет активно происходить ее контейнеризация.
2. В начале года зафиксированы снижение экспорта на 21% в направлении Дальнего Востока, а также рост объема железнодорожных перевозок через Монголию и Казахстан на 31% и 10% соответственно.
3. Европейский союз все еще занимает второе место в списке основных торговых партнеров, составляя 12,5% внешней торговли РФ по итогам 2023 года.
4. Эксперты прогнозируют отсутствие роста или стагнации торгового оборота с Китаем в 2024 году из-за ограниченности инфраструктуры и санкционных ограничений.
5. Платформа 1С выступает как самый популярный способ цифровизации логистических процессов, удобство ее интеграции с другими 1С-продуктами, поэтому все больше компаний в рамках цифровизации предпочитают переход на отечественный софт вместо разработки собственных систем.

Полученная в ходе выставки TransRussia 2024 информация поможет логистическому порталу Cargotime.ru адаптироваться

Разработан новый метод разделения больших диалогов на тематики без использования размеченных данных

Эксперт из DS Community Санкт-Петербургского IT-хаба Сбербанка (блок КИБ) Алексей Резвых, руководитель направления по исследованию данных Сбера, совместно с исследователями из Лаборатории ИИ Сбера и МФТИ разработали метод сегментации диалогов на тематики на основе моделей суммаризации без использования размеченных данных, что поможет значительно улучшить качество работы колл-центров и менеджеров по продажам

Почему важна сегментация и какое основное преимущество нового метода? Все ответы — в статье на сайте, приятного чтения!

Полный текст публикации на сайте Openreview

#Полезное

Сегодня, 3 апреля в 17:00 (по мск) состоится семинар Лаборатории

Программа докладов:

→ Вадим Алексеевич Сазанов
«Логистический портал Cargotime.ru: повышение стабильности и отказоустойчивости сервиса отслеживания контейнеров»

→ Елена Алексеевна Звягина
«Логистический портал Cargotime.ru: реинжиниринг сервиса стоимости доставки»

Ссылка на видеовстречу:
> > > НАЖМИ НА МЕНЯ < < <

До встречи!

#announcement | #seminar | #students

Уже совсем скоро... уже вот-вот... семинар

Семинар начнется через 15 минут, подробности в предыдущем посте

Ссылка на видеовстречу:
> > > НАЖМИ НА МЕНЯ < < <

Будем рады видеть вас, присоединяйтесь!

#announcement | #seminar

Сотрудник Лаборатории ТиМПИ Вадим Алексеевич Сазанов на семинаре поделился результатами повышения стабильности и отказоустойчивости отслеживания контейнеров логистического портала Cargotime.ru

Cargotime — активно развивающийся портал, основанный на цифровизации логистики и ориентированный на упрощение и автоматизацию доступа к информации о грузах, транспортных компаниях и оказываемых ими услугах

По мере расширения портала повышаются требования к надёжности системы и качеству предоставляемого сервиса, поэтому работа Вадима Алексеевича направлена на повышение стабильности и отказоустойчивости Cargotime.ru, путём усовершенствования отдельно взятых микросервисов и внедрения ключевых DevOps-практик

Результат работы:
— повышена отказоустойчивость и доступность всей системы отслеживания за счёт создания кластера из 4 серверов, репликации микросервисов и балансировки нагрузки между репликами;
— увеличена стабильность сервиса пакетной загрузки и ускорена обработка запросов в несколько раз.

#cargo | #seminar

Искусственный интеллект: история, развитие, применение — лекторий от СПбГУ и VK

6 апреля в 15:00 Санкт-Петербургский университет и VK проведут совместный лекторий «Искусственный интеллект: от первых нейросетей до выполнения реальных задач в IT-индустрии».
Подробности на сайте

В последние годы технологии искусственного интеллекта стремительно набрали популярность благодаря возможностям быстрой обработки больших данных, автоматизации процессов, а также улучшения медицинских и научных исследований.

Ведущие эксперты СПбГУ и VK в области искусственного интеллекта расскажут об истории и развитии технологии, её устройстве и применении в разных сферах жизни.

❗️Необходима регистрация

Место проведения: Санкт-Петербург, наб. реки Мойки, д. 73, БЦ «У Красного Моста», 7 этаж, офис VK

Развитие логистического портала Cargotime.ru в действиях

В рамках семинара Лаборатории ТиМПИ Елена Алексеевна Звягина, активный участник команды разработчиков Cargotime.ru, поделилась результатами повышения стабильности и отказоустойчивости сервиса отслеживания контейнеров логистического портала

В связи с повышением числа пользователей Cargotime.ru возникает необходимость в:
— стабильной бесперебойной работе сервиса;
— закрытии всех потребностей пользователей.

Работа Елены Алексеевны как раз направлена на улучшение сервиса, которое поможет еще лучше и удобнее пользоваться логистическим порталом

На данный момент результаты следующие:
— повышена масштабируемость и отказоустойчивость сервиса;
— разработан сервис оценок, вычисляющий среднюю оценку компании и актуальность ее тарифов;
— повышена скорость отклика сервиса.

Команда Cargotime.ru продолжает активно работать над улучшением портала, чтобы обеспечить пользователям еще более комфортное и эффективное использование сервиса

#cargo | #seminar

Научный семинар Лаборатории сегодня, 10 апреля, в 17:00 (по мск)

👨🏻‍💻В программе тема про RAG

→ Артём Петрович Попов
«RAG подход — интеллектуальные решения на основе LLM без дообучения»

Ссылка на видеовстречу:
> > > НАЖМИ НА МЕНЯ < < <

Будем всех ждать на семинаре!

#announcement | #seminar | #students

Уже совсем скоро... уже вот-вот... семинар

Семинар начнется через 15 минут, подробности в предыдущем посте

Ссылка на видеовстречу:
> > > НАЖМИ НА МЕНЯ < < <

Будем рады видеть вас, присоединяйтесь!

#announcement | #seminar

Что поможет улучшить работу LLM?

На семинаре Лаборатории стажер-инженер Data Science КИБ Сбера Артем Петрович Попов рассказал про RAG подход — интеллектуальные решения на основе LLM без дообучения

Современные интеллектуальные системы, основанные на больших языковых моделях (LLM), зачастую требуют использования собственных данных для получения точных результатов. Однако, использование LLM "с коробки" на неизвестной тематике может привести к ошибкам в генерации ответов

Дообучение хоть и является популярным методом дополнительной настройки LLM, однако имеет серьезные минусы – плохая эффективность при работе с часто обновляющейся информацией, а также вероятность утечки конфиденциальных данных — поделился Артем Петрович

Для решения этой проблемы применяется RAG подход, который позволяет использовать внешние актуальные источники на этапе инференса LLM, тем самым уменьшая вероятность ошибок и делая процесс генерации ответа более прозрачным

RAG подход представляет собой многоступенчатую систему, где каждый этап требует особого внимания. Важными компонентами являются База Знаний и База Поиска, корректная подготовка которых — фундамент эффективной работы архитектуры

Оценка качества RAG системы включает два этапа: оценку качества поиска релевантного контекста и оценку качества сгенерированного ответа. Для автоматизации этого процесса используются специальные фреймворки, такие как RAGAS

Грамотное применение RAG подхода расширяет возможности LLM в области создания вопросно-ответных систем и помогает в разработке интеллектуальных помощников на основе подготовленной Базы Знаний

#Полезное