На семинаре Лаборатории стажер-инженер Data Science КИБ Тимур Вадимович Ахматшин рассказал про практическое дообучение больших языковых моделей на примере saiga-llama2
В современном мире большие языковые модели(LLM) используются при решении множества различных задач, связанных с обработкой естественного языка.
🔄 В некоторых сценариях использования LLM есть необходимость изменить стиль ответа модели или дополнить лексикон модели новыми словами. Для этих задач активно применяется тонкая настройка(fine-tuning) модели.
Однако дообучение больших языковых моделей — это очень ресурсоемкая и тяжелая задача.
👍 Один из эффективных методов решения этой проблемы — это методы Parameter-Efficient Fine-Tuning (PEFT). PEFT заключается в обучении лишь небольшого числа дополнительных к исходной модели параметров.
Такой подход помогает улучшить скорость обучения и бороться с катастрофическим забыванием. Одной из разновидностей PEFT является Low-Rank Adaptation(LoRA). Используя LoRA мы можем значительно сократить время обучения и требования по ресурсам в процессе обучения.
Подобрав подходящий набор данных и используя LoRA, можно эффективно добавить в модель новые знания и осуществить перенос стиля.
#Полезное
В современном мире большие языковые модели(LLM) используются при решении множества различных задач, связанных с обработкой естественного языка.
Однако дообучение больших языковых моделей — это очень ресурсоемкая и тяжелая задача.
Такой подход помогает улучшить скорость обучения и бороться с катастрофическим забыванием. Одной из разновидностей PEFT является Low-Rank Adaptation(LoRA). Используя LoRA мы можем значительно сократить время обучения и требования по ресурсам в процессе обучения.
Подобрав подходящий набор данных и используя LoRA, можно эффективно добавить в модель новые знания и осуществить перенос стиля.
#Полезное
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6👾1
Forwarded from News.ХАБ Питер 📨
Мастер-класс в Калининграде: возможности для студентов попасть в структуру Сбера
Наши коллеги из Хаб Питер, ММБ и Key Clients провели мастер-класс для студентов БФУ им. И.Канта в Калининграде
🚀 Программа мероприятия включала в себя семь информативных лекций, анонсирование вакансий и обсуждение обновления направления совместной магистратуры с руководителем программы
Такой отклик подтверждает актуальность и востребованность проведения данных мероприятий среди молодежи, стремящейся к профессиональному развитию и новым возможностям
Наши коллеги из Хаб Питер, ММБ и Key Clients провели мастер-класс для студентов БФУ им. И.Канта в Калининграде
Студенты проявили высокий уровень заинтересованности, отметили большой интерес к стажировкам и вакансиям от Сбера — поделилась Альбина Им
Такой отклик подтверждает актуальность и востребованность проведения данных мероприятий среди молодежи, стремящейся к профессиональному развитию и новым возможностям
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8
Forwarded from News.ХАБ Питер 📨
Секретами успешного проектного менеджмента наши коллеги поделились в Калининграде
18 апреля в Калининградском государственном техническом университете прошла уникальная лекция по проектному менеджменту от ведущих специалистов Сбера.
Спикерами выступили Юлия Раковская, управляющий директор Центра разработки ПАО Сбербанк, лидер IT-площадки Центра разработки Элла Харько и HR-партнер IT-площадки Сбербанк в Калининграде Анна Акатьева.
📆 В рамках встречи Юлия поделилась своим опытом и знаниями в области проектного менеджмента, рассказала о том, как правильно ставить задачи, контролировать их выполнение, мотивировать команду в условиях высокой проектной загрузки. Также были обсуждены вопросы выбора модели управления проектами и ресурсов проекта, включая финансовые и человеческие ресурсы.
📆 Элла Харько подробно остановилась на финансовых аспектах ведения проектов. Элла рассказала о том, как правильно бюджетировать проект и выводить его на прибыльность, а также о контроле финансовых потоков в проекте с учетом фактора времени.
📆 Анна Акатьева завершила лекцию, рассказав о карьерных перспективах в IT-проектах Сбера. Она поделилась информацией о работе IT-площадки Сбера в Калининграде и возможностях для профессионального роста.
🔝 Это мероприятие стало первым шагом в новом партнерстве между КГТУ и Сбером. В планах — проведение совместных лекториев, проектной работы со студентами и открытие возможностей для стажировок
18 апреля в Калининградском государственном техническом университете прошла уникальная лекция по проектному менеджменту от ведущих специалистов Сбера.
Спикерами выступили Юлия Раковская, управляющий директор Центра разработки ПАО Сбербанк, лидер IT-площадки Центра разработки Элла Харько и HR-партнер IT-площадки Сбербанк в Калининграде Анна Акатьева.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5⚡2🐳1
Сбербанк объявляет о проведении конкурса на лучшую статью в рамках предстоящей конференции AIJ 2024
AI Journey — это ежегодная международная конференция по искусственному интеллекту и машинному обучению от Сбера.
🤖 Конференция предоставляет уникальную возможность исследователям, ученым и специалистам в области искусственного интеллекта представить свои идеи и поделиться опытом с международным сообществом.
🔥 В прошлом году статья научных сотрудников Лаборатории ТиМПИ успешно прошла отбор конференции AIJ и была опубликована в выпуске топового российского журнала Doklady Mathematics (Scopus Q2). Это стало важным достижением для нашей команды и подтверждением качества наших исследований!
Приглашаем всех желающих принять участие и поделиться своими идеями и инновационными подходами в области искусственного интеллекта!
AI Journey — это ежегодная международная конференция по искусственному интеллекту и машинному обучению от Сбера.
Приглашаем всех желающих принять участие и поделиться своими идеями и инновационными подходами в области искусственного интеллекта!
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8🍌5👍4
День сотрудников Лаборатории на Матмехе СПбГУ
Сегодня сотрудники Лаборатории ТиМПИ в честь недели Матмеха провели день на факультете
Посетили лекцию, где представители Центра Карьеры и первый проректор по учебной работе Лаврикова Марина Юрьевна рассказали о трудоустройстве и организации дальнейшей работы СПбГУ с выпускниками.
⌨️ Провели рабочее совещание на родной кафедре информатики: сотрудники поделились результатами своей работы за неделю, обсудили текущие проекты и планы на будущее.
Сотрудники Лаборатории провели в дружественной атмосфере встречу с Кустовой Еленой Владимировной, и.о. декана Математико-механического факультета, где обсудили важные вопросы, связанные с деятельностью на факультете.
🔥 Максим Викторович выступил с лекцией для студентов, в ходе которой рассказал о возможностях работы в Сбербанке и Лаборатории ТиМПИ. Максим Викторович подробно остановился на стажировках, больших языковых моделях и внедрении GigaChat в различные проекты банка.
Еще одно важное мероприятие: коллеги заслушали предзащиты дипломов, задали вопросы и дали ценные комментарии.
Все эти события происходили на любимом факультете матмеха в Петергофе. День был действительно насыщенным и очень полезным для всех!
Сегодня сотрудники Лаборатории ТиМПИ в честь недели Матмеха провели день на факультете
Посетили лекцию, где представители Центра Карьеры и первый проректор по учебной работе Лаврикова Марина Юрьевна рассказали о трудоустройстве и организации дальнейшей работы СПбГУ с выпускниками.
Сотрудники Лаборатории провели в дружественной атмосфере встречу с Кустовой Еленой Владимировной, и.о. декана Математико-механического факультета, где обсудили важные вопросы, связанные с деятельностью на факультете.
Еще одно важное мероприятие: коллеги заслушали предзащиты дипломов, задали вопросы и дали ценные комментарии.
Все эти события происходили на любимом факультете матмеха в Петергофе. День был действительно насыщенным и очень полезным для всех!
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥14❤4👍2
ИИ в бизнес-процессах: обзор возможностей и примеры внедрения на Дне карьеры Матмеха СПбГУ
24 апреля Максим Викторович, руководитель лаборатории ТиМПИ, в ходе выступления на лекции не только рассказал про возможности стажировок для студентов, но и поделился реализуемыми проектами Лаборатории и внедрением GigaChat в бизнес-процессы Сбера.
👍 На лекции Максим Викторович поделился разработками сотрудников Лаборатории, в частности рассказал про:
— искусственный интеллект и цифровые следы: как можно предсказывать психологический портрет пользователя на примере мини-приложений ВКонтакте «Психологические тесты» и «Предсказание типа личности»;
— цифровой логистический портал Cargotime.ru — его возможности для помощи в отслеживании статусов грузовых контейнеров;
— медицинский проект РИД 2023: система оценки и визуализации загруженности медицинского центра;
— ИИ в распознавании автомобильных номеров: как сотрудники Лаборатории дообучили модель для эффективных результатов.
💬 Максим Викторович также представил проекты, реализуемые в Сбере с большими языковыми моделями:
— GigaChat и его возможности;
— в каких проектах активно используют GigaChat для написания текстов;
— проект Jivo: коммуникация с клиентами через бизнес-мессенджеры;
— возможности AI-помощника в помощи поиска информации по вузам.
После лекции студенты задали множество вопросов, связанных со стажировками в Лаборатории и Сбере, большими языковыми моделями, методами дообучения GigaChat, GPT-чатами и другими темами.
⭐️ Заинтересованность студентов и активность в задавании вопросов как во время лекции, так и в частном порядке после нее подтверждает полезность и продуктивность лекции.
24 апреля Максим Викторович, руководитель лаборатории ТиМПИ, в ходе выступления на лекции не только рассказал про возможности стажировок для студентов, но и поделился реализуемыми проектами Лаборатории и внедрением GigaChat в бизнес-процессы Сбера.
— искусственный интеллект и цифровые следы: как можно предсказывать психологический портрет пользователя на примере мини-приложений ВКонтакте «Психологические тесты» и «Предсказание типа личности»;
— цифровой логистический портал Cargotime.ru — его возможности для помощи в отслеживании статусов грузовых контейнеров;
— медицинский проект РИД 2023: система оценки и визуализации загруженности медицинского центра;
— ИИ в распознавании автомобильных номеров: как сотрудники Лаборатории дообучили модель для эффективных результатов.
— GigaChat и его возможности;
— в каких проектах активно используют GigaChat для написания текстов;
— проект Jivo: коммуникация с клиентами через бизнес-мессенджеры;
— возможности AI-помощника в помощи поиска информации по вузам.
После лекции студенты задали множество вопросов, связанных со стажировками в Лаборатории и Сбере, большими языковыми моделями, методами дообучения GigaChat, GPT-чатами и другими темами.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥12❤2
Поездка в Центр образования «Кудрово»: презентация программы «Искусственный интеллект и наука о данных»
23 апреля координатор образовательных программ Анастасия Леонидовна Остапчук презентовала образовательную программу бакалавриата «Искусственный интеллект и наука о данных» от СПбГУ, которая реализуется совместно со Сбером и СПб ФИЦ РАН.
Во время визита Анастасия Леонидовна рассказала школьникам об образовательной программе и провела интерактивную викторину на тему искусственного интеллекта.
На встрече присутствовали около 50 человек: ученики 11,10 и 9 классов технической направленности. Ребята проявили большой интерес и активно участвовали в обсуждении.
После разговора с завучем было принято решение о проведении экскурсии для школьников на факультет математики и механики.
23 апреля координатор образовательных программ Анастасия Леонидовна Остапчук презентовала образовательную программу бакалавриата «Искусственный интеллект и наука о данных» от СПбГУ, которая реализуется совместно со Сбером и СПб ФИЦ РАН.
Во время визита Анастасия Леонидовна рассказала школьникам об образовательной программе и провела интерактивную викторину на тему искусственного интеллекта.
На встрече присутствовали около 50 человек: ученики 11,10 и 9 классов технической направленности. Ребята проявили большой интерес и активно участвовали в обсуждении.
Было здорово окунуться в атмосферу школы, пообщаться с учениками, завучем. Ребята были активные и позитивные. Все время улыбались, задавали вопросы, в общем зарядили энергией — поделилась Анастасия Леонидовна
После разговора с завучем было принято решение о проведении экскурсии для школьников на факультет математики и механики.
🔥10❤1
Способы поиска сотрудников: эзотерика или искусственный интеллект?
На рынке сложности с наймом сотрудников, поэтому компании стали обращаться к новым необычным методам оценки кандидатов: привлечение астрологов или нумерологов, тестирование на полиграфе.
В вопросах поиска идеального кандидата можно обращаться и к науке. Например, с помощью приложений Лаборатории ТиМПИ «Психологические тесты» и «Предсказание типа личности», разработанных на основе искусственного интеллекта, можно лучше изучить кандидатов и найти идеального. Обращение к приложениям занимает пару минут, при этом прогноз может быть точнее, чем передача кадровых решений «высшим силам»
На рынке сложности с наймом сотрудников, поэтому компании стали обращаться к новым необычным методам оценки кандидатов: привлечение астрологов или нумерологов, тестирование на полиграфе.
Компании готовы оценивать кандидатов по несколько недель в поисках идеального кандидата, некоторые даже водят кандидатов к нумерологам и составляют им гороскопы.
В вопросах поиска идеального кандидата можно обращаться и к науке. Например, с помощью приложений Лаборатории ТиМПИ «Психологические тесты» и «Предсказание типа личности», разработанных на основе искусственного интеллекта, можно лучше изучить кандидатов и найти идеального. Обращение к приложениям занимает пару минут, при этом прогноз может быть точнее, чем передача кадровых решений «высшим силам»
🔥8🤨3💯1👻1
Научный семинар Лаборатории сегодня, 8 мая, в 17:00 (по мск)
🔎 В программе тема про Cargotime
Егор Андреевич Шишкарев расскажет доклад на тему: «Логистический портал Cargotime: прототип сервиса оптимизации стоимости автомобильного маршрута с учётом пользовательских параметров»
Подключиться можно по ссылке, будем всех ждать!
#announcement | #seminar | #students
Егор Андреевич Шишкарев расскажет доклад на тему: «Логистический портал Cargotime: прототип сервиса оптимизации стоимости автомобильного маршрута с учётом пользовательских параметров»
Подключиться можно по ссылке, будем всех ждать!
#announcement | #seminar | #students
Please open Telegram to view this post
VIEW IN TELEGRAM
🎉9🔥2
IT-фестиваль «KODE Waves» в Светлогорске
🤖 Сегодня прошел впервые IT-фестиваль «KODE Waves» в Светлогорске, на котором собрались около 500 специалистов IT-компаний и экспертов со всей России и Беларуси. Участие в фестивале приняли сотрудники Лаборатории ТиМПИ и Сбера.
Одной из главных тем участия стал AI-помощник для ВУЗов, разработанный в рамках реализуемого в Сбере проекта с большой языковой моделью GigaChat. Участники фестиваля не только активно интересовались возможностями помощника, но и с удовольствием приняли участие в интерактивных играх с ним.
🔝 Один из ярких моментов — Максим Викторович и Федор Витальевич имели возможность представить AI-помощник министру цифровых технологий и связи Калининградской области Дараселие Л.Ш. Он проявил живой интерес к продукту, в том числе подписался на него!
Этот фестиваль стал отличной возможностью продемонстрировать достижения развития проектов Лаборатории совместно со Сбером в области искусственного интеллекта.
#Конференции
Одной из главных тем участия стал AI-помощник для ВУЗов, разработанный в рамках реализуемого в Сбере проекта с большой языковой моделью GigaChat. Участники фестиваля не только активно интересовались возможностями помощника, но и с удовольствием приняли участие в интерактивных играх с ним.
Этот фестиваль стал отличной возможностью продемонстрировать достижения развития проектов Лаборатории совместно со Сбером в области искусственного интеллекта.
#Конференции
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥13🎉4❤2