Хотите обучить LLM под свою задачу?
Здесь автор написал достаточно ёмкую статью на тему обучения "Сайги".
Описал оформление промптов, что означают служебные токены.
Думаю, это будет полезно больше тем, кто ещё не успел освоиться в NLP, и некоторые вещи станут понятней.
Но тем не менее, можно также держать, как удобное руководство "под боком".
Здесь автор написал достаточно ёмкую статью на тему обучения "Сайги".
Описал оформление промптов, что означают служебные токены.
Думаю, это будет полезно больше тем, кто ещё не успел освоиться в NLP, и некоторые вещи станут понятней.
Но тем не менее, можно также держать, как удобное руководство "под боком".
Хабр
Дообучение saiga2_7b_lora
Всем привет дорогие читатели! В данном руководстве я бы хотел рассказать и показать вам, как дообучить 7-миллиардную модель Сайги Ильи Гусева @Takagi под свои задачи. Данная статья является...
👍10🔥3
Недавно у меня состоялся опыт эксперта на хакатоне.
Достаточно интересно было оказаться по другую сторону баррикад, и почувствовал себя проверяющим творчества команд.
Задача у участников состояла в обнаружении оружия в руках человека.
Были разные решения, и меня радовали некоторые оригинальные подходы к подготовке и сбору датасетов. Думаю, это самое интересное, что было в работах, потому что в техническом плане практически во всех работах ощущал дежавю, где видел Yolo v8.
Можно понять. У ребят времени не так много было, а рабочее решение нужно сделать.
Зато победители действительно приятно удивили проработкой решения. Получилось интересно :)
Достаточно интересно было оказаться по другую сторону баррикад, и почувствовал себя проверяющим творчества команд.
Задача у участников состояла в обнаружении оружия в руках человека.
Были разные решения, и меня радовали некоторые оригинальные подходы к подготовке и сбору датасетов. Думаю, это самое интересное, что было в работах, потому что в техническом плане практически во всех работах ощущал дежавю, где видел Yolo v8.
Можно понять. У ребят времени не так много было, а рабочее решение нужно сделать.
Зато победители действительно приятно удивили проработкой решения. Получилось интересно :)
👍9👏3🔥1
На просторах комьюнити нашел интересный бесплатный курс по LLM.
Здесь не про промпт-инженииринг, а как раз про обучение, файнтюнинг, квантизацию и тд моделей.
Видел там примеры работы с LLama 2, Mistral и GPT-2.
Судя по всему, курс будет обновляться.
Как по мне, очень здорово и удобно.
Берите и образовывайтесь☀️ ♥️
Здесь не про промпт-инженииринг, а как раз про обучение, файнтюнинг, квантизацию и тд моделей.
Видел там примеры работы с LLama 2, Mistral и GPT-2.
Судя по всему, курс будет обновляться.
Как по мне, очень здорово и удобно.
Берите и образовывайтесь
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
GitHub - mlabonne/llm-course: Course to get into Large Language Models (LLMs) with roadmaps and Colab notebooks.
Course to get into Large Language Models (LLMs) with roadmaps and Colab notebooks. - mlabonne/llm-course
🔥11
Друзья, завтра от Яндекс.Практикума будет проходить карьерный баттл в рамках конференции YaTalks2023.
Я там буду участвовать с 18:30 до 19 часов.
Всё проходит в Кластере Ломоносов.
Буду рад встречам☀️
Я там буду участвовать с 18:30 до 19 часов.
Всё проходит в Кластере Ломоносов.
Буду рад встречам
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Forwarded from big tech night
Москва
Проведём воркшопы по разным направлениям. Попасть на них можно без записи — просто выбирайте понравившийся в расписании на сайте и приходите.
Во время конференции будут работать тематические пространства от Яндекса, партнёров и независимых IT-сообществ.
💠 Яндекс Team Space. В этой зоне можно попробовать на вкус плюшки Яндекса,
получить карьерную консультацию от HR-эксперта, испытать удачу в игре для умниц и умников и забрать с собой мерч.
💠 Yandex Space. Пространство со стендами Яндекса: Yandex Cloud, Yandex Infrastructure, Яндекс 360, Яндекс Go, Яндекс Плюс, Яндекс Финтех, Яндекс Реклама, Шедеврум, Алиса.
Пообщаетесь с разработчиками продуктов, попробуете себя в решении технических задач, примете участие в квизе по Computer Vision, поиграете в настольные игры.
А ещё посмотрите VR-клип с актёрами сериала «Король и Шут» и угадаете фильмы вместе с Кинопоиском.
💠 Yandex for Developers. В этом пространстве вас ждут новые знакомства, мероприятия и нетворкинг с участниками от партнёров и независимых IT-комьюнити.
Представители AvitoTech и Тинькофф устроят разборы кейсов и дискуссии. Positive Technologies познакомят участников в чат-боте конференции и помогут наладить POSIтивное общение в местах встреч. А зарядиться атмосферой можно будет в IT-баре с коктейлями от Райффайзен Банка.
Чтобы поближе узнать участников из Moscow Python, MoscowJS, DotNetRu, Московского клуба программистов и других комьюнити, организуем IT Speed Dating — быстрые знакомства в перерывах между докладами.
🗓️ 5 декабря — лайвкодинг от Yandex Open Source
Будем писать код вместе с командами опенсорс-проектов Яндекса: Diplodoc, YDB, Userver и Gravity UI. Участники, чей код команды возьмут в разработку, получат подарки.
🗓️ 6 декабря — карьерный батл от Яндекс Практикума
В формате дебатов обсудим тему развития карьеры в IT: затронем острые вопросы и послушаем мнения программистов. Участники получат рюкзаки и стикеры.
Регистрация на конференцию закроется сегодня в 23:59 мск. Присоединяйтесь!
Зарегистрироваться бесплатно
Проведём воркшопы по разным направлениям. Попасть на них можно без записи — просто выбирайте понравившийся в расписании на сайте и приходите.
Во время конференции будут работать тематические пространства от Яндекса, партнёров и независимых IT-сообществ.
💠 Яндекс Team Space. В этой зоне можно попробовать на вкус плюшки Яндекса,
получить карьерную консультацию от HR-эксперта, испытать удачу в игре для умниц и умников и забрать с собой мерч.
💠 Yandex Space. Пространство со стендами Яндекса: Yandex Cloud, Yandex Infrastructure, Яндекс 360, Яндекс Go, Яндекс Плюс, Яндекс Финтех, Яндекс Реклама, Шедеврум, Алиса.
Пообщаетесь с разработчиками продуктов, попробуете себя в решении технических задач, примете участие в квизе по Computer Vision, поиграете в настольные игры.
А ещё посмотрите VR-клип с актёрами сериала «Король и Шут» и угадаете фильмы вместе с Кинопоиском.
💠 Yandex for Developers. В этом пространстве вас ждут новые знакомства, мероприятия и нетворкинг с участниками от партнёров и независимых IT-комьюнити.
Представители AvitoTech и Тинькофф устроят разборы кейсов и дискуссии. Positive Technologies познакомят участников в чат-боте конференции и помогут наладить POSIтивное общение в местах встреч. А зарядиться атмосферой можно будет в IT-баре с коктейлями от Райффайзен Банка.
Чтобы поближе узнать участников из Moscow Python, MoscowJS, DotNetRu, Московского клуба программистов и других комьюнити, организуем IT Speed Dating — быстрые знакомства в перерывах между докладами.
🗓️ 5 декабря — лайвкодинг от Yandex Open Source
Будем писать код вместе с командами опенсорс-проектов Яндекса: Diplodoc, YDB, Userver и Gravity UI. Участники, чей код команды возьмут в разработку, получат подарки.
🗓️ 6 декабря — карьерный батл от Яндекс Практикума
В формате дебатов обсудим тему развития карьеры в IT: затронем острые вопросы и послушаем мнения программистов. Участники получат рюкзаки и стикеры.
Регистрация на конференцию закроется сегодня в 23:59 мск. Присоединяйтесь!
Зарегистрироваться бесплатно
Посмотрите, красотища какая!
Визуализация LLM-моделей. Плюс пояснения по устройству трансформера в комплекте:)
Визуализация LLM-моделей. Плюс пояснения по устройству трансформера в комплекте:)
bbycroft.net
LLM Visualization
A 3D animated visualization of an LLM with a walkthrough.
🔥7👍2
Бойтесь не того, кто знает 10000 алгоритмов машинного обучения, а того, кто использует один 10000 раз. 😑
😁6❤2👍1🤔1😈1
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9
Встретилась статья на хабре про многоруких байесовских бандитов.
Достаточно интересно и хорошо автор рассказал про них, и что особенно радует, подсветил контекстных бандитов.
Зачем они нужны, каков общий принцип построения, и зачем там могут быть применены нейронные сети.
В общем, полезный материал для ознакомления.
Приятного чтения☀️
Достаточно интересно и хорошо автор рассказал про них, и что особенно радует, подсветил контекстных бандитов.
Зачем они нужны, каков общий принцип построения, и зачем там могут быть применены нейронные сети.
В общем, полезный материал для ознакомления.
Приятного чтения
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
Контекст, награда, много рук. Многорукие бандиты как метод принятия решений
Всем привет! В предыдущих двух статьях мы подробно рассмотрели технические и методологические аспекты A/B-тестирования в Ozon. А сейчас время перейти к не менее интересным темам. Так как наша...
👍7
Я думаю, пост поздравлений ожидаемый на многих каналах, и мой - не исключение ☺️
Но, конечно, в первую очередь стоит вспомнить, а что было за этот год.
Вспоминая о нём, с профессиональной точки зрения - это год конференций и множества публичных активностей (насчитал 9 штук), выросшего количества проектов, организации, партнерства.
Обычно принято вспоминать лишь успехи, но как бывает, конечно, было много событий, которые требовали от меня смелости и настойчивости. Не всё удалось воплотить, что хотел, но обязательно выполню уже в рамках следующего года.
Работая над своим алгоритмом обучения, я сильно продвинулся по нему, хотя раньше казалось, что вот-вот уже завершаю, то сейчас деталей стало ещё больше, и творю его уже спокойно, без спешки, видя лишь тот образ, к которому я его веду.
Если смотреть на мою команду, то удалось выявить сильных ребят, и сейчас они работают со мной. Мне радостно смотреть, как они растут от проекта к проекту, и это настоящие таланты. Я уверен, что мне повезло работать с такими ребятами.
В образовании у меня появилось представление, чего я хочу воплотить, и стремлюсь расписать план большого курса, что буду с командой разрабатывать. Сейчас видение такое, что будет выходить по модулям, где в каком будет интересный и уникальный проект для каждого участника или команд из участников. Об этом уже в следующем году :)
Подводя итог я скажу, что год был непростой для меня, но прекрасным - это 💯 %.
Сильно вырос во всех отношениях, и радует, что это не предел, и мне предстоит ещё долгий путь, где конца не вижу. Раньше пугало, теперь больше радует такое.
И, наконец, я хочу поблагодарить всех, кто подписан на мой канал, следит за публикациями, комментирует, общается, поддерживает и критикует.
Вы создаете движение внутри, это круто!
Я каждому из вас желаю исполнение всех мечт и планов в грядущем году. Пусть вам и всем дорогим вам людей будет сопутствовать удача и чудеса постоянно, а сами будете счастливы.
Будьте здоровы, и позволяйте себе отдыхать!
С наступающим 2024 годом! 🎅🏽
Но, конечно, в первую очередь стоит вспомнить, а что было за этот год.
Вспоминая о нём, с профессиональной точки зрения - это год конференций и множества публичных активностей (насчитал 9 штук), выросшего количества проектов, организации, партнерства.
Обычно принято вспоминать лишь успехи, но как бывает, конечно, было много событий, которые требовали от меня смелости и настойчивости. Не всё удалось воплотить, что хотел, но обязательно выполню уже в рамках следующего года.
Работая над своим алгоритмом обучения, я сильно продвинулся по нему, хотя раньше казалось, что вот-вот уже завершаю, то сейчас деталей стало ещё больше, и творю его уже спокойно, без спешки, видя лишь тот образ, к которому я его веду.
Если смотреть на мою команду, то удалось выявить сильных ребят, и сейчас они работают со мной. Мне радостно смотреть, как они растут от проекта к проекту, и это настоящие таланты. Я уверен, что мне повезло работать с такими ребятами.
В образовании у меня появилось представление, чего я хочу воплотить, и стремлюсь расписать план большого курса, что буду с командой разрабатывать. Сейчас видение такое, что будет выходить по модулям, где в каком будет интересный и уникальный проект для каждого участника или команд из участников. Об этом уже в следующем году :)
Подводя итог я скажу, что год был непростой для меня, но прекрасным - это 💯 %.
Сильно вырос во всех отношениях, и радует, что это не предел, и мне предстоит ещё долгий путь, где конца не вижу. Раньше пугало, теперь больше радует такое.
И, наконец, я хочу поблагодарить всех, кто подписан на мой канал, следит за публикациями, комментирует, общается, поддерживает и критикует.
Вы создаете движение внутри, это круто!
Я каждому из вас желаю исполнение всех мечт и планов в грядущем году. Пусть вам и всем дорогим вам людей будет сопутствовать удача и чудеса постоянно, а сами будете счастливы.
Будьте здоровы, и позволяйте себе отдыхать!
С наступающим 2024 годом! 🎅🏽
👍12❤4🔥3
Первый пост в этом году :)
И будет он посвящен не напрямую теме искусственного интеллекта, а тому, что может быть важным для большинства из нас - планирование.
Автор написал интересную статью посвященную этому.
Почему это важно?
Вы выделяете свои ресурсы туда, куда действительно важно для вас. Более того, вы отслеживаете не только то, куда вкладываете ресурсы, но и как их восстанавливаете.
Это очень важно, особенно, когда вы ставите большие цели перед собой.
Я не могу сказать, что статья исчерпывающая, но как точка отправки в исследовании и практике планирования - это хорошо.
Как раз, год только начался, и если вы ничего не планировали, то прекрасное время начать :)
И будет он посвящен не напрямую теме искусственного интеллекта, а тому, что может быть важным для большинства из нас - планирование.
Автор написал интересную статью посвященную этому.
Почему это важно?
Вы выделяете свои ресурсы туда, куда действительно важно для вас. Более того, вы отслеживаете не только то, куда вкладываете ресурсы, но и как их восстанавливаете.
Это очень важно, особенно, когда вы ставите большие цели перед собой.
Я не могу сказать, что статья исчерпывающая, но как точка отправки в исследовании и практике планирования - это хорошо.
Как раз, год только начался, и если вы ничего не планировали, то прекрасное время начать :)
Хабр
Тебе нужна своя стратегия
Летом 2023 года я поймал себя на мысли, что ничего не хочу. Куча планов и целей, а как к ним подступиться и с чего начать — не понятно. Сразу с фактов: На 2023 год я запланировал 12 целей. Выполнил...
👍3❤2
Всем привет, друзья!
Кто из Екатеринбурга или собирается, буду рад видеть в первых числах февраля☀️
Кто из Екатеринбурга или собирается, буду рад видеть в первых числах февраля
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2👍1
Forwarded from PyCon Russia
Роботизированные обзвоны в бизнесе — обычная практика. Но если на том конце провода отвечает автоответчик, то зря тратится не только время, но и деньги. Предприниматель Артур Сапрыкин разобрался с тем, как научить робота за пару секунд распознавать автоответчик, что для этого нужно и какие математические методы приведут к успеху. И, самое главное, сколько это будет стоить.
Приходите на EkbPy послушать его доклад «Распознать за 3 секунды. Узнать автоответчик до тарификации».
Встречаемся в Екатеринбурге 2 февраля. Билеты и вся программа на сайте.
Приходите на EkbPy послушать его доклад «Распознать за 3 секунды. Узнать автоответчик до тарификации».
Встречаемся в Екатеринбурге 2 февраля. Билеты и вся программа на сайте.
👍7
Forwarded from ProIT Fest
Не Промптом же единым!
За тем, что сегодня отрисовывает фантастические авы, составляет идеальное CV и оптимизирует систему тестирования, стоят тысячи R&D часов и люди, для которых наука - это основа всего!
Артур Сапрыкин, спикер прошлогоднего ProIT Fest, исследователь и разработчик в области искусственного интеллекта, предприниматель, автор и преподаватель курсов по машинному обучению, а также автор телеграм-канала Data Magic, в этот раз выступит в 3 секциях фестиваля.
10 февраля в секции HypeLoad Артур встретится с коллегами за круглым столом по теме с обновленным названием «Программирую на ChatGPT», где будут обсуждаться тренды в ИИ.
Также в субботу на секции Боль Артур будет рассуждать о “Боли фундаментальных знаний” и их значимости.
И, наконец - закрепление теории на практике! В субботней секции Help: Hard пройдёт мастер-класс Артура на тему «Модули языковых моделей. Делегирование задач на множество моделей». Артур расскажет, почему завязывать все решения на один только Промпт рисковано. А затем покажет, как можно улучшить результаты работы конечных решений, если разделить общий функционал на множество маленьких подзадач для независимых сессий языковых моделей.
Приходите учиться у лучших и оптимизируйте свою работу!
За тем, что сегодня отрисовывает фантастические авы, составляет идеальное CV и оптимизирует систему тестирования, стоят тысячи R&D часов и люди, для которых наука - это основа всего!
Артур Сапрыкин, спикер прошлогоднего ProIT Fest, исследователь и разработчик в области искусственного интеллекта, предприниматель, автор и преподаватель курсов по машинному обучению, а также автор телеграм-канала Data Magic, в этот раз выступит в 3 секциях фестиваля.
10 февраля в секции HypeLoad Артур встретится с коллегами за круглым столом по теме с обновленным названием «Программирую на ChatGPT», где будут обсуждаться тренды в ИИ.
Также в субботу на секции Боль Артур будет рассуждать о “Боли фундаментальных знаний” и их значимости.
И, наконец - закрепление теории на практике! В субботней секции Help: Hard пройдёт мастер-класс Артура на тему «Модули языковых моделей. Делегирование задач на множество моделей». Артур расскажет, почему завязывать все решения на один только Промпт рисковано. А затем покажет, как можно улучшить результаты работы конечных решений, если разделить общий функционал на множество маленьких подзадач для независимых сессий языковых моделей.
Приходите учиться у лучших и оптимизируйте свою работу!
🔥4👍1