Главный RL-ивент Тинькофф + Петербург + Июль = 💛

Этот идеальный комбо AI-команда Тинькофф хочет разделить с комьюнити. Поэтому ребята приглашают на Tinkoff.AI Saint Reinforcenburg 6 июля в Санкт-Петербурге.

Будут говорить о новых исследованиях, которые делали сами и вместе с InstaDeep, а еще о будущем RL. Подробнее на странице митапа. Там же можно зарегистрироваться.

И не забудьте позвать с собой RL-друзей!

​🔥Новый курс: Generative AI with Large Language Models

Сегодня Эндрю Ын аннонсировал на Coursera новый трёхнедельный курс по большим языковым моделям (LLM).

Курс подойдет для все кто хочет в структурированной форме разобраться как работают LLM-ки такие как LLaMa и GPT-4, и как с ними работать. Все лекции в сумме - примерно 15 часов. Преподавать будут 3 эксперта из AWS, которые занимаются LLM на работе и имеют широкий практический опыт.

Вот примеры некоторых тем, которые покрываются курсом:

— RLHF: Reinforcement Learning from Human Feedback (RLHF) - это подход, который помогает согласовать большие языковые модели с предпочтениями людей, что значительно улучшает качество взаимодействия между людьми и этими моделями​​. ChatGPT тоже была обучена с помощью этого подхода.

— Zero-shot, one-shot, и few-shot обучение с LLM: Это обучение моделей на ограниченном количестве примеров. Эта функция появляется примерно начиная с 100M+ параметров. Эффективность модели в zero-shot, one-shot или few-shot режиме кажется масштабируется с размером модели, то есть крупные модели (с большим количеством обучаемых параметров или слоев) обычно более эффективны​​.

— Продвинутый промптинг ReAct: ReAct - это фреймворк, в котором большие языковые модели используются для генерации как логических шагов, так и задачно-ориентированных действий попеременно. Генерация логических шагов позволяет модели формировать, отслеживать и обновлять планы действий, а также обрабатывать исключения​​.

— Fine-tuning LLMs: Fine-tuning ("дообучение") - это процесс адаптации большой языковой модели к конкретной задаче путем ее обучения на меньшем, соответствующем наборе данных​​.

Короче, это топ курс, бесплатно и без СМС! Думаю сам тоже посмотреть.

👁 Записаться на курс на Coursera

@ai_newz

Салют, GigaChat! One Day Offer для NLP инженеров, разработчиков и исследователей уровня Middle/Senior/Senior++ состоится уже 22 июля 📢

А это значит, что всего за один день вы сможете пройти все этапы отбора, познакомиться с командой, забрать оффер и начать работу над нашей большой языковой моделью GigaChat и амбициозными продуктами на его основе.

Чем именно вам предстоит заниматься?

👉 Делать претрейн моделей.

👉 Обучать SOTA модели для решения задач NLP.

👉 Создавать наши основные NLP модели: GigaChat, Intent Recognition, NER, Smart Home и другие.

👉 Делать распознавание и синтез речи, выявлять ключевые слова и шумовые события.

👉 Совершенствовать существующие инструменты ИИ и создавать новые.

👉 Работать в новом кластере с большим числом A100'ых.

Ваши шансы на оффер выше, если у вас есть профильное техническое образование и опыт работы от трех лет. Переходите по ссылке и регистрируйтесь на One Day Offer 💚

🔥Meta зарелизила набор моделей LLaMa-2-Chat разного размера!

Это огромное событие в мире опенсоурса и науки. Коллеги из LLM отдела GenAI выпустили бомбу! LLaMa-2 на 70B параметров сравнима по качетству с GPT-3.5 и даже лучше ее на некоторых бенчмарках.

Это, кстати, первая модель такого размера, затюненая c помощью RLHF, и которую выложили для коммерческого использования БЕСПЛАТНО. Запросить ссылку на скачивание можно тут.

Наконец-то, на базе LLaMa-2-Chat можно строить свои локальные аналоги ChatGPT и не отсылать никаких данных в OpenAI.

LLaMa 2-Chat сравнима по качеству с ChatGPT-3.5 по метрикам human eval, а, например, на математических задачах - даже лучше.

Размер контекста: 4к.
Тренировались модели на 2 триллионах токенов, что в два раза больше чем LLaMa 1.

Больше подробностей в статье

@ai_newz

🆓 Free Courses and Guides for Learning Generative AI

Бесплатные курсы и руководства по изучению генеративного ИИ

1. Building AI Products with OpenAI — Бесплатный курс от CoRise и OpenAI.

2. Подробное руководство по Prompt Engineering by DAIR.AI

3. LLM Bootcamp - Серия бесплатных лекций от The full Stack по созданию и развертыванию приложений LLM.

4. Что такое модели трансформеров и как они работают: Учебное пособие от Cohere AI.

5. Бесплатный курс от Activeloop на LangChain & Vector Databases in Production.

6. Pinecone learning center — Множество полезных гайдов.

7. Build AI Apps with ChatGPT, Dall-E and GPT-4 — бесплатный курс по Scrimba.

8. Gartner Experts Answer the Top Generative AI Questions for Your Enterprise — отчет компании Gartner.

9. GPT best practices: Руководство ****OpenAI, в котором рассказывается о стратегии и тактике получения лучших результатов от GPT.

10. OpenAI cookbook by OpenAI — Примеры и руководства по использованию API OpenAI.

11. Prompt injection explained,

12. Generative AI short courses by DeepLearning.AI — Пять коротких курсов по генеративному ИИ, включая LangChain для разработки LLM-приложений, "Как работают диффузионные модели" и др.

13. Generative AI learning path by Google Cloud - серия из 10 курсов по продуктам и технологиям генеративного ИИ: от основ больших языковых моделей до создания и развертывания генеративного ИИ в Google Cloud.

ai_machinelearning_big_data

Мой товарищ, который делает PhD у нас в GenAI в Лондоне, выпустил классную работу по трекингу пикселей на видео. Результаты говорят сами за себя.

Наконец-то можно забыть, что такое optical flow (он тупой как барабан, т.к. смотрит только на интенсивность цвета и не понимает семантику изображений).

Код и модели доступны на GitHub.

@ai_newz

Аннотированный код

Наткнулся на классный сайт, где собран код некоторых популярных моделей (или их частей), например Stable Diffusion, GPT, Switch Tranformer, MPL-Mixer и др. Весь цимес в том, что каждая строка кода задокументирована, и показаны соответствующие математические формулы.

Будет полезно тем, кто любит начининать изучать модели сразу с кода. Как раз занятие на воскресенье.

На скринах - код DDIM и Adam.

https://nn.labml.ai/

@ai_newz

⚡️🧑‍💻 Awesome AI-Powered Developer Tools

Это список инструментов для разработчиков, основанных на искусственном интеллекте. Эти инструменты используют ИИ для помощи разработчикам в решении таких задач, как написание кода, рефакторинг, отладка, создание документации и т. д.

▪Githib

ai_machinelearning_big_data

Присоединяйтесь к TechTrain 2023 Autumn — онлайн-фестивалю, посвященному машинному обучению и искусственному интеллекту.

В программе — классическое ML, Computer Vision, NLP, ASR, RecSys, LLMs и MLOps. Обязательно будут обсуждения прикладного использования ML на примере конкретных проектов. Обзор таких тем, как графовые модели, генеративные нейросети, AI в разработке и другое.

Участников ждут как актуальные практики применения ML&AI, так и дискуссии со спикерами и экспертами. 

Проводит фестиваль JUG Ru Group — организатор крупных технических IT-конференций и митапов для разработчиков. Дата проведения: 30 августа.

Читайте подробности и регистрируйтесь бесплатно — на сайте.

После взлета популярности ChatGPT медиа не рад озвучивали риски, связанные с ИИ. Но то, что быстрое развитие технологий предоставляет новые возможности для активизма, часто остается в тени.

О том, как активисты могут использовать AI и поговорим на Неконференции «Теплицы» 30 августа.

Эксперты по ИИ расскажут о последних достижениях в области генеративных моделей и их потенциале для гражданских инициатив. Обсудим, как ИИ может помочь разбираться в новостях, проверять информацию и структурировать знания для быстрого обмена.

Регистрируйтесь и присоединяйтесь к разговору
⇛ https://tinyurl.com/te-st-org/events/unconference-ai/

Будем рады, если вы поделитесь с нами вашим опытом использования AI, этот опрос можно пройти анонимно или открыто.

​Эндрю Ын вчера выкатил новый мини-курс: How Business Thinkers Can Start Building AI Plugins With Semantic Kernel

Курс длиной всего в 1 час и рассчитан на новичков - технического мяса там не ожидается. Нужно только знать Python.

Но обещают научить строить пайплайны с LLM, пользоваться памятью и писать плагины для решения бизнес-задач. Работа будет идти на базе Semantic Kernel — это SDK для языковых моделей от Microsoft, что-то похожее на уже известный нам LangChain.

Курс ведёт не хер с горы, а VP of Design and Artificial Intelligence из Microsoft.

Ссылка на курс (временно бесплатно)

@ai_newz

Уникальная возможность углубить свои познания и навыки в области AI и генеративного искусства! 27 и 28 сентября руководитель «Теплицы» Алексей Сидоренко проведет два вебинара по использованию искусственного интеллекта для повседневных задач.

На первом вебинаре поговорим про MidJourney, на втором — про ChatGPT. Разберем самые интересные параметры промтов и как они могут существенно облегчить выполнение рабочих задач. Присоединяйтесь!

Регистрация ➔ https://tinyurl.com/te-st-org/events/generative-ai/

Участие без верификации. Вебинары пройдут в формате Zoom Webinars — участни*цы не могут видеть друг друга.