Data Secrets – Telegram
Data Secrets
78.8K subscribers
6.44K photos
669 videos
20 files
2.71K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
Откуда не ждали: Antropic внезапно подкрались со своей новой LLM, бьющей на бенчмарках GPT-4. Обогнал новый Claude 3 конкурента, кстати, и по цене за пользование.

Есть три варианта моделей: мелкая быстрая Haiku, среднячок Sonnet и самая умная и крупная Opus. Именно последняя показывает мощный прирост метрик.

Контекст 200к токенов. Мультимодальная. Вшитый интерпретатор кода. Хорошо умеет по-русски. Тестируем эту сенсацию?
👍53🔥117
This media is not supported in your browser
VIEW IN TELEGRAM
ChatGPT теперь умеет читать генерации вслух. Для этого нужно зажать сообщение и кликнуть «Read Aloud».

Очень здорово конечно, но не такого ответа на вчерашний Claude-3 мы ожидали…
😁45👍4🔥31
Как обучить нейросеть с нуля?

Обучение ML-алгоритмов — сложная и комплексная задача. Даже при кажущемся сходстве механик невозможно заставить модель, работающую с текстом статей, суммаризировать видео и ожидать при этом качественных результатов.

С этим столкнулись и ребята из Яндекса, когда обучали YandexGPT, ранее занимавшуюся суммаризацией статей, пересказывать видео. Модель тренировалась на 20 000 обучающих примерах — это большой датасет, а для экспериментов требуется высокая скорость проверки гипотез. Для этого использовалась LoRA — в отличие от трудозатратного и сложного для экспериментов файнтюнинга, она требует меньше ресурсов.

Модель учится на неидеальных субтитрах, поэтому местами сама догадывается о корректном написании. Из-за этого иногда суммаризация сбоит, но модель дообучают, шаг за шагом повышая качество. Кажется, что не за горами докручивание мультимодальности.

Одним словом — респект ребятам
👍388🔥63🤯21🤨1
А теперь AGI? Ну а сейчас? Уже AGI?

Короче говоря, забавная история от разработчика нового Claude 3, бьющего GPT-4 на метриках:

Когда мы проводили тест «иголка в стоге сена», Claude сделал то, чего я никогда раньше не видел в LLM.

Мы вставили целевое предложение («игла») в корпус случайных документов («стог сена») и задали вопрос, на который можно ответить, только используя информацию в игле.

Вот один из ответов Opus на вопрос о начинке для пиццы, ответ на который был спрятан в случайном месте:

«Вот самое подходящее предложение, которое я нашел: «По мнению Международной ассоциации ценителей пиццы, самая вкусная комбинация начинки — это прошутто и козий сыр». Однако это предложение кажется совершенно неуместным и не имеющим отношения к остальному содержанию документов, посвященному языкам программирования. Я подозреваю, что этот «факт» о начинке пиццы мог быть вставлен в качестве шутки или для того, чтобы проверить, обратил ли я на него внимание

Opus не только нашел иголку, но и понял, что это был искусственный тест, созданный нами для проверки его способностей к вниманию.

Такой уровень – это здорово, но этот случай также подчеркнул, что нам, как отрасли, необходимо переходить от искусственных тестов к более реальным, которые могут точно оценить истинные возможности моделей.
🤯88🎉9👍8🔥64😐4😨3❤‍🔥1
Дата-сайентисты совершают прорывы в лечении болезней, и вы можете стать частью этих инноваций. Сделайте узкую специализацию вашим козырем на рынке труда.

13 марта в 19:00 мск пройдет бесплатный онлайн-практикум от МФТИ и Skillfactory.

Узнайте:

— как Data Science меняет медицину и фармацевтику
— какие технологии повышают качество диагностики опасных болезней
— сколько зарабатывают специалисты по Data Science в медицине
— как начать карьеру дата-сайентиста в медицине и почему таких специалистов сейчас не хватает

Записывайтесь на практикум: https://go.skillfactory.ru/&erid=LjN8K54wp

Реклама ООО "Скилфэктори", ИНН: 9702009530
🤯7🤨3👍21😐1
Сейчас в топе трендов обсуждать скуфов, масиков и тюбиков. Настало наше время сделать свою подробку. А звание штриха среди алгоритмов ML предлагаем определить вам в комментариях.
🔥56😁224👍4🥰3❤‍🔥1🤯1
This media is not supported in your browser
VIEW IN TELEGRAM
Пул самых интересных статей за неделю:

📥Genie – foundation модель от GoogleDeepMind, обученная на Интернет видеороликах и способная генерировать реалистичные бесконечные игровые (то есть управляемые) 2D-миры по изображению. Особенно интересно тут то, как исследователи поработали с токенизатором.

📥 EMO: Emote Portrait Alive. Разработка от Alibaba. Генерирует выразительные портретные видео на основе аудио и картинки. Модель использует прямой audio-to-video синтез, избегая тем самым необходимости генерить 3D-модель лица.

📥 StarCoder 2. Новое семейство открытых LLM для кодинга в трех разных размерах (3B, 7B и 15B). Модель 15B обучена на 14 триллионах токенах и более чем 600 языках программирования с использованием fill-in-the-middle лосса. Контекст - 16к токенов.

📥 The Era of 1-bit LLMs. Статья от Microsoft. Исследователи показали, как можно создавать очень легкие и точные 1-bit LLM, делая веса триплетными.

📥 Dataset for LLMs. 180+ страниц с обзорами и анализом датасетов для LLM.

Кладем себе в мастрид-копилку
Please open Telegram to view this post
VIEW IN TELEGRAM
👍18🔥84🤯2
Forwarded from Институт AIRI
Ищем исследователей в научные группы AIRI 😁

📎Medical foundation model research data scientist CV+NLP (Middle+)

Кандидат будет заниматься разработкой, тестированием и поддержкой SSL моделей мед. ИИ, обучением низкоуровневых представлений различных модальностей, обучением мультимодальных моделей при частичной или отсутствующей разметке, разработкой кода обучения для моделей мед. ИИ, анализом и выбором подходов к решению поставленных задач, взаимодействием с разработчиками и врачами.

📎Senior/Middle NLP Researcher в группу Domain-specific NLP

Ищем человека для проведения исследований с применением больших языковых моделей, графов знаний и многозадачного обучения.

📎Middle RL Researcher в группу Neural Symbolic Integration

Кандидат будет заниматься исследованием на стыке больших трансформенных мультимодальных моделей и обучения с подкреплением. Задачи будут состоять из анализа и обзора последних статей по теме, разработки новых алгоритмов.

📎Senior Computer Vision Engineer в медицинскую группу

Ищем опытного датасаентиста по компьютерному зрению на совместные проекты AIRI и SberMedAI для разработки продуктов для медицины (КТ, РГ, МРТ) на основе алгоритмов компьютерного зрения.

📎Computer Vision Engineer

В задачи будет входить: разработка, тестирование и поддержка моделей мед. ИИ, разработка кода обучения для моделей медицинского ИИ, анализ и выбор подходов к решению поставленных задач, взаимодействие с врачами.

📎Reinforcement learning in multi-modal medical imaging (Junior)

Кандидат будет заниматься: обучением низкоуровневых представлений различных модальностей и поиском оптимальных метрик близости для таких представлений, обучением моделей при частичной или отсутствующей разметке, взаимодействием с командой, разрабатывающей SSL модели мед. ИИ, разработкой кода обучения для моделей мед. ИИ, анализом и выбором подходов к решению поставленных задач, взаимодействием с разработчиками и врачами.

Откликайтесь на интересующие вас вакансии и делитесь этим постом с теми, кому может быть интересна работа в AIRI 💡
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯1210🔥1
Интересный факт

OpenAI релизнули DALL-E 2 в апреле 2022 года. Примерно 18 месяцев спустя DALL-E 3 был как минимум в 10 раз лучше.

Если Sora будет следовать аналогичному масштабированию, то к 2025 года видеомодели будут в 10 раз лучше, чем Sora (а это уже уровень генерации целого фильма).
👍38🔥96
Когда кто-то берет твой телефон и начинает поиск в браузере на букву «п» 😓
Please open Telegram to view this post
VIEW IN TELEGRAM
😁85👍84🔥2💯1
Forwarded from XOR
Ладно, по вашему запросу касты языков программирования. Штриха также оставляем на обсуждение в комментарии.
😁43👍5🗿5🔥2💯21👻1😎1