Microsoft опубликовали Phi-3
Всего там три модели: mini (3.8B), small (7B) и medium (14B). Самая интересная из всех – mini. Эта крошка сравнима со старой версией GPT-3.5, Llama-3 8b и Mixtral 8x7b.
На бенчмарке MT-bench, который мы вчера обсуждали, моделька выбивает аж 8.38! При этом модель настолько мала, что ее можно запускать даже локально на телефоне. Тех.репорт про Phi-3 так и называется: A Highly Capable Language Model Locally on Your Phone.
Как говорят сами ученые: «The innovation lies entirely in our dataset for training». То есть, такого результата удалось добиться только за счет грамотной доработки и фильтрации данных, на которых училась предыдущая модель phi-2.👏
Всего там три модели: mini (3.8B), small (7B) и medium (14B). Самая интересная из всех – mini. Эта крошка сравнима со старой версией GPT-3.5, Llama-3 8b и Mixtral 8x7b.
На бенчмарке MT-bench, который мы вчера обсуждали, моделька выбивает аж 8.38! При этом модель настолько мала, что ее можно запускать даже локально на телефоне. Тех.репорт про Phi-3 так и называется: A Highly Capable Language Model Locally on Your Phone.
Как говорят сами ученые: «The innovation lies entirely in our dataset for training». То есть, такого результата удалось добиться только за счет грамотной доработки и фильтрации данных, на которых училась предыдущая модель phi-2.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍50🔥15❤10⚡1👏1🤯1
Любителям визуализаций: продолжаем серию красивых графиков, посвященных LLM
На этот раз у нас количество параметров. Оцените разницу между GPT3.5 и GPT4. На график скоро можно будет дорисовать:
Amazon Olympus 2 - обещают в августе 2024
Grok 2 - 2025
Llama 3 405B - все еще тренируется
Gemini 2 - ноябрь 2024
GPT-5 - soon…
График с длиной контекста, ценой и рейтингом на чат-бот арене
График со стоимостями обучения
На этот раз у нас количество параметров. Оцените разницу между GPT3.5 и GPT4. На график скоро можно будет дорисовать:
Amazon Olympus 2 - обещают в августе 2024
Grok 2 - 2025
Llama 3 405B - все еще тренируется
Gemini 2 - ноябрь 2024
GPT-5 - soon…
График с длиной контекста, ценой и рейтингом на чат-бот арене
График со стоимостями обучения
👍29🔥7❤5
Llama3 8b уже запускают (видео 1) и файнтюнят (видео 2 с использованием LoRA на MLX) на айфонах. Без интернета, на чистых мощностях телефона.
Скоро у них руки и до нового малыша phi-3 дойдут. Подробнее об этой модели мы рассказывали вчера.
Скоро у них руки и до нового малыша phi-3 дойдут. Подробнее об этой модели мы рассказывали вчера.
🔥50🤯25❤6👍4⚡3
Как болтали первые языковые модели
Самой древней языковой моделью (1966) считается ELIZA, которая, ориентируясь на ключевые слова, имитировала психотерапевта. Точнее, она просто задавала уточняющие вопросы. Например: "Я расстроен" – "Почему ты расстроен?". Все было запрограммированно по шаблону.
В 1972 в пару к ELIZA появился PARRY, который также был шаблонным, но "обучен" был моделировать поведение параноидального шизофреника – уклоняться от ответов и переводить тему.
А потом... ELIZA и PARRY поговорили. Представляете этот диалог? Хотя и представять не надо – его фрагменты можно найти здесь. В конце не хватает только "Спасибо, с вас 10 тысяч".
Самой древней языковой моделью (1966) считается ELIZA, которая, ориентируясь на ключевые слова, имитировала психотерапевта. Точнее, она просто задавала уточняющие вопросы. Например: "Я расстроен" – "Почему ты расстроен?". Все было запрограммированно по шаблону.
В 1972 в пару к ELIZA появился PARRY, который также был шаблонным, но "обучен" был моделировать поведение параноидального шизофреника – уклоняться от ответов и переводить тему.
А потом... ELIZA и PARRY поговорили. Представляете этот диалог? Хотя и представять не надо – его фрагменты можно найти здесь. В конце не хватает только "Спасибо, с вас 10 тысяч".
👍39🔥8❤5
This media is not supported in your browser
VIEW IN TELEGRAM
Они растут так быстро 🥲
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥108😁20👍12❤8🤨4
В Photoshop только что вышел Firefly 3. Можно догенерировать что угодно в любом месте на фото, поменять фон, одежду, удалить что-нибудь и так далее.
Помимо обработки, Firefly умеет генерировать изображения с нуля. В сообществе уже сравнили эту способность модели с предыдущей версией и MidJorney. Давайте сравним и мы👇
Помимо обработки, Firefly умеет генерировать изображения с нуля. В сообществе уже сравнили эту способность модели с предыдущей версией и MidJorney. Давайте сравним и мы
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤36🔥14👍7
Приз зрительских симпатий достается…
Anonymous Poll
56%
Midjourney 6
20%
Midjourney 5.2
3%
Firefly 2
20%
Firefly 3
👍14🔥6😁5❤1
Завезли PyTorch 2.3!
В релизе зафиксировано 3393 изменений. Вот блогпост с их подробными описаниями. Основное:
– Поддержка пользовательских Triton ядер в torch.compile. Позволяет переносить кастомные ядра без потери производительности.
– Представили Tensor Parallel API, с помощью которого можно еще эффективнее обучать LLM.
– Добавили полуструктурированную разреженность на матрицах (torch.sparse.SparseSemiStructuredTensor), которая ускоряет операции умножения. Кайф для квантования.
В релизе зафиксировано 3393 изменений. Вот блогпост с их подробными описаниями. Основное:
– Поддержка пользовательских Triton ядер в torch.compile. Позволяет переносить кастомные ядра без потери производительности.
– Представили Tensor Parallel API, с помощью которого можно еще эффективнее обучать LLM.
– Добавили полуструктурированную разреженность на матрицах (torch.sparse.SparseSemiStructuredTensor), которая ускоряет операции умножения. Кайф для квантования.
👍33🥰10❤7😐3😎2
Forwarded from XOR
Кстати, компания выложила не только модели, а вообще все, что с ними связано — так они надеются ускорить подготовку ИИ к релизу, а заодно завоевать доверие публики. Все модели предназначены для локальной работы, а самая большая из них, OLMo, обучалась аж на 3 миллиардах токенов.
@xor_journal
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥48👍11❤4🌚2🤨2🙈1
This media is not supported in your browser
VIEW IN TELEGRAM
POV: я и мои шикарно задизайненные A/B тесты
❤57😁48🔥12👍3💋1
Разбираемся с файн-тюнингом, многозадачностью и вот этим всем
Последнее время на собеседованиях набирает популярность вопрос: объясните, чем отличаются Transfer learning, Fine-tuning, Multi-task learning и Federated learning? А что у них общего? Давайте ответим вместе.
Последнее время на собеседованиях набирает популярность вопрос: объясните, чем отличаются Transfer learning, Fine-tuning, Multi-task learning и Federated learning? А что у них общего? Давайте ответим вместе.
🔥64👍19❤6👏1