Оценка стоимости обучения известных моделей из отчета Stanford 2024 AI Index Report
Зацените разрыв: обучить оriginal transformer в 2017 стоило $930, а потом началось…
GPT-3 - $4.3M
GPT-4 - $78.4M
Gemini Ultra - $191.4M
Кстати, новой Llama-3 здесь нет, ее обучение стоило Meta $100M. Да, больше чем GPT-4.
Зацените разрыв: обучить оriginal transformer в 2017 стоило $930, а потом началось…
GPT-3 - $4.3M
GPT-4 - $78.4M
Gemini Ultra - $191.4M
Кстати, новой Llama-3 здесь нет, ее обучение стоило Meta $100M. Да, больше чем GPT-4.
🤯68👍6❤4🔥2👏1👀1
Data Secrets
Amazon закрывают магазины Just Walk Out (те самые берешь и уходишь) Дело в том, что технология не возымела спрос у крупных ретейлеров. Ну хотя «технология» – сказано громко. Еще год назад выяснилось, что ИИ там никакого нет, и записи с камер вручную обрабатывают…
Только закрыли одно, уже начинают продавать другое
Amazon'у все не дает покоя идея умных магазинов. Их технология Just Walk Out c тысячью работников из Индии вместо ИИ провалилась, зато теперь они придумали Dash Cart.
Это умная тележка, которая отслеживает товары и считает общую стоимость продуктов с помощью компьютерного зрения и датчиков. Экран тележки обновляет сумму в реальном времени.
Amazon хочет, чтобы Dash Cart стала сервисом и начинает продавать изобретение торговым сетям. Fresh и Whole Foods уже используют тележки, Price Chopper и Mckeever’s Market пока тестируют новинку.
Amazon'у все не дает покоя идея умных магазинов. Их технология Just Walk Out c тысячью работников из Индии вместо ИИ провалилась, зато теперь они придумали Dash Cart.
Это умная тележка, которая отслеживает товары и считает общую стоимость продуктов с помощью компьютерного зрения и датчиков. Экран тележки обновляет сумму в реальном времени.
Amazon хочет, чтобы Dash Cart стала сервисом и начинает продавать изобретение торговым сетям. Fresh и Whole Foods уже используют тележки, Price Chopper и Mckeever’s Market пока тестируют новинку.
🔥18❤9👍5❤🔥1💯1
MT-bench и почему это важно
Последнее время при сравнении разных LLM все в основном доверяют Chat Arena, хотя оценивание LLM там происходит не по метрикам, а просто на основе слепого голосования людей. А что, по метрикам теперь уже не модно?
Да, не модно, но, оказывается, все-таки есть бенчмарк, который поможет оффлайн оценить результаты на арене. Это MT-bench, который эстимейтит способность модели вести связный и информативный диалог. Правда ведь очевидно, что в основном именно эта метрика влияет на лояльность людей при голосовании?
GPT-4 на MT-bench выбивает 9.32, а новая крошка Llama-3 8B - 8.25. Всего ~1 балл ниже!
Последнее время при сравнении разных LLM все в основном доверяют Chat Arena, хотя оценивание LLM там происходит не по метрикам, а просто на основе слепого голосования людей. А что, по метрикам теперь уже не модно?
Да, не модно, но, оказывается, все-таки есть бенчмарк, который поможет оффлайн оценить результаты на арене. Это MT-bench, который эстимейтит способность модели вести связный и информативный диалог. Правда ведь очевидно, что в основном именно эта метрика влияет на лояльность людей при голосовании?
GPT-4 на MT-bench выбивает 9.32, а новая крошка Llama-3 8B - 8.25. Всего ~1 балл ниже!
👍24❤8🔥7
This media is not supported in your browser
VIEW IN TELEGRAM
«Я думаю, опенсорсить LLM – это как опенсорсить ядерное оружие»
Вот такое внезапное заявление от небезызвестного Джеффри Хинтона. Он призывает правительство запретить модели с открытым исходным кодом.
При этом близкий друг Хинтона, Ян Лекун, напротив, выступает в поддержку опенсорс.
Вот такое внезапное заявление от небезызвестного Джеффри Хинтона. Он призывает правительство запретить модели с открытым исходным кодом.
При этом близкий друг Хинтона, Ян Лекун, напротив, выступает в поддержку опенсорс.
🤔63🤨20🗿16👍10🤯8🤪5🍌4🔥3🌚3🌭3✍1
This media is not supported in your browser
VIEW IN TELEGRAM
И снова Google удивляет нас статьей. На этот раз они придумали ScreenAI для работы с UX продукта
Сеточка умеет все, что касается работы с интерфейсами и инфографикой. Может ответить на вопрос, настраивать навигацию, суммаризовать, аннотировать элементы и вот это все.
🟣 Зачем они это делают? Сейчас ИИ-ассистенты вроде Siri работают с командами типа "позвони" только по четкому алгоритму, и не умеют справляться с ранее неизвестными интерфейсам. То есть, способность модели понимать UX и "пользоваться" сайтами и приложениями может стать ключевой вещью при внедрении ИИ в смартфоны.
🟣 Как это работает? В два этапа - претрейнинг и файнтюнинг. На pt применяется self-supervised learning для генерации меток данных (внутри ViT), которые затем тюнятся на ft на данных, размеченных человеком.
Пока что это просто ресерч проект, и сеточка недоступна для пользования. Надеемся, она поможет компании сделать новый Google Pixel 9 еще ИИнтереснее.
Сеточка умеет все, что касается работы с интерфейсами и инфографикой. Может ответить на вопрос, настраивать навигацию, суммаризовать, аннотировать элементы и вот это все.
Пока что это просто ресерч проект, и сеточка недоступна для пользования. Надеемся, она поможет компании сделать новый Google Pixel 9 еще ИИнтереснее.
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡34👍15🔥9😁1
Microsoft опубликовали Phi-3
Всего там три модели: mini (3.8B), small (7B) и medium (14B). Самая интересная из всех – mini. Эта крошка сравнима со старой версией GPT-3.5, Llama-3 8b и Mixtral 8x7b.
На бенчмарке MT-bench, который мы вчера обсуждали, моделька выбивает аж 8.38! При этом модель настолько мала, что ее можно запускать даже локально на телефоне. Тех.репорт про Phi-3 так и называется: A Highly Capable Language Model Locally on Your Phone.
Как говорят сами ученые: «The innovation lies entirely in our dataset for training». То есть, такого результата удалось добиться только за счет грамотной доработки и фильтрации данных, на которых училась предыдущая модель phi-2.👏
Всего там три модели: mini (3.8B), small (7B) и medium (14B). Самая интересная из всех – mini. Эта крошка сравнима со старой версией GPT-3.5, Llama-3 8b и Mixtral 8x7b.
На бенчмарке MT-bench, который мы вчера обсуждали, моделька выбивает аж 8.38! При этом модель настолько мала, что ее можно запускать даже локально на телефоне. Тех.репорт про Phi-3 так и называется: A Highly Capable Language Model Locally on Your Phone.
Как говорят сами ученые: «The innovation lies entirely in our dataset for training». То есть, такого результата удалось добиться только за счет грамотной доработки и фильтрации данных, на которых училась предыдущая модель phi-2.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍50🔥15❤10⚡1👏1🤯1
Любителям визуализаций: продолжаем серию красивых графиков, посвященных LLM
На этот раз у нас количество параметров. Оцените разницу между GPT3.5 и GPT4. На график скоро можно будет дорисовать:
Amazon Olympus 2 - обещают в августе 2024
Grok 2 - 2025
Llama 3 405B - все еще тренируется
Gemini 2 - ноябрь 2024
GPT-5 - soon…
График с длиной контекста, ценой и рейтингом на чат-бот арене
График со стоимостями обучения
На этот раз у нас количество параметров. Оцените разницу между GPT3.5 и GPT4. На график скоро можно будет дорисовать:
Amazon Olympus 2 - обещают в августе 2024
Grok 2 - 2025
Llama 3 405B - все еще тренируется
Gemini 2 - ноябрь 2024
GPT-5 - soon…
График с длиной контекста, ценой и рейтингом на чат-бот арене
График со стоимостями обучения
👍29🔥7❤5
Llama3 8b уже запускают (видео 1) и файнтюнят (видео 2 с использованием LoRA на MLX) на айфонах. Без интернета, на чистых мощностях телефона.
Скоро у них руки и до нового малыша phi-3 дойдут. Подробнее об этой модели мы рассказывали вчера.
Скоро у них руки и до нового малыша phi-3 дойдут. Подробнее об этой модели мы рассказывали вчера.
🔥50🤯25❤6👍4⚡3
Как болтали первые языковые модели
Самой древней языковой моделью (1966) считается ELIZA, которая, ориентируясь на ключевые слова, имитировала психотерапевта. Точнее, она просто задавала уточняющие вопросы. Например: "Я расстроен" – "Почему ты расстроен?". Все было запрограммированно по шаблону.
В 1972 в пару к ELIZA появился PARRY, который также был шаблонным, но "обучен" был моделировать поведение параноидального шизофреника – уклоняться от ответов и переводить тему.
А потом... ELIZA и PARRY поговорили. Представляете этот диалог? Хотя и представять не надо – его фрагменты можно найти здесь. В конце не хватает только "Спасибо, с вас 10 тысяч".
Самой древней языковой моделью (1966) считается ELIZA, которая, ориентируясь на ключевые слова, имитировала психотерапевта. Точнее, она просто задавала уточняющие вопросы. Например: "Я расстроен" – "Почему ты расстроен?". Все было запрограммированно по шаблону.
В 1972 в пару к ELIZA появился PARRY, который также был шаблонным, но "обучен" был моделировать поведение параноидального шизофреника – уклоняться от ответов и переводить тему.
А потом... ELIZA и PARRY поговорили. Представляете этот диалог? Хотя и представять не надо – его фрагменты можно найти здесь. В конце не хватает только "Спасибо, с вас 10 тысяч".
👍39🔥8❤5
This media is not supported in your browser
VIEW IN TELEGRAM
Они растут так быстро 🥲
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥108😁20👍12❤8🤨4
В Photoshop только что вышел Firefly 3. Можно догенерировать что угодно в любом месте на фото, поменять фон, одежду, удалить что-нибудь и так далее.
Помимо обработки, Firefly умеет генерировать изображения с нуля. В сообществе уже сравнили эту способность модели с предыдущей версией и MidJorney. Давайте сравним и мы👇
Помимо обработки, Firefly умеет генерировать изображения с нуля. В сообществе уже сравнили эту способность модели с предыдущей версией и MidJorney. Давайте сравним и мы
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤36🔥14👍7
Приз зрительских симпатий достается…
Anonymous Poll
56%
Midjourney 6
20%
Midjourney 5.2
3%
Firefly 2
20%
Firefly 3
👍14🔥6😁5❤1
Завезли PyTorch 2.3!
В релизе зафиксировано 3393 изменений. Вот блогпост с их подробными описаниями. Основное:
– Поддержка пользовательских Triton ядер в torch.compile. Позволяет переносить кастомные ядра без потери производительности.
– Представили Tensor Parallel API, с помощью которого можно еще эффективнее обучать LLM.
– Добавили полуструктурированную разреженность на матрицах (torch.sparse.SparseSemiStructuredTensor), которая ускоряет операции умножения. Кайф для квантования.
В релизе зафиксировано 3393 изменений. Вот блогпост с их подробными описаниями. Основное:
– Поддержка пользовательских Triton ядер в torch.compile. Позволяет переносить кастомные ядра без потери производительности.
– Представили Tensor Parallel API, с помощью которого можно еще эффективнее обучать LLM.
– Добавили полуструктурированную разреженность на матрицах (torch.sparse.SparseSemiStructuredTensor), которая ускоряет операции умножения. Кайф для квантования.
👍33🥰10❤7😐3😎2