Там на Hugging Face нашлась тулза, которая оценит, насколько вы «GPU rich» 🤑
Хвастаемся терафлопсами в коментариях
Хвастаемся терафлопсами в коментариях
Please open Telegram to view this post
VIEW IN TELEGRAM
👍27😁7❤5🤝2🔥1😨1
Разбор модели DeepSeekMath: как научить LLM решать математические задачки
Конкурс на Kaggle, в котором можно выиграть миллион долларов, научив LM математике, продолжается. А значит, у нас всех еще есть шанс😉
Чтобы вас немного вдохновить и порадовать, мы приготовили разбор сеточки DeepSeekMath: это лидирующая по количеству использований в этом соревновании и к тому же самая свежая модель, заточенная специально под математические задачи. По качеству догоняет Gemini-Ultra и GPT-4.
Емкая выжимка – в карточках. А более понятное и глубокое объяснение всех этапов, больше метрик и схем вы можете найти в полном разборе на нашем сайте.
Сохраняйте: https://datasecrets.ru/articles/11
Конкурс на Kaggle, в котором можно выиграть миллион долларов, научив LM математике, продолжается. А значит, у нас всех еще есть шанс
Чтобы вас немного вдохновить и порадовать, мы приготовили разбор сеточки DeepSeekMath: это лидирующая по количеству использований в этом соревновании и к тому же самая свежая модель, заточенная специально под математические задачи. По качеству догоняет Gemini-Ultra и GPT-4.
Емкая выжимка – в карточках. А более понятное и глубокое объяснение всех этапов, больше метрик и схем вы можете найти в полном разборе на нашем сайте.
Сохраняйте: https://datasecrets.ru/articles/11
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍41🔥11❤4
Data Secrets
А кстати, чего это Илон так тролит? Ну просто Google немного переборщили с diversity в генерации изображений и теперь третий день ловят насмешки от всего интернета. Даже ванильное мороженое вдруг становится шоколадным, а создатели Google азиатами. А компании…
Google в своем репертуаре. То у них генератор картинок делает ванильное мороженое шоколадным, а английский монархов азиатами, то свежий ИИ-поисковик предлагает самоубийство в качестве лекарства от депрессии.
Анонсированный на Google I/O поисковик с фичей AI Overview на днях раскатили в бета. Но пользователям его качество, мягко скажем, пришлось не по вкусу.
Интернет наполнился странными и нелепыми кейсами ответов нового инструмента. Кому-то он предлагает есть камни, кому-то сброситься с моста.
Google пока ситуацию никак не комментировали.
Анонсированный на Google I/O поисковик с фичей AI Overview на днях раскатили в бета. Но пользователям его качество, мягко скажем, пришлось не по вкусу.
Интернет наполнился странными и нелепыми кейсами ответов нового инструмента. Кому-то он предлагает есть камни, кому-то сброситься с моста.
Google пока ситуацию никак не комментировали.
👍52😁50🗿10❤8🔥4🐳2
К нам пришел ужасный канал — Клуб Анонимных аналитиков.
20 директоров данных из всего русского БигТеха собрались и сделали его.
Ребята не могут писать публично свои эмоции, и поэтому они сделали канал, в котором делятся инсайдами про данные/заказчиков/задачи/инфру и тд! Все пишется анонимно и даже авторы зачастую не знают, кто это пишет. Поэтому в канале царит веселье.
Также они запускают розыгрыш 10-ти билетов на конференцию Aha по продуктовой аналитике и моделированию уровня Senior. Для этого нужно:
🔵 Подписаться на их канал
🔵 Оставить комментарий "Люблю данные и Озон Fintech!" под этим постом
🔵 Активно участвовать в обсуждениях в тредах ребят
20 директоров данных из всего русского БигТеха собрались и сделали его.
Ребята не могут писать публично свои эмоции, и поэтому они сделали канал, в котором делятся инсайдами про данные/заказчиков/задачи/инфру и тд! Все пишется анонимно и даже авторы зачастую не знают, кто это пишет. Поэтому в канале царит веселье.
Также они запускают розыгрыш 10-ти билетов на конференцию Aha по продуктовой аналитике и моделированию уровня Senior. Для этого нужно:
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯10🗿7👍5🤪5
Media is too big
VIEW IN TELEGRAM
Джеффри Хинтон рассказывает про свое первое знакомство с Ильей Суцкевером:
«Это случилось в моем кабинете, в выходные. В дверь очень нетерпеливо постучали и вошел молодой студент. Он сказал, что все лето жарил картошку фри, но теперь предпочел бы работать в моей лаборатории.
Я спросил: «Почему же ты не записался, чтобы поговорить со мной?», на что он ответил «Хорошо, как на счет сейчас?». Это отражает характер Ильи.
Мы поговорили и я дал ему прочитать статью про обратное распространение ошибки. Он пришел через неделю и сказал, что ничего не понял. Я был разочарован и сказал ему, что там нет ничего сложного, это просто цепочка вычислений. От ответил: «О, нет-нет, это я понял. Я не понял, почему вы не используете разумный оптимизатор для градиентов». Над этим вопросом я думал следующие несколько лет. »
This media is not supported in your browser
VIEW IN TELEGRAM
Ну ничего, впереди еще все выходные 😢
Please open Telegram to view this post
VIEW IN TELEGRAM
Отсутствие запретов на удаленку + никаких массовых увольнений + большое количество колабов + монополия на GPU + миллиарды на исследования = увеличение выручки на 1100% за последние 5 лет.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍114🔥33🍓11😁6🦄5🎉3😐2❤1🕊1
Доброе субботнее! Какое настроение на выходные?
Anonymous Poll
13%
KNN - посижу дома (поближе к соседям)
11%
Метод опорных векторов - все сложно
10%
Случайный лес… и шашлыки
22%
Бустинг - займусь саморазвитием
17%
CNN - свернуть все дела и отдохнуть
18%
Трансформер - attention на самое важное
10%
K-means - объединяюсь в кластеры с друзьями
😎47😁35
Data Secrets
Погнали с нами в летнюю школу от НИУ ВШЭ? Представьте: вы, белые ночи, Питер, лекции о машинном обучении от топового вуза. Вы прошли отбор и получили доступ к пяти крутым курсам: - Введение в NLP - Advanced NLP - Computer vision - Speech Recognition -…
Мы тут познакомились с преподавателями летней школы ISSCAI от НИУ ВШЭ, в которой примем участие с 1 по 7 июля, и были приятно шокированы
Встречали когда-нибудь человека, который успел поработать на ведущих ресерч-позициях вообще во всех крупных российских компаниях? Яндекс, Тинькофф, ВК, Сбер, а плюсом к этому куча публикаций, конференций и опыта в преподавании – это мы не про выдуманого супермена, а про вполне реального Ивана Карпухина. В ISSCAI он будет преподавать компьютерное зрение на практике. А если сильно попросить, расскажет, как разрабатывал речевые технологии для Яндекс.Алисы.
Но это не все! Вы не поверите, кто будет читать курс про NLP. Для этого ВШЭ пригласили известного индийского ученого профессора Маусама. Он входит в топ-70 самых влиятельных людей в ИИ. Его опыт в преподавании и ресерче не нуждается в представлении: ведущие университеты мира, более 100 статей, а его книги – это вообще классика.
Одним словом – восторг. Кстати, дедлайн по заявкам ребята продлили до 28 мая. Вы, белые ночи, Питер, лекции о машинном обучении от уникальных спикеров. Не упустите возможность и зарегистрируйтесь сейчас: https://spb.hse.ru/isscai/
Встречали когда-нибудь человека, который успел поработать на ведущих ресерч-позициях вообще во всех крупных российских компаниях? Яндекс, Тинькофф, ВК, Сбер, а плюсом к этому куча публикаций, конференций и опыта в преподавании – это мы не про выдуманого супермена, а про вполне реального Ивана Карпухина. В ISSCAI он будет преподавать компьютерное зрение на практике. А если сильно попросить, расскажет, как разрабатывал речевые технологии для Яндекс.Алисы.
Но это не все! Вы не поверите, кто будет читать курс про NLP. Для этого ВШЭ пригласили известного индийского ученого профессора Маусама. Он входит в топ-70 самых влиятельных людей в ИИ. Его опыт в преподавании и ресерче не нуждается в представлении: ведущие университеты мира, более 100 статей, а его книги – это вообще классика.
Одним словом – восторг. Кстати, дедлайн по заявкам ребята продлили до 28 мая. Вы, белые ночи, Питер, лекции о машинном обучении от уникальных спикеров. Не упустите возможность и зарегистрируйтесь сейчас: https://spb.hse.ru/isscai/
🤯16👍11🔥10🤔1
Длины контекстов у современных LLM становятся все больше. Gemini-1.5 Pro недавно показала рекорд – 2M токенов. Но размер – не главное, и вот почему
Что такое длина контекста? Во время пре-трейна LLMке показывают последовательности определенной длины. Эта длина и становится длиной контекста. Для последовательностей длиннее модель может вести себя непредсказуемо.
У Gemini-1.5 Pro контекст равен 2M токенов, у Claude-3 – 1М, а у GPT-4, обратите внимание, всего 128k. При этом Google на своем рекорде не останавливается и обещает достичь бесконечного контекста. Но... будет ли это полезно?
На самом деле, есть множество исследований, которые показывают, что больший контекст != лучшие результаты:
➡️ Здесь продемонтрировано, что добавление нерелевантного "лишнего" контекста резко ухудшает способности LLM
➡️ Тут доказали, что LLM уделяют наибольшее внимание началу и концу контекста, а середина "теряется"
➡️ А в этой работе показано, что оптимальная длина контекста вообще не означает максимально возможную
Да, пока что прирост контекста дает прирост качества, но это не означает, что при дальнейшем увеличении метрики не выйдут на плато или не начнется их стагнация. Вот так🔵
Что такое длина контекста? Во время пре-трейна LLMке показывают последовательности определенной длины. Эта длина и становится длиной контекста. Для последовательностей длиннее модель может вести себя непредсказуемо.
У Gemini-1.5 Pro контекст равен 2M токенов, у Claude-3 – 1М, а у GPT-4, обратите внимание, всего 128k. При этом Google на своем рекорде не останавливается и обещает достичь бесконечного контекста. Но... будет ли это полезно?
На самом деле, есть множество исследований, которые показывают, что больший контекст != лучшие результаты:
Да, пока что прирост контекста дает прирост качества, но это не означает, что при дальнейшем увеличении метрики не выйдут на плато или не начнется их стагнация. Вот так
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥42
В нем появятся типы данных string, будут ускорены многие функции и улучшено API. Это первое большое обновление библиотеки с 2006 года.
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡213👍33
Новый китайский GPT отвечает в соответствии с политикой партии
С названием тоже все хорошо: Chat Xi PT. Обучена модель на трудах Си Цзиньпиня – действуйющего генерального секретаря ЦК КНР. Чат-бот умеет генерировать текст (очевидно в соответсвии с социалистическими ценностями), переводить с китайского на английский и работает локально на устройстве пользователя.
С названием тоже все хорошо: Chat Xi PT. Обучена модель на трудах Си Цзиньпиня – действуйющего генерального секретаря ЦК КНР. Чат-бот умеет генерировать текст (очевидно в соответсвии с социалистическими ценностями), переводить с китайского на английский и работает локально на устройстве пользователя.
datasecrets.ru
В Китае представили Chat Xi PT — языковую модель, обученную на трудах Си Цзиньпиня | Data Secrets
Нейросеть согласовывает свои ответы с политикой партии
Data Secrets
Верим?
This media is not supported in your browser
VIEW IN TELEGRAM
Илон Маск в 2019: до 2020 наши роботы будут в продаже
Тем временем Optimus в 2024: *перекладывает батареечки, и то не сам*
Илон Маск в 2020: в течение года Tesla будет полностью беспилотной
Tesla в 2024: *может только припарковаться в стену*
Илон Маск в 2024: AGI появится до 2025
Тем временем как на самом деле работает Grok:
Тем временем Optimus в 2024: *перекладывает батареечки, и то не сам*
Илон Маск в 2020: в течение года Tesla будет полностью беспилотной
Tesla в 2024: *может только припарковаться в стену*
Илон Маск в 2024: AGI появится до 2025
Тем временем как на самом деле работает Grok: