This media is not supported in your browser
VIEW IN TELEGRAM
"Я не буду вдаваться в подробности о данных, на которых обучалась модель"
CTO OpenAI, Мира Мурати, дала интервью журналистке из Wall Street Journal. Та спросила Миру о том, на каких данных обучалась SORA, на что CTO ответила просто "на публично доступных". Никаких уточнений от нее добиться так и не удалось (таймкод отрывка видео: 4:25).
Неудивительно, никому ведь не хочется получить в свой адрес очередную пачку исков об авторских правах и личных данных.
Хотя, конечно, стоит учитывать, что такое поведение Миры не обязательно означает, что что-то обучалось нелегально. Говорить о данных просто-напросто может запрещать NDA.
Также из интересного в интервью: SORA станет доступна в этом году, возможно даже в ближайшие 2 месяца.
CTO OpenAI, Мира Мурати, дала интервью журналистке из Wall Street Journal. Та спросила Миру о том, на каких данных обучалась SORA, на что CTO ответила просто "на публично доступных". Никаких уточнений от нее добиться так и не удалось (таймкод отрывка видео: 4:25).
Неудивительно, никому ведь не хочется получить в свой адрес очередную пачку исков об авторских правах и личных данных.
Хотя, конечно, стоит учитывать, что такое поведение Миры не обязательно означает, что что-то обучалось нелегально. Говорить о данных просто-напросто может запрещать NDA.
Также из интересного в интервью: SORA станет доступна в этом году, возможно даже в ближайшие 2 месяца.
👍36🔥10🤯5🐳4🤔3😁2❤1
Что посмотреть вечером в пятницу: отличный спич от X5 Tech о том, как они прокачивали ML модель под поведение пользователя
Спикер рассказывает про реальные задачи SberBoom, про трудности их решения и детально разбирает:
– Как различается поведение пользователя на устройствах с экраном и без?
– Какие изменения в ML-пайплайне определения намерения пользователя были сделаны, чтобы учесть эти различия для умной колонки SberBoom, и повысить качество?
Необычная DS-задача + крутое решение + интересный рассказ + красивая презентация = рекомендуем посмотреть
Спикер рассказывает про реальные задачи SberBoom, про трудности их решения и детально разбирает:
– Как различается поведение пользователя на устройствах с экраном и без?
– Какие изменения в ML-пайплайне определения намерения пользователя были сделаны, чтобы учесть эти различия для умной колонки SberBoom, и повысить качество?
Необычная DS-задача + крутое решение + интересный рассказ + красивая презентация = рекомендуем посмотреть
👍15🔥5❤2
Пятница! Делитесь, чем будете заниматься в выходные?
Anonymous Poll
25%
Я, как KNN, буду тусоваться с близкими
33%
Буду, как градиентный спуск, буду двигаться к минимуму стресса
33%
Я, как SVM, буду искать идеальное разделение между работой и отдыхом
8%
Как outlier detection, займусь чем-то экстремальным и необычным
7%
У меня в планах dropout – отключаю соцсети и интернет
16%
Стану, как autoencoder, и сокращу размерность домашнего бардака
19%
Как RNN, погружусь в последовательность сериалов
👍22🔥11❤6🗿6😁3
Data Secrets
"Я не буду вдаваться в подробности о данных, на которых обучалась модель" CTO OpenAI, Мира Мурати, дала интервью журналистке из Wall Street Journal. Та спросила Миру о том, на каких данных обучалась SORA, на что CTO ответила просто "на публично доступных".…
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥66😁24👍9❤5
Большая вещь: Maisa представили KPU (Knowledge Processing Unit) для улучшения способности LLM рассуждать
По сути это обертка для LLM, которая состоит из так называемого мыслителя, исполнителя и виртуального контекстного окна.
Мыслитель, опираясь на выходы LLM, организует пошаговый план решения задачи пользователя. Исполнитель выполняет команды мыслителя и возвращает ему же результаты для перепланировки. А последняя компонента как бы обеспечивает оптимальное «общение» между этими двумя.
Архитектура не только изящная, но и, судя по бенчмаркам, очень многообещающая. Особенно повышает способности модели решать сложные многоэтапные задачи (в том числе математические и алгоритмические).
По сути это обертка для LLM, которая состоит из так называемого мыслителя, исполнителя и виртуального контекстного окна.
Мыслитель, опираясь на выходы LLM, организует пошаговый план решения задачи пользователя. Исполнитель выполняет команды мыслителя и возвращает ему же результаты для перепланировки. А последняя компонента как бы обеспечивает оптимальное «общение» между этими двумя.
Архитектура не только изящная, но и, судя по бенчмаркам, очень многообещающая. Особенно повышает способности модели решать сложные многоэтапные задачи (в том числе математические и алгоритмические).
🔥47👍8🥰8❤🔥3❤1
🗿103🫡29😁27👍5😨3🤯2👾2❤1☃1
rules_of_ml.pdf
449.5 KB
Что почитать на выходных: руководство от Google "Как делать ML"
Это Best Practices ML System Design бигтеха, священные скрижали «как делать нужно» и «как делать не нужно». Не обращайте внимание на то, что документу много лет. Он все еще как новый (и в некоторых моментах даже более актуальный, чем современные письмена).
Для тех, кто готов преисполниться
Это Best Practices ML System Design бигтеха, священные скрижали «как делать нужно» и «как делать не нужно». Не обращайте внимание на то, что документу много лет. Он все еще как новый (и в некоторых моментах даже более актуальный, чем современные письмена).
Для тех, кто готов преисполниться
❤60👍18🔥8
В Google Maps только что вышло огромное количество AI-обновлений. В комплекте:
– Иммерсивный вид карт. Помогает на основе снимков со спутника сгенерировать ваш маршрут в 3D и пройти по нему.
– Исследование объектов в real-time. Включаешь камеру, наводишь на что-либо, а карты рассказывают тебе, что это за место, какие в доме есть заведения и прочее.
– Расширенная навигация и advanced подсказки в пути.
– Запросы в поиске на естественном языке. Например: «найди место поблизости с винтажным вайбом».
– Иммерсивный вид карт. Помогает на основе снимков со спутника сгенерировать ваш маршрут в 3D и пройти по нему.
– Исследование объектов в real-time. Включаешь камеру, наводишь на что-либо, а карты рассказывают тебе, что это за место, какие в доме есть заведения и прочее.
– Расширенная навигация и advanced подсказки в пути.
– Запросы в поиске на естественном языке. Например: «найди место поблизости с винтажным вайбом».
👍49🔥15❤7❤🔥1
Data Secrets
Илон Маск пообещал выкатить свою LLM в опенсурс. Видимо, решил подать положительный пример OpenAI (на которых, напоминаем, он подал в суд за то, что они якобы нарушили исходные заповеди компании и перестали быть “Open”).
Please open Telegram to view this post
VIEW IN TELEGRAM
😁76🔥23🤯7😈4
Где лучше всего учиться ML в Росиии? Конечно же в Школе Анализа Данных от Яндекса.
Но вот проблема: чтобы попасть туда, нужна сильная математическая база и скилл щелкать олимпиадное программирование.
Со всеми теми, кто не хочет упустить возможность усилить свои знания, делимся школой Shad Helper, которая готовит к поступлению в ШАД.
Очень скоро, 25 марта, у них стартует 13-месячная программа под руководством сильной команды (преподаватели кандидаты и доктора из МГУ, МФТИ, ВШЭ). Стоимость – 5999 в неделю, остановить обучение можно в любой момент. В комплекте также система скидок за хорошую успеваемость, чат-бот для студентов и регулярные домашние задания с менторской проверкой.
Остались вопросы? Подключайся к ребятам на вебинар 21 марта в 19:00, чтобы узнать больше про курс и подготовку к ШАД.
Но вот проблема: чтобы попасть туда, нужна сильная математическая база и скилл щелкать олимпиадное программирование.
Со всеми теми, кто не хочет упустить возможность усилить свои знания, делимся школой Shad Helper, которая готовит к поступлению в ШАД.
Очень скоро, 25 марта, у них стартует 13-месячная программа под руководством сильной команды (преподаватели кандидаты и доктора из МГУ, МФТИ, ВШЭ). Стоимость – 5999 в неделю, остановить обучение можно в любой момент. В комплекте также система скидок за хорошую успеваемость, чат-бот для студентов и регулярные домашние задания с менторской проверкой.
Остались вопросы? Подключайся к ребятам на вебинар 21 марта в 19:00, чтобы узнать больше про курс и подготовку к ШАД.
🤯33🙈10🫡9🤨5❤2😁2
Традиционно, воскресно, и в этот раз не очень очевидно. Задача!
Кто готов попробовать свои силы?
В группе первокурсников n человек и они видят друг друга впервые. А в парке аттракционов сегодня дают скидку, если приходит компания ровно из k друзей, среди которых каждый дружит с каждым.
Дружба между любой парой однокурсников независимо возникает с вероятностью р. Ваня, один из первокурсников, хочет пойти на аттракционы со скидкой.
Каким в среднем количеством способов он может это сделать?
Кто готов попробовать свои силы?
👍17❤3
Data Secrets
Как и обещали, Grok появился в опенсурс 😬
Ладно-ладно, теперь серьезно. X.ai выложили веса и код Grok-1. Оказалось, что это опять-таки Mixture of Experts. Поражает только размер: 314 млрд параметров. Для сравнения, в Gemini Pro 100 млрд.
GitHub | HuggingFace
GitHub | HuggingFace
👍31🔥14🤯7❤5
Data Secrets
Ладно-ладно, теперь серьезно. X.ai выложили веса и код Grok-1. Оказалось, что это опять-таки Mixture of Experts. Поражает только размер: 314 млрд параметров. Для сравнения, в Gemini Pro 100 млрд. GitHub | HuggingFace
Разобрали modal.py этого чуда и готовы погрузить вас в архитектуру. Итак, Grok-1 Илона Маска – это:
– 314В параметров, 86В активных. Mixture of Experts, 8 экспертов, 2 активных (то есть по 2 на токен).
– Вместо позиционных эмбеддингов используются Rotary эмбеддинги размерностью 6144.
– Размер словаря токенизатора: 131 072 (в GPT-4, кстати, примерно столько же).
– 64 слоя в трансформере, каждый с декодером (мультихэд внимание + denseblock). Размерность ключей – 128.
– Длина контекста – 8192 токена (bf16).
– 8-битное квантование весов, то есть ~ 314Гб.
Лицензия – Apache 2.0. Вот такие дела.
– 314В параметров, 86В активных. Mixture of Experts, 8 экспертов, 2 активных (то есть по 2 на токен).
– Вместо позиционных эмбеддингов используются Rotary эмбеддинги размерностью 6144.
– Размер словаря токенизатора: 131 072 (в GPT-4, кстати, примерно столько же).
– 64 слоя в трансформере, каждый с декодером (мультихэд внимание + denseblock). Размерность ключей – 128.
– Длина контекста – 8192 токена (bf16).
– 8-битное квантование весов, то есть ~ 314Гб.
Лицензия – Apache 2.0. Вот такие дела.
🎉64🔥16👍10❤2🤨1
erid: LjN8KbxG8
Построение DWH в Yandex Cloud: кейс крупной логистической компании
21 марта в 16.00
На вебинаре эксперты iiii Tech и Yandex Cloud совместно с клиентом Рулог поделятся кейсом, как в рамках локализации отчетности развернуть DWH (КХД) на Yandex Cloud.
Расскажем о:
- современном стеке аналитических инструментов
- бесшовной миграции с международных облачных платформ
- о проекте построения DWH (КХД) на основе дата-контрактов
Вебинар будет полезен CDO, CTO, руководителям направлений по работе с данными, архитекторам данных, аналитиками и дата-инженерам.
Спикеры:
Георгий Цыганков,
руководитель направления BI
Андрей Суренский,
архитектор по работе с партнёрами Yandex Cloud
Венера Никитина, бизнес-аналитик логистической компании Рулог
Зарегистрироваться можно по ссылке
Построение DWH в Yandex Cloud: кейс крупной логистической компании
21 марта в 16.00
На вебинаре эксперты iiii Tech и Yandex Cloud совместно с клиентом Рулог поделятся кейсом, как в рамках локализации отчетности развернуть DWH (КХД) на Yandex Cloud.
Расскажем о:
- современном стеке аналитических инструментов
- бесшовной миграции с международных облачных платформ
- о проекте построения DWH (КХД) на основе дата-контрактов
Вебинар будет полезен CDO, CTO, руководителям направлений по работе с данными, архитекторам данных, аналитиками и дата-инженерам.
Спикеры:
Георгий Цыганков,
руководитель направления BI
Андрей Суренский,
архитектор по работе с партнёрами Yandex Cloud
Венера Никитина, бизнес-аналитик логистической компании Рулог
Зарегистрироваться можно по ссылке
🗿5👍1