Закон Nvidia >> закон Мура
Что произошло? Прошла выставка COMPUTEX 2024, на которой выступил CEO NVIDIA Дженсен Хуанг. Он рассказывал об успехах Nvidia в производстве чипов и дальнейших планах.
В ходе выступления он показал график, который особенно зантересовал слушателей. На нем сравнивается закон Мура и рост производительности чипов компании.
Что такое закон Мура? Вообще это даже не закон, а наблюдение основателя Intel: "Количество транзисторов, размещаемых на кристалле интегральной схемы, удваивается каждые 24 месяца". Проще говоря: мощность процессоров удваивается каждые два года.
Так вот, не имея серьезной конкуренции, Nvidia, видимо, решила конкурировать с этим законом. И, как видите, получилось очень неплохо: последние 8 лет корпорация двигалась в 25 раз быстрее, чем завещал Мур. Это поразительно.
Полное выступление Хуанга смотрим тут.
Что произошло? Прошла выставка COMPUTEX 2024, на которой выступил CEO NVIDIA Дженсен Хуанг. Он рассказывал об успехах Nvidia в производстве чипов и дальнейших планах.
В ходе выступления он показал график, который особенно зантересовал слушателей. На нем сравнивается закон Мура и рост производительности чипов компании.
Что такое закон Мура? Вообще это даже не закон, а наблюдение основателя Intel: "Количество транзисторов, размещаемых на кристалле интегральной схемы, удваивается каждые 24 месяца". Проще говоря: мощность процессоров удваивается каждые два года.
Так вот, не имея серьезной конкуренции, Nvidia, видимо, решила конкурировать с этим законом. И, как видите, получилось очень неплохо: последние 8 лет корпорация двигалась в 25 раз быстрее, чем завещал Мур. Это поразительно.
Полное выступление Хуанга смотрим тут.
🔥89
This media is not supported in your browser
VIEW IN TELEGRAM
«Для таких людей, как я, LLM – это уже прошлое, сейчас они скучны» - Ян Лекун.
Наверное, с Маском разборки устраивать интереснее 😁
Please open Telegram to view this post
VIEW IN TELEGRAM
У нас для вас отличные новости!
Погоня за ML специалистами не сбавляет обороты. На западе CEO лично звонят кандидатам, чтобы переманить их. Россия не отстает: один только Яндекс нанимает около 100 ML-инженеров каждый месяц, а зарплаты таких специалистов постоянно растут.
Чтобы вы не пропускали самые сочные вакансии в топовых компаниях России и за рубежом, мы создали канал Data Secrets | Карьера. Там можно легко найти работу с подходящим форматом, специальностью и задачами.
Также канал поможет мониторить рынок и тренды на нем, даже если сейчас вы не ищете оффер.
Подписывайтесь, чтобы держать руку на пульсе: @data_secrets_career
Погоня за ML специалистами не сбавляет обороты. На западе CEO лично звонят кандидатам, чтобы переманить их. Россия не отстает: один только Яндекс нанимает около 100 ML-инженеров каждый месяц, а зарплаты таких специалистов постоянно растут.
Чтобы вы не пропускали самые сочные вакансии в топовых компаниях России и за рубежом, мы создали канал Data Secrets | Карьера. Там можно легко найти работу с подходящим форматом, специальностью и задачами.
Также канал поможет мониторить рынок и тренды на нем, даже если сейчас вы не ищете оффер.
Подписывайтесь, чтобы держать руку на пульсе: @data_secrets_career
🔥19👍12😁10❤5
Годовая зарплата в $65 тыс. и активы на $2.8млрд? Легко, особенно когда ты Сэм Альтман. Итак, портфель CEO, который мы заслужили:
⚪️ 7,6% акций Reddit (на данный момент стоимость составляет более 700 миллионов долларов)
⚪️ Инвестировал 15 000 долларов в 2% акций Stripe в 2009 году (сегодня это 1,3 млрд долларов)
⚪️ Чек на 375 миллионов долларов в Helion, стартап в области ядерного синтеза (Microsoft является клиентом)
⚪️ Инвестиции в компанию Exowatt, которая производит контейнерные энергетические системы для датацентров
⚪️ Инвестиции в размере 180 миллионов долларов в Retro – стартап, который пытается увеличить продолжительность жизни человека
⚪️ Инвестиции в несколько ИИ-компаний, включая Rain AI (чипы), 15% Humane и Limitless
⚪️ Дома в Напе и на Гавайях
⚪️ Персональная кредитная линия от JP Morgan Chase, которая позволяет ему брать займы под залог стоимости своего личного портфеля
⚪️ Ну и коллекция спорткаров конечно, куда без них
Такие дела💰
Такие дела
Please open Telegram to view this post
VIEW IN TELEGRAM
Новый супер-качественный датасет FineWeb-Edu от HuggingFace
Недавно те же ученые представляли FineWeb – это был по сути отфильтрованный классический CommonCrawl. Теперь же с помощью классификатора на основе Llama-3-70B-Instruct они отобрали из FineWeb только те веб-страницы, которые относятся к образовательному контенту. Кстати, похожий прием мы видели у DeepSeekMath (читайте наш разбор).
Гипотеза исследователей была в том, что если обучать LLM на образовательном контенте, она будет лучше ризонить и вообще вырастет по бенчмаркам. Оказалось, что так и есть. Посмотрите на график: модели на FineWeb-Edu значительно обгоняют модели на FineWeb, C4 и тд.
Чтобы достичь перформанса FineWeb-Edu, другим датасетам нужно в 4 раза больше данных. Это еще раз доказывает, что качество обучающей выборки – это душа модели.
Сейчас FineWeb-Edu находится в открытом доступе в двух размерах: 1.3 триллиона токенов и 5.4 триллиона. Работу, кстати, высоко оценил Андрей Карпаты.
Недавно те же ученые представляли FineWeb – это был по сути отфильтрованный классический CommonCrawl. Теперь же с помощью классификатора на основе Llama-3-70B-Instruct они отобрали из FineWeb только те веб-страницы, которые относятся к образовательному контенту. Кстати, похожий прием мы видели у DeepSeekMath (читайте наш разбор).
Гипотеза исследователей была в том, что если обучать LLM на образовательном контенте, она будет лучше ризонить и вообще вырастет по бенчмаркам. Оказалось, что так и есть. Посмотрите на график: модели на FineWeb-Edu значительно обгоняют модели на FineWeb, C4 и тд.
Чтобы достичь перформанса FineWeb-Edu, другим датасетам нужно в 4 раза больше данных. Это еще раз доказывает, что качество обучающей выборки – это душа модели.
Сейчас FineWeb-Edu находится в открытом доступе в двух размерах: 1.3 триллиона токенов и 5.4 триллиона. Работу, кстати, высоко оценил Андрей Карпаты.
👍45🔥12❤10
Пару дней назад Docker Hub пару дней назад ушёл из России и Беларуси из-за санкций США, но теперь вдруг передумал.
Сейчас
hub.docker.com снова доступен с российских IP-адресов, Please open Telegram to view this post
VIEW IN TELEGRAM
🔥66😁30👍13🗿4❤3
Forwarded from XOR
Ничего необычного, просто глава NVIDIA расписывается на груди фанатки.
Вот что бывает, когда капитализация твоей компании составляется $2,8 трлн.
@xor_journal
Вот что бывает, когда капитализация твоей компании составляется $2,8 трлн.
@xor_journal
👍69
9 бывших и текущих сотрудников OpenAI публично требуют право в случае чего предупредить общественность об AGI
Они заявляют, что OpenAI ведет себя безрассудно в отношении AGI, оголтело летя впереди планеты всей.
Тем временем сотрудникам не разрешено не то что рассказывать о разработках компании, но и просто высказывать свое мнение о политике OpenAI. Иначе можно сказать «пока» всем своим акциям и, скорее всего, работе.
Сейчас сотрудники требуют обязать компанию прозрачно отчитываться о технологиях перед государством и разрешить ученым осведомлять общество о том, что на их взгляд может быть опасно.
Обожаю это чувство, как его… SkyNet
Они заявляют, что OpenAI ведет себя безрассудно в отношении AGI, оголтело летя впереди планеты всей.
Тем временем сотрудникам не разрешено не то что рассказывать о разработках компании, но и просто высказывать свое мнение о политике OpenAI. Иначе можно сказать «пока» всем своим акциям и, скорее всего, работе.
Сейчас сотрудники требуют обязать компанию прозрачно отчитываться о технологиях перед государством и разрешить ученым осведомлять общество о том, что на их взгляд может быть опасно.
Обожаю это чувство, как его… SkyNet
😁97❤14🔥8
Интересная ситуация произошла в Стэнфорде: там ученым пришлось извиняться перед китайцами за плагиат
Оказалось, что студенты скопипастили код из китайской MiniCPM-Llama3-V 2.5 для своего проекта Llama3-V. Вот и пришлось извинятся, хотя горе-ресерчеры утвеждают, что код писали вообще не они, а их коллега из университета Калифорнии, который сейчас не выходит на связь😦
Медель выходила под флагом Стэнфордского университета, в соавторстве с несколькими профессорами, так что авторитет был подорван довольно сильно. Модель также пришлось удалить с Hugging Face. Да, жаль этих работяг.
Оказалось, что студенты скопипастили код из китайской MiniCPM-Llama3-V 2.5 для своего проекта Llama3-V. Вот и пришлось извинятся, хотя горе-ресерчеры утвеждают, что код писали вообще не они, а их коллега из университета Калифорнии, который сейчас не выходит на связь
Медель выходила под флагом Стэнфордского университета, в соавторстве с несколькими профессорами, так что авторитет был подорван довольно сильно. Модель также пришлось удалить с Hugging Face. Да, жаль этих работяг.
Please open Telegram to view this post
VIEW IN TELEGRAM
😁89
Вышел долгожданный код для xLSTM! Это та самая недавняя взрывная архитектура от создателей LSTM, которая может стать альтернативой трансформеру.
Установить библиотеку и поиграться с xLSTM можно с помощью
Репозиторий с кодом тут.
А если вы до сих пор не разобрались с этой многообещающей моделью, то напоминаем, что у нас на сайте лежит ее подробный наглядный разбор: https://datasecrets.ru/articles/10
Установить библиотеку и поиграться с xLSTM можно с помощью
pip install xlstm. Репозиторий с кодом тут.
А если вы до сих пор не разобрались с этой многообещающей моделью, то напоминаем, что у нас на сайте лежит ее подробный наглядный разбор: https://datasecrets.ru/articles/10
❤55🔥21
This media is not supported in your browser
VIEW IN TELEGRAM
Студенты-дипломники, ну как там дела за пару дней до сдач?
🤝85😁46🔥10🗿7❤4👍4👏2
Please open Telegram to view this post
VIEW IN TELEGRAM
😁103🤯21👀14
Кстати, кроме этого выпада группы сотрудников OpenAI случилось еще кое-что
Раньше в OpenAI в команде Суцкевера работал исследователь Леопольд Ашенбреннер. Пол года назад его уволили, якобы из-за утечки информации.
А на днях он дал интервью и рассказал, что на самом деле его уволили по другой причине: он критиковал компанию за небезопасное поведение.
Также Леопольд опубликовал кучастраничный отчет о состоянии ИИ. В нем он пишет, что AGI появится уже к 2027 году, и затем очень скоро превратиться в суперинтеллект, который будет опасен для человечества. “Для этого не нужно верить в фантастику, нужно лишь верить в прямые линии на графиках».
По его словам, уже сегодня компании перешли от $10 миллиардных вычислительных кластеров к $100 миллиардным и даже триллионным кластерам.
Пора бы OpenAI выходить на свет, а то общественности еще долго придется оценивать ситуацию по выкрикам отдельных исследователей
Раньше в OpenAI в команде Суцкевера работал исследователь Леопольд Ашенбреннер. Пол года назад его уволили, якобы из-за утечки информации.
А на днях он дал интервью и рассказал, что на самом деле его уволили по другой причине: он критиковал компанию за небезопасное поведение.
Также Леопольд опубликовал кучастраничный отчет о состоянии ИИ. В нем он пишет, что AGI появится уже к 2027 году, и затем очень скоро превратиться в суперинтеллект, который будет опасен для человечества. “Для этого не нужно верить в фантастику, нужно лишь верить в прямые линии на графиках».
По его словам, уже сегодня компании перешли от $10 миллиардных вычислительных кластеров к $100 миллиардным и даже триллионным кластерам.
Пора бы OpenAI выходить на свет, а то общественности еще долго придется оценивать ситуацию по выкрикам отдельных исследователей
This media is not supported in your browser
VIEW IN TELEGRAM
Садимся снимать аниме – в опенсорс вышла модель ToonCraft, которая может сгенерировать мультипликацию по ключевым кадрам.
Она может "заполнить" ролик между двумя поданными кадрами, нарисовать мультик по скетчу и раскрасить анимацию по референсу.
Под капотом DynamiCrafter, которую зафайнтюнили на аниме. Для сохранения точного образа персонажей используется 3D-декодер.
Самое приятное: есть и статья, и демо, и код, и примеры – в общем все, что душе угодно.
Она может "заполнить" ролик между двумя поданными кадрами, нарисовать мультик по скетчу и раскрасить анимацию по референсу.
Под капотом DynamiCrafter, которую зафайнтюнили на аниме. Для сохранения точного образа персонажей используется 3D-декодер.
Самое приятное: есть и статья, и демо, и код, и примеры – в общем все, что душе угодно.
❤50
Stability AI опенсорснули часть функционала Stable Audio — нейросети для генерации музыки и звуков
Сеть обучена только на открытых данных, но ее, тем не менее, нельзя использовать в коммерческих целях. Да и работает она сильно обрезанно, по сравнению с закрытой версией: генерирует треки в четыре раза короче и не работает в режиме Audio2Audio.
Тем не менее, все что опенсорс, мы любим и уважаем (ну если только код не был "позаимствован", как у ребят из Стэнфорда).
Подробности и код для игр с моделькой оставили на сайте.
Сеть обучена только на открытых данных, но ее, тем не менее, нельзя использовать в коммерческих целях. Да и работает она сильно обрезанно, по сравнению с закрытой версией: генерирует треки в четыре раза короче и не работает в режиме Audio2Audio.
Тем не менее, все что опенсорс, мы любим и уважаем (ну если только код не был "позаимствован", как у ребят из Стэнфорда).
Подробности и код для игр с моделькой оставили на сайте.
🔥13👍7❤1
Google такие: «Нечестно, OpenAI специально сделали свою презентацию за день до нашей»
Также Google: опенсорсят конкурента Gradio прямо в день выхода новой версии
Gradio – это тулза для билда ML-приложений из ноутбуков или из проекта. Новый Mesop от Google – в точности то же самое. Даже лендинг похож на игру «найди 10 отличий».
Тем не менее, достойно внимания: гитхаб
Также Google: опенсорсят конкурента Gradio прямо в день выхода новой версии
Gradio – это тулза для билда ML-приложений из ноутбуков или из проекта. Новый Mesop от Google – в точности то же самое. Даже лендинг похож на игру «найди 10 отличий».
Тем не менее, достойно внимания: гитхаб
❤32🤨11🕊6👍3💘2