Украина настаивает на том, чтобы США сняли ограничения на использования американских дальнобойных ракет ATACMS для ударов вглубь российской территории. По мнению официальных лиц, только отчаянные условия на поле боя смогут убедить американских чиновников отменить ограничения.
Майнеры в июне продали 30 000 BTC. Это самый высокий месячный объем продаж, зафиксированный в этом году. Значительная распродажа привела к тому, что резервы майнеров снизились до 14-летнего минимума в 1,9 млн BTC
OpenAI предупредили, что заблокируют доступ к инструментам ИИ из Китая
Премьер Индии Нарендра Моди, недавно переизбравшийся на третий срок, собирается посетить Россию впервые с начала СВО в Украине.
Хакеры LockBit заявили, что взломали Федеральную резервную систему США и вынесли 33 терабайта данных с целью получить за них выкуп. Крайний срок — 25 июня, после чего, если правительство США не заплатит группировке $50 тысяч, конфиденциальная информация станет достоянием общественности.
США объявили Кению своим основным союзником вне НАТО — заявление Белого дома
В Кении протестующие ворвались в парламент после заседания, на котором власти подняли налоги на товары и услуги. Жители громят и жгут административные здания, полиция открыла по демонстрантам огонь. Погибли по меньшей мере восемь человек, более 200 получили ранения. Среди пострадавших — сводная сестра Барака Обамы Аума, полицейские распылили ей в лицо слезоточивый газ.
Белый дом работает над снятием де-факто запрета на размещение американских военных подрядчиков на Украине — CNN.
Акции nVidia обвалились. Крупнейший обвал.
В США внесен законопроект, разрешающий уплату в BTC федерального подоходного налога
«покупайте BTC до того, как он вам понадобится» — Майкл Сейлор
Привет, про пост о взломе фрс:
Там не цена 50к долларов, а предложение переговорщика от ФРС, на что хакеры назвали его клиническим идиотом
Там не цена 50к долларов, а предложение переговорщика от ФРС, на что хакеры назвали его клиническим идиотом
Иранские военные раскритиковали тапание хомяка и назвали игру инструментом «мягкой силы», который отвлекает иранцев от предстоящих президентских выборов в стране. bankrollo
«От либерала до людоеда дистанция не столь велика.»
Тысячи протестующих взяли штурмом здание парламента в столице Кении 🇷🇺 городе Найроби.
24 часа назад Джо Байден назвал Кению главным союзником США вне НАТО. 😸😼
24 часа назад Джо Байден назвал Кению главным союзником США вне НАТО. 😸😼
📲 Дебетовую карту Bybit уже можно добавить в Apple Pay.
Для аккаунтов RU конечно же нет?
Для аккаунтов RU конечно же нет?
БитЛента 🌲🪙⚡️ Вечный Восходл Души! サトし なカモと
Акции nVidia обвалились. Крупнейший обвал.
Мы внезапно оказались на грани квантового скачка в обучении и использовании больших языковых моделей!
ПРЕИМУЩЕСТВА СПЕЦИАЛИЗИРОВАННЫХ ЧИПОВ
– Sohu более чем в 10 раз быстрее и дешевле, чем даже самые передовые GPU, такие как NVIDIA Blackwell (B200).
– Один сервер Sohu обрабатывает более 500 000 токенов Llama 70B в секунду, что в 20 раз больше, чем сервер H100 и в 10 раз больше, чем сервер B200.
– Тесты проведены в режиме FP8 без использования разреженности при 8-кратном параллелизме модели с длиной ввода 2048 и длиной вывода 128.
ЗАМЕДЛЕНИЕ РАЗВИТИЯ GPU
– За последние четыре года плотность вычислений (TFLOPS/мм^2) улучшилась всего на ~15%.
– Новые GPU (NVIDIA B200, AMD MI300X, Intel Gaudi 3, AWS Trainium2) удваивают свою производительность за счет использования двух чипов на одной карте.
– Из-за замедления закона Мура единственный способ улучшить производительность – это специализация.
ЭКОНОМИЧЕСКИЕ ПРЕИМУЩЕСТВА
– Стоимость обучения ИИ-моделей сегодня составляет более $1 млрд, а их использование – более $10 млрд.
– Специализированные чипы (ASIC) в 10-100 раз быстрее GPU.
– С ростом стоимости обучения моделей с $1 млрд до $100 млрд риск тестирования новых архитектур резко возрастает.
– Специализация на трансформерах предпочтительнее, чем тестирование новых архитектур.
НЕИЗБЕЖНОСТЬ СПЕЦИАЛИЗАЦИИ НА ТРАНСФОРМЕРАХ
– Трансформеры выиграли "аппаратную лотерею" благодаря огромным инвестициям в оптимизацию их работы.
– Стартапы используют специализированные библиотеки ПО для трансформеров, такие как TRT-LLM и vLLM.
– С выходом на рынок Sohu и других ASIC наступит точка невозврата. У новых архитектур не будет шансов, если они не смогут работать быстрее на GPU, чем трансформеры на Sohu.
– Если это произойдет, будет создан ASIC и для новой архитектуры.
Подробнее о работе Sohu можно узнать в посте на сайте Etched.
Вот так и получается, что прогресс ускоряется в геометрической прогрессии. Ограничения, вызванные дорогими видеокартами только что уменьшились на ДВА ПОРЯДКА.
А теперь представьте, как такие чипы и модели, которые на них работают, ускорят технический прогресс во всех сферах.
В интересные времена живём.
iintellect
ПРЕИМУЩЕСТВА СПЕЦИАЛИЗИРОВАННЫХ ЧИПОВ
– Sohu более чем в 10 раз быстрее и дешевле, чем даже самые передовые GPU, такие как NVIDIA Blackwell (B200).
– Один сервер Sohu обрабатывает более 500 000 токенов Llama 70B в секунду, что в 20 раз больше, чем сервер H100 и в 10 раз больше, чем сервер B200.
– Тесты проведены в режиме FP8 без использования разреженности при 8-кратном параллелизме модели с длиной ввода 2048 и длиной вывода 128.
ЗАМЕДЛЕНИЕ РАЗВИТИЯ GPU
– За последние четыре года плотность вычислений (TFLOPS/мм^2) улучшилась всего на ~15%.
– Новые GPU (NVIDIA B200, AMD MI300X, Intel Gaudi 3, AWS Trainium2) удваивают свою производительность за счет использования двух чипов на одной карте.
– Из-за замедления закона Мура единственный способ улучшить производительность – это специализация.
ЭКОНОМИЧЕСКИЕ ПРЕИМУЩЕСТВА
– Стоимость обучения ИИ-моделей сегодня составляет более $1 млрд, а их использование – более $10 млрд.
– Специализированные чипы (ASIC) в 10-100 раз быстрее GPU.
– С ростом стоимости обучения моделей с $1 млрд до $100 млрд риск тестирования новых архитектур резко возрастает.
– Специализация на трансформерах предпочтительнее, чем тестирование новых архитектур.
НЕИЗБЕЖНОСТЬ СПЕЦИАЛИЗАЦИИ НА ТРАНСФОРМЕРАХ
– Трансформеры выиграли "аппаратную лотерею" благодаря огромным инвестициям в оптимизацию их работы.
– Стартапы используют специализированные библиотеки ПО для трансформеров, такие как TRT-LLM и vLLM.
– С выходом на рынок Sohu и других ASIC наступит точка невозврата. У новых архитектур не будет шансов, если они не смогут работать быстрее на GPU, чем трансформеры на Sohu.
– Если это произойдет, будет создан ASIC и для новой архитектуры.
Подробнее о работе Sohu можно узнать в посте на сайте Etched.
Вот так и получается, что прогресс ускоряется в геометрической прогрессии. Ограничения, вызванные дорогими видеокартами только что уменьшились на ДВА ПОРЯДКА.
А теперь представьте, как такие чипы и модели, которые на них работают, ускорят технический прогресс во всех сферах.
В интересные времена живём.
iintellect