Протестующие в столице Кении 🇷🇺 городе Найроби вышли на улицы с российскими флагами.

📲 Дебетовую карту Bybit уже можно добавить в Apple Pay.

Для аккаунтов RU конечно же нет?

Мы внезапно оказались на грани квантового скачка в обучении и использовании больших языковых моделей!

ПРЕИМУЩЕСТВА СПЕЦИАЛИЗИРОВАННЫХ ЧИПОВ

– Sohu более чем в 10 раз быстрее и дешевле, чем даже самые передовые GPU, такие как NVIDIA Blackwell (B200).
– Один сервер Sohu обрабатывает более 500 000 токенов Llama 70B в секунду, что в 20 раз больше, чем сервер H100 и в 10 раз больше, чем сервер B200.
– Тесты проведены в режиме FP8 без использования разреженности при 8-кратном параллелизме модели с длиной ввода 2048 и длиной вывода 128.

ЗАМЕДЛЕНИЕ РАЗВИТИЯ GPU

– За последние четыре года плотность вычислений (TFLOPS/мм^2) улучшилась всего на ~15%.
– Новые GPU (NVIDIA B200, AMD MI300X, Intel Gaudi 3, AWS Trainium2) удваивают свою производительность за счет использования двух чипов на одной карте.
– Из-за замедления закона Мура единственный способ улучшить производительность – это специализация.

ЭКОНОМИЧЕСКИЕ ПРЕИМУЩЕСТВА

– Стоимость обучения ИИ-моделей сегодня составляет более $1 млрд, а их использование – более $10 млрд.
– Специализированные чипы (ASIC) в 10-100 раз быстрее GPU.
– С ростом стоимости обучения моделей с $1 млрд до $100 млрд риск тестирования новых архитектур резко возрастает.
– Специализация на трансформерах предпочтительнее, чем тестирование новых архитектур.

НЕИЗБЕЖНОСТЬ СПЕЦИАЛИЗАЦИИ НА ТРАНСФОРМЕРАХ

– Трансформеры выиграли "аппаратную лотерею" благодаря огромным инвестициям в оптимизацию их работы.
– Стартапы используют специализированные библиотеки ПО для трансформеров, такие как TRT-LLM и vLLM.
– С выходом на рынок Sohu и других ASIC наступит точка невозврата. У новых архитектур не будет шансов, если они не смогут работать быстрее на GPU, чем трансформеры на Sohu.
– Если это произойдет, будет создан ASIC и для новой архитектуры.

Подробнее о работе Sohu можно узнать в посте на сайте Etched.

Вот так и получается, что прогресс ускоряется в геометрической прогрессии. Ограничения, вызванные дорогими видеокартами только что уменьшились на ДВА ПОРЯДКА.

А теперь представьте, как такие чипы и модели, которые на них работают, ускорят технический прогресс во всех сферах.

В интересные времена живём.

iintellect

🫐 Бот в процессе восстановления.
🌲 Средства и данные в целости.

Этапы восстановления:
Компоненты загрузки — 100% ✅
Синхронизация блокчейна — 89.35%
Создание кошельков — 0%
Структура БД — 100% ✅
Структура кода — 100% ✅
Фоновые процессы — 0%
Отладка — 0%

Ожидаемое время восстановления:
27 июня 2024 (МСК).

🥽 Срочное и большое — в лс @ColdSig, вручную сделаем.

Только что анонсировали новый ASIC для больших языковых моделей: он умеет генерировать 500 000 токенов в секунду!

Эта штука может писать по одному тому "Войны и Мира" каждую секунду. Локально и без доступа к интернету. Это в десятки раз быстрее, чем кластер из 8 специализированных карт NVIDIA H100.

Подходит для любых приложений на основе трансформеров: Llama, Stable Diffusion, Sora, Claude, GPT и так далее.

Проект поддерживают Питер Тиль, СЕО Guthub, Bridgewater, Новограц и другие известные люди.

САМЫЙ БЫСТРЫЙ ЧИП ИСКУССТВЕННОГО ИНТЕЛЛЕКТА

– Sohu – самый быстрый чип ИИ на планете.
– Обрабатывает более 500 000 токенов в секунду с использованием модели Llama 70B.
– Позволяет создавать продукты, невозможные на GPU.
– Один сервер 8xSohu заменяет 160 H100.

СПЕЦИАЛИЗИРОВАННЫЙ ЧИП ДЛЯ ТРАНСФОРМЕРНЫХ МОДЕЛЕЙ

– Sohu – первый специализированный чип (ASIC) для трансформерных моделей.
– Благодаря специализации, чип обеспечивает значительно большую производительность.

ПОПУЛЯРНОСТЬ ТРАНСФОРМЕРНЫХ МОДЕЛЕЙ

– Сегодня все крупные продукты ИИ (ChatGPT, Claude, Gemini, Sora) работают на трансформерах.
– В ближайшие годы все крупные модели ИИ будут работать на специализированных чипах.

НЕИЗБЕЖНОСТЬ СПЕЦИАЛИЗИРОВАННЫХ ЧИПОВ

– Специализированные чипы обеспечивают значительно лучшую производительность по сравнению с универсальными решениями.

Когда-то биткоин фармили на видеокартах. Теперь его добыча немыслима без специализированных чипов (ASIC). Та же участь ждёт видеокарты в ИИ.

Внимательно смотрим на акции Nvidia. Акции ведущего поставщика видеокарт и чипов для ИИ падали на 18% за два дня, сейчас падение 11%.

iintellect #ии #чипы #llm

Мошенники начали разводить россиян от несуществующей «Единой медицинской службы».

Они звонят и интересуются, когда была сделана последняя флюорография, а после сообщают об устаревших данных, которые нужно обновить.

Для этого они просят номер СНИЛС или код из SMS. Далее с этой информацией преступники получают доступ к Госуслугам и личным данным жертвы.

Мошенники развели на 20 млн рублей экс-прокурора Москвы, который рассказывал россиянам, как не попасться на уловки мошенников.

По указке злоумышленников Евгений Манеркин без колебаний отдал все свои накопления и даже продал Audi Q7.

Тапочники, которые уже вошли в историю с пометкой «они смогли, а мы нет» — умеют также и в ИИ.

Ученый из Йемена показал концепт ИИ-тюрьмы будущего.

Он предлагает закрывать уголовников в особых капсулах и переучивать их мозг ложными воспоминаниями, сгенерированными нейросетями.

На выходе получаются новые люди, которые не захотят нарушать закон.

Погодите. Не реализуйте пока эту идею! Еще есть дела в Красном море. И не только там. ⚔️

Привет, Сергей. Касательно Таджикистана и бород. Невозможно зайти ни в один гос орган с бородой, максимум это длинная щетина. Есть должностная инструкция не принимать таких граждан. По платкам, действительно останавливают на базаре в Душанбе и штрафуют, это видел своими глазами.

С таким подходом мы в перспективе перетянем в Россию всех исламистов-радикалов из стран СНГ. А может уже.

#Bitcoin  имеет такое же количество пользователей, как и Интернет в 1999 году.

Мы только начинаем 🚀

Вместе с центральными банками стран БРИКС Россия прорабатывает запуск платформы BRICS Bridge для расчетов в национальных валютах, в том числе цифровых, рассказал «Известиям» замминистра финансов Иван Чебесков. Речь может идти, например, о цифровом рубле, юане или риале. Новая система позволит проводить транзакции между странами напрямую и снизит влияние западных санкций на международные платежи. Это стало особенно актуально на фоне новых ограничений против российского аналога SWIFT

😸 В рамках 14 пакета санкций против РФ Евросоюз запретил транзакции с банками и криптовалютными сервисами из третьих стран, которые содействуют сделкам с российским оборонно-промышленным комплексом. (fl)

глава SEC Гэри Генслер заявил, что процесс запуска спотовых ETH-ETF «идет гладко»

Гляньте какой нежный, «гладко» у него с криптой стало, демократы перед выборами попросили не высовываться и не теребить публику своими безумными действиями😀 (V-Crypto)

У Ютуба новые правила, нельзя говорить ничего хорошего про Россию, а то сразу бан.