#полезное
😊 Исследователи из лабы SakanaAI предложили новую архитектуру нейросетей, вдохновленную биологическими нейронными процессами – Continuous Thought Machine

Кстати, SakanaAI – это та самая японская лаборатория, выпустившая ИИ-ученого, статья которого прошла рецензирование на ICLR воркшоп. Ну так вот ⬇️

Ключевая фишка CTM (Continuous Thought Machine) в наличии тиков мыслей. Аналогия с мозгом тут в том, что человек на самом деле не получает ответы за один "проход" по нейронам, как это делается, например, в трансформерах.

Живые нейроны активны всё время, через миллисекунды после первого сигнала информация осмысливается глубже, подключаются новые области коры и тд. Это и называется "тик". В нейросетях один тик – это как бы один прямой проход. В трансформерах для получения ответа тик всегда один, а в CTM их может быть и 5, и 10, и 50. Модель сама решает, сколько ей нужно – в зависимости от сложности задачи.

При этом проходы не независимые. Для каждого нейрона мы храним историю пред- и пост-активаций, чтобы он мог «смотреть» на свою динамику на предыдущих тиках. И, кстати, нейроны в CTM тоже необычные. Здесь это не просто сумма взвешенных входов, как в большинстве моделей, а самостоятельный мини-перцептрон (MLP). Все это тоже построено на аналогиях из биологии.

Ну и еще одна ключевая особенность CTM – это синхронизация нейронов. В нейробиологии считается, что важны не столько независимые активации нейронов, сколько то, как и когда они активируются относительно друг друга. Нейроны, чьи осцилляции или пики потенциала происходят синхронно, чаще участвуют в совместной обработке информации.

Поэтому здесь специально вычисляется так называемая матрица синхронизаций. Она показывает скалярные корреляции временных рядов активаций. Самые важные подмножества затем идут либо в слой внимания, либо напрямую проецируются в логиты.

И да, все это вполне прилично (и иногда лучше классических архитектур) работает на классических задачах типа ImageNet-1K, CIFAR-10 и MNIST, а еще модель отлично решает лабиринты.

В общем, работа большая и сложная, но в статье все расписано вполне доходчиво, так что советуем почитать полностью или полистать интерактивный репорт

Код в опенсорсе

👉Новости 👉База вопросов

#Собес #TensorFlow
🤔 Как реализовать рекуррентную нейронную сеть (RNN) в TensorFlow?

Чтобы реализовать RNN в TensorFlow, необходимо:
- Импортировать библиотеки и определить гиперпараметры.
- Подготовить входные данные и создать слои сети, используя tf. keras. layers.SimpleRNN, LSTM ИЛИ GRU .
- Определить функцию потерь и оптимизатор, например Adam .
- Обучить модель, используя model. fit().
- Оценить качество на тестовых данных.

👉Новости 👉База вопросов

#полезное
😵‍💫 Hugging Face представили бесплатного Open Computer Agent — открытый аналог Operator, запускающийся на виртуальной Linux-машине. Этот агент умеет искать и бронировать билеты, заказывать столик в ресторане и решать множество других задач.

Есть два «но»: он иногда не справляется с CAPTCHA, а из-за высокой нагрузки ответы могут идти чуть дольше. Зато всё бесплатно и с открытым исходным кодом!

Попробовать можно прямо сейчас: тык

👉Новости 👉База вопросов

🥳 В YeaHub теперь 2040 пользователей!

На этой неделе мы побили рекорд по количеству регистраций — и это важный для нас рубеж! 🚀 Мы не останавливаемся на достигнутом и готовим крутые обновления:

- Обновленный лендинг — станет еще информативнее и удобнее;
- Публичные страницы коллекций — делитесь своими подборками с сообществом;
- Избранное для вопросов — сохраняйте самое важное в один клик;
- Горячий режим 🔥 — для дополнительной мотивации;
- Мультипрофили — удобное переключение между аккаунтами;
- Новый сервис "Полезные ресурсы" — всё необходимое для развития в одном месте.

А еще мы будем еженедельно пополнять коллекции актуальными вопросами с собеседований по всем направлениям.

И это только начало! В планах — запуск 20+ новых сервисов для развития, нетворкинга и досуга. Оставайтесь с нами — будет ещё круче! 💪

👍 Обучайтесь, общайтесь, растите вместе с https://yeahub.ru

#видео
🤓 Нашел видеоуроки по построению DeepSeek с нуля — уже вышло 25 выпусков. Объясняется неплохо, можно смотреть вместе с руководством по построению DeepSeek с нуля на HuggingFace.
Ссылка

👉Новости 👉База вопросов

#Собес #TensorFlow
🤔 Как использовать APl tf.Gradient Таре для автоматического дифференцирования и градиентного спуска в TensorFlow?

API tf.Gradient Tape в TensorFlow позволяет записывать операции для автоматического вычисления градиентов. Он используется для выполнения дифференцирования в нейронных сетях и позволяет вычислять градиенты и обновлять параметры модели для минимизации ошибки с помощью градиентного спуска.

👉Новости 👉База вопросов

#полезное
👍 Нарыл годную визуализацию для тех, кто хочет на пальцах понять, как устроены LLM. Тут можно не просто почитать про слои моделей, а буквально пощупать их, покрутить со всех сторон в 3D

Есть GPT-2, nanoGPT, GPT-2 XL и GPT-3

Лучше запускать с компа, на мобиле не так красиво

👉Новости 👉База вопросов

#полезное
🛞 Qwen официально выпустили квантованные версии Qwen3!

Теперь Qwen3 можно развернуть через Ollama, LM Studio, SGLang и vLLM — выбирайте удобный формат (GGUF, AWQ или GPTQ) для локального деплоя.

Все модели доступны в коллекции Qwen3 на Hugging Face и ModelScope:

Hugging Face: https://huggingface.co/collections/Qwen/qwen3-67dd247413f0e2e4f653967f

ModelScope: https://modelscope.cn/collections/Qwen3-9743180bdc6b48

👉Новости 👉База вопросов

#полезное
🤯 Reader от Jina AI — переводчик веб-страниц для языковых моделей. Этот необычный проект решает проблему всех RAG-систем, превращая контент веб-страниц в удобоваримый для LLM формат. Просто добавьте https://r.jina.ai/ перед любой ссылкой и получите очищенный от рекламы, JS-кода и лишних элементов текст с автоматически подписанными изображениями.

Также запрос через s.jina.ai не просто выдает список ссылок, а сразу загружает и обрабатывает топ-5 результатов. Технология уже используется в продакшене и полностью бесплатна.
GitHub

👉Новости 👉База вопросов

#Собес #TensorFlow
🤔 Как справляться с переобучением и недообучением в моделях TensorFlow?

Для борьбы с переобучением в TensorFlow можно использовать регуляризацию (L1, L2), dropout, раннюю остановку или увеличивать обьем данных. Для борьбы с недообучением стоит увеличить сложность модели, добавить больше признаков или уменьшить регуляризацию.

👉Новости 👉База вопросов

#полезное
🫠 soarXiv — и это очень красивый способ исследовать человеческие знания.

Вам нужно заменить «arxiv» на «soarxiv» в URL статьи, и вы попадёте на её визуализацию во Вселенной.

Поддерживается примерно 2,8 миллиона научных работ.
soarxiv.org

👉Новости 👉База вопросов

#статьи
👍 ML в продакшене: следим за качеством после релиза

Даже самая точная модель на этапе разработки может со временем «поплыть» — из-за изменений в данных, поведении пользователей или внешней среды.

В новом материале разбираемся:
— какие метрики важно отслеживать после деплоя,
— когда запускать A/B-тесты,
— как строить систему алертов и реагировать на деградацию,
— и почему переобучение — не признак провала, а часть жизненного цикла ML.
Читайте статью

👉Новости 👉База вопросов

#Собес #TensorFlow
🤔 Что такое области переменных в TensorFlow и как они полезны?

Области переменных в TensorFlow - это механизм для группировки переменных, что позволяет избежать конфликтов имен и улучшить организацию кода. Они полезны при построении сложных моделей с множеством слоев или компонентов, которые могут использовать одинаковые имена переменных.

👉Новости 👉База вопросов

#полезное
👨‍💻 Matrix Cookbook от Университета Ватерлоо — это краткая «шпаргалка», содержащая сотни матричных тождеств, производных, разложений и статистических формул, к которым вы будете обращаться всякий раз, когда линейная алгебра становится сложной.

Идеально подходит в качестве настольного справочника для ускорения вывода формул и математических расчётов в машинном обучении
Гитхаб

👉 @DataSciencegx

#видео
😬 Что посмотреть: интервью с лидерами Google об ИИ, AGI и будущем разума

На Google I/O прошла живая дискуссия с Демисом Хассабисом (CEO DeepMind), Сергеем Брином (сооснователь Google) и Алексом Кантровицем. Темой стало развитие ИИ и возможный путь к AGI — искусственному общему интеллекту.

Обсудили:
🟠 Есть ли предел масштабированию ИИ-моделей
🟠 Как новые методы рассуждений меняют ИИ
🟠 Когда (и будет ли) AGI
🟠 ИИ-агенты Project Astra и подход AlphaEvolve (самообучение ИИ)
🟠 Уроки от Google Glass и проблемы качества данных
🟠 И да: затронули веб, симуляции и сроки появления AGI
Смотреть видео

👉Новости 👉База вопросов

#полезное
😐 Команда дня: einsum или как реализовать multi-head self-attention без единого цикла

Если вы работаете с нейросетями, особенно с трансформерами, то, скорее всего, сталкивались с реализациями self-attention, переполненными циклами. Однако благодаря np.einsum можно выразить всю механику multi-head attention в компактной и векторизованной форме.

Вот пример реализации:

def multi_head_attention(X, W_q, W_k, W_v, W_o):  
    d_k = W_k.shape[-1]  
    Q = np.einsum('si,hij->hsj', X, W_q)  # (n_heads, seq_len, d_k)
    K = np.einsum('si,hik->hsk', X, W_k)  
    V = np.einsum('si,hiv->hsv', X, W_v)  
    scores = Q @ K.transpose(0, 2, 1) / np.sqrt(d_k)  
    weights = softmax(scores, axis=-1)
    output = weights @ V  
    projected = np.einsum('hsv,hvd->hsd', output, W_o)  
    return projected.transpose(1, 0, 2).reshape(seq_len, -1)

einsum — мощный инструмент для выражения сложных операций с многомерными массивами. Особенно полезен, когда нужно точно контролировать свёртки и трансформации осей. В задачах NLP и computer vision это буквально незаменимая вещь.

Почему стоит обратить внимание:
🟠 Полная векторизация — минимум циклов, максимум скорости;
🟠 Код ближе к математике, а значит — легче проверять;
🟠 Можно выразить довольно сложные операции с тензорами в одной строке.

👉Новости 👉База вопросов

#Собес #TensorFlow
🤔 Что такое TensorFlow Serving и как он используется в производственных средах?

TensorFlow Serving - это система для обслуживания моделей машинного обучения, предназначенная для производственных сред. Она обеспечивает полное управление жизненным циклом модели, включая загрузку, обслуживание и обновление моделей. TensorFlow Serving поддерживает работу с несколькими версиями моделей одновременно, что важно для проведения А/В тестирования и плавных обновлений.

👉Новости 👉База вопросов

Прогресс искусственного интеллекта поистине стремителен

👉Новости 👉База вопросов