#новости
🤓 Для Gemma 3 вышли официальные квантизированные версии

Квантизация это сейчас стандарт, мало кто будет запускать модели локально в нативных bf16 — большая часть пользователей использует 4 битную квантизацию. И тут проявляется большая проблема — модели, по большей части, выпускают в bfloat16 и совершенно не расчитывают, что кто-то когда-то будет их запускать как-то по-другому, из-за чего заметно страдает качество моделей при локальном использовании. Дело в том, что дешёвая Post-training квантизация, которая не требует тренировки, сильно просаживает качество.

Google специально дотренировали Gemma 3 с quantization aware training, чтобы таких проблем не было. Обещают "схожее качество" с bf16 моделями, но результатов бенчей не дали (а хотелось бы). Такой же релиз делала и Meta с Llama 3.2, правда только для 1B и 3B, а Google выпустил сразу всю линейку. А остальным авторам открытых моделей тоже стоит начать делать подобные релизы.
Скачать

👉Новости 👉База вопросов

#Собес
🤔 Как реализовать рекуррентную нейронную сеть (RNN) в TensorFlow?

Чтобы реализовать RNN в TensorFlow, необходимо:
- Импортировать библиотеки и определить гиперпараметры.
- Подготовить входные данные и создать слои сети, используя
tf.keras. layers.SimpleRNN, LSTM ИЛИ GRU .
- Определить функцию потерь и оптимизатор, например Adam .
- Обучить модель, используя model. fit() .
- Оценить качество на тестовых данных.

👉Новости 👉База вопросов

#полезное
🥺 Вот как работает режим Draft в MJ v7:

Он понимает не только английский, но и другие языки. Просто диктуешь, что изменить или добавить — проходит пара секунд, и у тебя уже новая картинка. Правда, он изменяет только промпт, а не редактирует саму картинку.

👉Новости 👉База вопросов

#полезное
🤯 apple-mcp — это коллекция нативных инструментов, разработанных для интеграции с приложениями Apple посредством Model Context Protocol (MCP)!

🚩 Этот набор позволяет отправлять и получать сообщения из приложения "Сообщения", а также искать и открывать заметки и контакты в соответствующих приложениях. В планах разработчиков — добавить поддержку календарных событий, напоминаний, фотографий и музыки.
Гитхаб

👉Новости 👉База вопросов

#полезное
🥺 Implement minimal-GPT from scratch.

MinimalGPT — это небольшое учебное пособие (гайд), в котором демонстрируется «упрощённая» реализация архитектуры GPT. На странице раскрываются основные принципы работы модели и приводится минимально необходимый код для её запуска. Основная идея заключается в том, чтобы показать, как устроена GPT‑модель на базовом уровне, без избыточного усложнения и обилия вспомогательных библиотек.

Внутри гайда обычно можно найти

🟠 Описание основных слоёв GPT (внимание, Feed-Forward блоки и т.д.)
🟠 Минимальные примеры кода (часто на Python с использованием PyTorch или аналогичных фреймворков)
🟠 Краткие пояснения к каждому этапу (инициализация слоёв, механизм attention, обучение/инференс)
🟠 Рекомендации по расширению и дальнейшему совершенствованию кода

Таким образом, MinimalGPT служит отправной точкой для понимания того, как работает GPT, и даёт возможность собрать простейшую версию модели своими руками.
Читать

👉Новости 👉База вопросов

#Собес #pandas
🤔 Как получить первые несколько строк DataFrame?

Для получения первых строк DataFrame используется метод head (n) , где n - количество строк (по умолчанию 5). Также можно использовать iloc[ :n], который работает аналогично срезам списков в Python.

👉Новости 👉База вопросов

#новости
🫠 TPU v7 — Ironwood

Google показали новое поколение TPU, на одном уровне с Blackwell. В новом поколении 4.6 Dense петафлопса на чип — чуть больше чем в B200. Дают 192 гигабайта видеопамяти, с пропускной способностью чуть похуже чем у B200 — 7.4TB/s против 8. Энергоэффективность в два раза лучше чем у Trillium (v6e) и чуть лучше чем у Blackwell.

Новые TPU могут объединятся в поды из over 9000 чипов, только вместо Infiniband/Ethernet там кастомный нетворкинг. Он больше похож на тот, что Nvidia делает в NVL72, но, в отличии от решения Nvidia, которая обещает 576 чипов через NVLink только в 2027, он скейлится на тысячи чипов. Но есть и минусы — TPU v7 даёт всего 1.2TB/s на чип, когда NVLink 5 в GPU Blackwell даёт 1.8TB/s.

Главный вопрос — смогут ли они купить достаточно HBM для массовых деплойментов. Но даже если смогут, не смотря на очень хорошие характеристики, это не конкурент Nvidia. Дело в том, что Google не продаёт TPU другим компаниям, лишь сдаёт в аренду в клауде. Да и сами они не отказываются от массового деплоймента GPU — одних Blackwell компания закупила на 10 миллиардов долларов, правда в основном для Google Cloud.

👉Новости 👉База вопросов

#Собес #pandas
🤔 Как считать данные в DataFrame из CSV-файла?

Для загрузки данных из CSV-файла в Pandas используется метод read_csv() • Он принимает путь к файлу и дополнительные параметры, такие как разделитель или кодировка. Также можно использовать метод read_table() , указав delimiter для CSV-файлов с нестандартными разделителями.

👉Новости 👉База вопросов

#полезное
👨‍💻 На Image Arena ещё одна загадочная t2i модель заняла первое место

Что за Mogao — непонятно, но голосов уже достаточно много чтобы уверенно судить о высоком качестве модели.

Возможно, это очередная китайская модель, по слухам от Dreamina.

👉Новости 👉База вопросов

#полезное
😊 Mechanistic permutability: Match across layers

В современных нейронках одна из ключевых проблем интерпретируемости — полисемантичность, когда отдельные нейроны энкодят сразу несколько разных понятий. Sparse autoencoders (SAE) решают эту проблему, обучаясь реконструировать скрытые состояния модели при условии активации лишь небольшого числа нейронов. Метод SAE Match развивает эту концепцию, предлагая data-free технику сопоставления признаков между различными слоями нейросети — исследователи из T-Bank AI Research могут анализировать, как трансформируются признаки при прохождении через модель, не прогоняя через нее новые данные.

Технически SAE Match работает через сопоставление параметров автоэнкодеров, обученных на разных слоях. Ключевая инновация — техника parameter folding, которая интегрирует пороговые значения активации функции JumpReLU в веса энкодера и декодера. Это позволяет учитывать различия в масштабах скрытых состояний между слоями и находить перестановочные матрицы, которые оптимально выравнивают семантически схожие признаки. Авторы формулируют задачу как поиск матрицы перестановок, минимизирующей среднеквадратичную ошибку между параметрами SAE, что математически соответствует максимизации скалярного произведения Фробениуса.

Исследователи валидировали свой подход на языковой модели Gemma 2, минимизируя среднеквадратичную ошибку между параметрами SAE для поиска оптимальных перестановочных матриц, которые выравнивают семантически похожие признаки. Эксперименты показали, что сопоставление признаков работает оптимально в средних и поздних слоях (после 10-го), с сохранением семантической целостности на протяжении примерно пяти последовательных слоев. Это позволяет отслеживать изменения концептов по мере распространения информации через архитектуру сети.

У метода есть практическое применение и в прунинге — авторы успешно аппроксимируют hidden state при пропуске слоев, через операцию кодирования-перестановки-декодирования. Это фактически позволяет оптимизировать модель без существенного снижения качества.

Методология оценки результатов тоже интересная — авторы использовали внешнюю языковую модель для анализа семантического сходства сопоставленных признаков, классифицируя их как "SAME", "MAYBE" или "DIFFERENT". Это позволило объективно оценить качество сопоставления и подтвердить, что метод действительно работает. Статья едет на ICLR 2025 в конце месяца, что показывает её значимость.
ПДФка

👉Новости 👉База вопросов

#Собес #pandas
🤔 Какие существуют способы создания DataFrame в Pandas?

B Pandas DataFrame МОЖНО создать несколькими способами:
-Пустой DataFrame - pd. DataFrame .
-Из списка - pd. DataFrame (list) .
- Из списка списков - pd. DataFrame (list_of_lists) .
- Из словаря списков - pd. DataFrame(dict_of_lists).
- Из списка словарей - pd. DataFrame (list_of_dicts) .
-Из Series - pd. DataFrame (pd. Series ()) .
-Из CSV или Excel - pd. read_csv() , pd.read_excel().

👉Новости 👉База вопросов