epsilon correct – Telegram
epsilon correct
7.65K subscribers
168 photos
7 videos
3 files
223 links
Машинное обучение, графы, языковые модели. Чуток про карьеру исследователя в FAANG, путь PhD и щепотка полезной математики.
Связаться с автором: @deltaincorrect. Рекламы в канале нет.
Download Telegram
И теперь постеры с ICLR, которые мне понравились
👍52🔥23🤣41
Обновился Gemini 2.5 Pro

В этой мини-обнове упор на кодинге, вижне и тулколлинге.
В результате прыжок 🙌 на 150 Эло на WebDev Arena от мартовской 2.5 Pro, отрыв от второго места – Соннета 3.7 – больше 50 Эло.

В Vision arena тоже скачок на 50 Эло. На текстовой версии – тоже прибавка в 10 Эло.

Поиграться, как обычно, можно в AI Studio. В релиз модель выйдет к Google I/O.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5410🍓6😢1🥴1
Google IO

Сегодня выкатили много моделей и показали много демок, хочется отметить самые, на мой взгляд, интересные с точки зрения возможностей моделей:

1. Gemini Pro Deep Think – новый режим с параллельным рассуждением модели, существенно помогает в сложных задачах математики и кодинга. Будет доступен в подписке за $250/мес 🤑 вместе с Veo 3.
2. Gemini Diffusion – превью самой настоящей текстовой диффузинки – в пять раз быстрее Gemini Flash, ~1500 tok/s на TPU 🏃‍♂️ – быстрее, чем 8B LLaMa на Groq.
3. Gemini Flash 2.5 05-20 (простите за нейминг 🙏) – сильно улучшился кодинг.
4. Imagen 4 – новая модель генерации изображений в ~3 раза быстрее GPT Im1 при схожем качестве. Доступен Model Card.

Моё сердечко, конечно, лежит с Gemma 3n, которую покажут в секции Developer Keynote. Моделька на 4 миллиарда параметров, у которой на LLM Arena скор на уровне Sonnet 3.7. Также доступны уменьшенные модели, которые получаются из того же файла с весами, так что можно динамически выбирать скорость модели под задачу. Я много полировал данные для этой версии, примерно треть токенов прошли через мои ручонки.
Please open Telegram to view this post
VIEW IN TELEGRAM
2🔥8829🤯5👍2🤪1
This media is not supported in your browser
VIEW IN TELEGRAM
Veo 3 пока выглядит как самая расцензурированная моделька гугла, так что зловещая долина ловится на раз-два.
🔥62👍8😭63🥴3👎1
Не вайб-кодингом единым

Для сайд-проекта на работе понадобилось сгенерировать много маленьких неизоморфных графов. Для этого есть проверенный временем пакет утилит nauty, написанный в бородатом 1991 году. В основной утилите geng для генерации графов – примерно 10 тыс. строк кода на довольно оптимизированном C. Из комментариев вида
Sep 22, 1996 : Improved 1-2% by tweaking refinex().

можно догадаться, что код довольно много оптимизировался. Ради интереса я попробовал попросить Claude Code ускорить утилиту и не возвращаться, пока не получится. У клода вышло ускорить всё на 7.5% за несколько минут работы. Интересненько.
👍84🥴26🤯147🔥4
Всё-таки нравится работать в компании, где на глупенький 😛 технический вопрос в общем чате тебе отвечает нобелевский лауреат, ещё и псевдокод накидал.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍124💅49🔥20🙏9💔98🥴6👏5
Please open Telegram to view this post
VIEW IN TELEGRAM
40🥴31🤬3🍓2
Qwen 3 embedding

На HuggingFace выложили веса самой маленькой моделькт из новой серии эмбеддеров на основе Qwen 3. Размерность 1024, матрёшка (можно использовать меньшую размерность с небольшой потерей качества), поддерживается 100+ языков, ретривал кода. На MTEB официально ещё не завезли.

edit: также выложили 8B веса
🔥35🥴2🤔1
Gemini 2.5 Preview 06-05

Выпустили последнюю перед официальным релизом версию Gemini 2.5 Pro. Пофиксили регрессии относительно версии 03-25, сота на Aider и humanity last exam. На арене +25 Эло относительно майской версии, +35 – на webdev arena. Сильно улучшили multi-turn.

Отдельное издевательство – выпускать версию 06-05 после 05-06. Считаю, что надо выпускать релизы начиная с 13 дня каждого месяца, чтобы избежать путаницы.
👍67🤣32🔥145🥴5
У High-Dimensional Probability Вершинина стал доступен драфт второго издания. Добавили больше 200 упражнений и сделали книгу более удобоваримой. 🥁

Как по мне, лучшая книга по основам вероятностных методов в приложениях к нашему с вами любимому датасаенсу.

pdf
Please open Telegram to view this post
VIEW IN TELEGRAM
👍53🔥2712
Gemini 2.5 Pro – теперь generally available. Финальной стала версия 06-05.

Также выпустили в превью 2.5 Flash Lite, по цене в три раза дешевле флеша 2.5 )на уровне с флешом 2), моделька с ризонингом. Хотели дешёвую рабочую лошадку – получите.
🔥703👎1
Также опубликовали статью (ищите меня на 10 странице авторов)0
👏45🎉20🔥5🥰1
Сегодня на улице – +40°C и отличное время, чтобы задуматься о том, где живу. Недавно нашёл очень толково сделанный сайт Weatherspark, который позволяет сравнивать города по погоде. Мой любимый график – температура по влажному термометру (статья в вики) – на сайте пересчитывается в humidity comfort level и сильно зависит от влажности. Мне от влажной жары тяжеловато, так что в Дубае было довольно тяжко, и даже в Нью-Йорке к концу лета бывает как в бане. 😎
Please open Telegram to view this post
VIEW IN TELEGRAM
35👍24
There is no antimemetics division.
Qntm. 2021.
#book_review

Книга – амальгамация набора рассказов с сайта SCP foundation, построенна вокруг идеи антимемов – идей, которые засекречивают ██ себя, по своей природе препятствуют ███ распространению. О них можно думать, как о ████ мемов, аномальные антимемы ██████ записать или запомнить, полностью ████████ их ████████.

████████ █ ██ Марион, ██████ ████ ████████. ████ отдела ██████ – в ██████ аномальных ████████, ████████ ██████. ██████ ██ █ ████. █ ███, книга ████, █/10.

P.S. Если вы ████ это и ██████ ██████, то, скорее всего █████ ██.
👍3728🤬9🤣6👀3🔥1🎉1
Все мы (надеюсь) писали оптимизированные кернелы под железо, но оптимизировали ли вы название своего кернела? Если нет – очень жаль, потому что CUDA кернел для attention на тритоне с "cutlass" в названии на 100 TFLOPs быстрее, чем без него. 🤫

В целом, куртке не впервой, да и у интела были подобные огрехи
Please open Telegram to view this post
VIEW IN TELEGRAM
👀59🤣23🤔8😭41
Техрепорт про Gemini 2.5 Pro выложили на архив – теперь с 3295 авторами. 👥👥👥
Please open Telegram to view this post
VIEW IN TELEGRAM
🥴7620🔥11👍9🤪9🤣6🍓1
Gemini Embedding теперь зарелижен как gemini-embedding-001 в Gemini API и Vertex AI. Модель относительно мартовской версии почти не изменилась. Цена – $0.15/Mtok против $0.13/Mtok у товарищей конкурентов.
🔥22👍62