Как выигрывать Kaggle соревнования: LLM-анализ выигрышных решений
Примерно год назад энтузиаст с Kaggle по имени Дарек Клечек провел интересный эксперимент: он собрал все доступные описания (writeups) побеждавших на Kaggle за последние годы решений, пропустил их через LLM и свел по ним статистику о том, какие механики и алгоритмы оказываются "наиболее победными". Отчет у парня получился достаточно объемный, интересный, а местами и непредсказуемый.
Ну а мы не смогли пройти мимо и сделали разбор анализа Дарека на Хабр. В нем вы найдете:
➡️ много графиков
➡️ детали того, как все это было реализовано
➡️ кучу полезных выводов АКА ваш чек-лист для следующего ML-соревнования
Обязательно сохраняйте: https://habr.com/ru/articles/847462/
Примерно год назад энтузиаст с Kaggle по имени Дарек Клечек провел интересный эксперимент: он собрал все доступные описания (writeups) побеждавших на Kaggle за последние годы решений, пропустил их через LLM и свел по ним статистику о том, какие механики и алгоритмы оказываются "наиболее победными". Отчет у парня получился достаточно объемный, интересный, а местами и непредсказуемый.
Ну а мы не смогли пройти мимо и сделали разбор анализа Дарека на Хабр. В нем вы найдете:
Обязательно сохраняйте: https://habr.com/ru/articles/847462/
Please open Telegram to view this post
VIEW IN TELEGRAM
❤59👍27
Media is too big
VIEW IN TELEGRAM
На случай, вы еще не видели демку полноценной модели o1 с DevDay, которая просто взяла и на ходу за один промпт написала рабочее приложение для управления квадрокоптером.
👍55🤨40🔥21👀11🫡5😁2🤯2✍1❤1
А еще сразу после DevDay OpenAI сразу закрыла новый раунд финансирования: они привлекли $6.6 миллиаров
Это больше, чем бюджет некоторых африканских стран. При этом оценка стартапа составила $157 миллиардов. Раунд возглавила Thrive Capital, и, включая эти $6.6 миллиаров, валовые инвестиции в OpenAI достигли $17.9 миллиардов.
Самое интересное: OpenAI попросила инвесторов избегать вложений в кокурентов, таких как Anthropic и xAI. Вот она, здоровая конкуренция.
Это больше, чем бюджет некоторых африканских стран. При этом оценка стартапа составила $157 миллиардов. Раунд возглавила Thrive Capital, и, включая эти $6.6 миллиаров, валовые инвестиции в OpenAI достигли $17.9 миллиардов.
Самое интересное: OpenAI попросила инвесторов избегать вложений в кокурентов, таких как Anthropic и xAI. Вот она, здоровая конкуренция.
😁59👍15😐3❤1😎1
Продолжение истории про Reflection
Для тех, кто успел подзабыть: Reflection – это та самая модель Шредингера, которая породила так много споров в начале сентября (мы писали об этом случае тут). Вкратце, авторы наобещали невероятные метрики, а потом модель сдулась. Разрабы при этом написали, что у них почему-то "не получается воспроизвети результаты экспериментов".
Месяц про модель ничего не было слышно. А сегодня тот самый разработчик, у которого не воспроизводились эксперименты, написал, что готов "исправить ошибку".
Он выложил веса, код и другие артефакты и написал, что воспроизвел все, кроме двух показателей на MATH и GSM8K ("Scores differ due to a bug in the initial benchmarking code").
"Надеюсь, этот постмортем внесет ясность в то, что произошло", – написал он.
Для тех, кто успел подзабыть: Reflection – это та самая модель Шредингера, которая породила так много споров в начале сентября (мы писали об этом случае тут). Вкратце, авторы наобещали невероятные метрики, а потом модель сдулась. Разрабы при этом написали, что у них почему-то "не получается воспроизвети результаты экспериментов".
Месяц про модель ничего не было слышно. А сегодня тот самый разработчик, у которого не воспроизводились эксперименты, написал, что готов "исправить ошибку".
Он выложил веса, код и другие артефакты и написал, что воспроизвел все, кроме двух показателей на MATH и GSM8K ("Scores differ due to a bug in the initial benchmarking code").
"Надеюсь, этот постмортем внесет ясность в то, что произошло", – написал он.
😁33👍9❤4🤨3
Тайна модели blueberry раскрыта!
Контекст: примерно неделю назад на text-to-image арене появилась загадочная модель 🫐, точнее целых две. Они с отрывом порвали всех остальных и вышли на первое место по ELO. Все думали, что это новый Dall-E или SORA, но это оказалась…
Свежая FLUX1.1 от Black Forest Lab. Стартап анонсировал модель в Твиттере в в блогпосте, и ходят слухи, что раскатить ее могут уже сегодня🥳
Контекст: примерно неделю назад на text-to-image арене появилась загадочная модель 🫐, точнее целых две. Они с отрывом порвали всех остальных и вышли на первое место по ELO. Все думали, что это новый Dall-E или SORA, но это оказалась…
Свежая FLUX1.1 от Black Forest Lab. Стартап анонсировал модель в Твиттере в в блогпосте, и ходят слухи, что раскатить ее могут уже сегодня
Please open Telegram to view this post
VIEW IN TELEGRAM
😎61👍15❤6☃4
В дополнение к утренней новости про новый раунд финансирования OpenAI стало известно, что для компании еще и открыли кредитную линию на $4 млрд
Это возобновляемые деньги, стартап будет платить по ним примерно 6% (+- айти ипотека в России).
Получается, что общие инвестиции этого раунда перешагнули за $10 миллиардов😨
Это возобновляемые деньги, стартап будет платить по ним примерно 6% (+- айти ипотека в России).
Получается, что общие инвестиции этого раунда перешагнули за $10 миллиардов
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥44🤯14😁8👍1
Media is too big
VIEW IN TELEGRAM
По дизайну Canvas походит на Anthropic Artefacts: это отдельное окно рядом с чатом. Инструмент предназначен для задач, где нужно много править или пересматривать один и тот же проект. Он, в отличие от чата, будет лучше запоминать контекст + работать над конкретными разделами.
Например, при работе с текстом он может предложить правки конкретных кусочков, отредактирует длину, тон повествования или грамматику.
Но самое интересное – это, конечно же, код. Canvas просто идеально подходит для программирования:
— исправление багов
— код-ревью
— добавить комментарии
— перевести на любой другой ЯП
— добавить логи
В общем, мини VSCode прямо в чате на основе GPT-4o. И уже раскатили на Plus и Team!
Please open Telegram to view this post
VIEW IN TELEGRAM
❤59🔥22👍10🤨4
Ваши ставки, куда уйдет следующий ключевой сотрудник из OpenAI?
Anonymous Poll
20%
В Anthropic
13%
В Google
34%
Точно в Anthropic
34%
Откроет свою компанию
😁53🤪17🍓11👀4👍1
Как правильно отдыхать: пособие от Илона Маска
Стали известны подробности той самой AI-тусовки Илона Маска, которая проходила в бывшем офисе OpenAI (начинается уже многообещающе, да)? И это еще не принимая во внимание то, что вечеринка проходила день-в-день с OpenAI DevDay.
Вообще, изначально целью вечеринки было привлечение крутых специалистов в xAI. Однако, кажется, HR-бренд прокачать так и не удалось: уже спустя час Маск, буквально стоя на столе, вещал про то, что он выступает за свободную разработку ИИ, не обусловленную получением прибыли (интересно, в чей же огород камень?)...
Завершилась туса тоже эпично – пожарной сигнализацией (наверное, у Маска слишком сильно подгорело). Вишенка на торте: у эвакуировавшихся из здания людей замечали рюкзаки OpenAI.
В общем, записывайте идею на вечер пятницы
Стали известны подробности той самой AI-тусовки Илона Маска, которая проходила в бывшем офисе OpenAI (начинается уже многообещающе, да)? И это еще не принимая во внимание то, что вечеринка проходила день-в-день с OpenAI DevDay.
Вообще, изначально целью вечеринки было привлечение крутых специалистов в xAI. Однако, кажется, HR-бренд прокачать так и не удалось: уже спустя час Маск, буквально стоя на столе, вещал про то, что он выступает за свободную разработку ИИ, не обусловленную получением прибыли (интересно, в чей же огород камень?)...
Завершилась туса тоже эпично – пожарной сигнализацией (наверное, у Маска слишком сильно подгорело). Вишенка на торте: у эвакуировавшихся из здания людей замечали рюкзаки OpenAI.
В общем, записывайте идею на вечер пятницы
🔥54😁29👍9❤4🤨1
This media is not supported in your browser
VIEW IN TELEGRAM
Meta только что анонсировала Movie Gen – семейство фундаментальных медиа-моделей
Что может Movie Gen:
➡️ генрировать видео до 1080p с различным соотношением сторон
➡️ генерировать звук в формате video-to-audio и музыку
➡️ редактировать видео на основе промптов (промптом может быть текст или изображение)
По архитектуре трансформер, конечно. Самая большая модель имеет 30B параметров и обучена на контексте в 73K видеотокенов (это примерно 6 секунд 16fps).
В статье есть детали про данные, устройство латентного пространства, оптимизацию архитектуры и лоссов.
Что может Movie Gen:
По архитектуре трансформер, конечно. Самая большая модель имеет 30B параметров и обучена на контексте в 73K видеотокенов (это примерно 6 секунд 16fps).
В статье есть детали про данные, устройство латентного пространства, оптимизацию архитектуры и лоссов.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤🔥31👍10❤9🔥4🙈2
Please open Telegram to view this post
VIEW IN TELEGRAM
😁257👍19❤14🔥5🗿3🤩2😈1
Андрей Карпаты опять завозит контент на выходные: он за два часа сгенерировал 10 эпизодов подкаста про конспирологические теории
В программе: Антлантида, Антикитерский механизм, тайна Марии Целесты и многое другое
Сценаристы и режиссеры-постановщики: ChatGPT, Claude, Gemini
В ролях: NotebookLM
Художник: Ideogram
Уже доступно на Spotify
В программе: Антлантида, Антикитерский механизм, тайна Марии Целесты и многое другое
Сценаристы и режиссеры-постановщики: ChatGPT, Claude, Gemini
В ролях: NotebookLM
Художник: Ideogram
Уже доступно на Spotify
👏62😎18❤11😁8🤪7👍3
Новость дня: активисты разослали необычные посылки Сэму Альтману, Марку Цукербергу и президенту комиссии ЕС
Внутри оказались… перчатки с шестью пальцами. Так сообщество Saidot хотело напомнить бизнесменам про их ответственность за дипфейки, авторские права и угрозу ИИ в целом.
И это не все. Под раздачу неожиданно попала еще и Скарлетт Йоханссон, голосом которой когда-то якобы говорил gpt-4o.
Интересный выбор😁
Внутри оказались… перчатки с шестью пальцами. Так сообщество Saidot хотело напомнить бизнесменам про их ответственность за дипфейки, авторские права и угрозу ИИ в целом.
И это не все. Под раздачу неожиданно попала еще и Скарлетт Йоханссон, голосом которой когда-то якобы говорил gpt-4o.
Интересный выбор
Please open Telegram to view this post
VIEW IN TELEGRAM
😁82👍14🙈9🤗4❤2
Мини-подборка новых статей выходного дня, которые точно стоит прочитать:
⚙️ Обучаемый метод прунинга от Nvidia. Основан на идее Semi-Structured прунинга, но, в отличие от классических подходов, маска прунинга выбирается не вручную, а с помощью стохастического алгоритма.
Подробнее – в нашем разборе статьи.
⚙️ Новый метод генерации синтетических 3D-данных для беспилотных авто. Self-driving – сфера, где синтетика нужна больше всего, но где генерировать ее качественно очень сложно. SytheOcc из статьи использует MIPs и ребалансировку, и это впервые позволяет решить одновременно и проблему учета глубины сцен, и вопрос детальной управляемости геометрии.
Подробнее – в нашем разборе статьи.
⚙️ Закон слабого звена: ученые из Meta предложили новый бенчмарк. Они показали, что существующие тесты проверяют только базовые навыки по отдельности, в то время как в задачах реального мира, для которых требуется объединение способностей, модели перформят сравнимо хуже.
Подробнее – в нашем разборе статьи.
Подробнее – в нашем разборе статьи.
Подробнее – в нашем разборе статьи.
Подробнее – в нашем разборе статьи.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍34🤯8❤4🔥3