Теперь любимый мем админа

Apple переманивает десятки инженеров из Google для своего ИИ-проекта

По данным FT, в последнее время Apple массово расширенияет подразделения по ИИ и ML. Больше всего новых сотрудников пришли из Google (речь идет о десятках).

Самым значимым стал переход главы лаборатории ИИ Google Brain Джона Джаннандреа, который пришел на руководящую должность в Apple. Затем его примеру последовали не менее 36 инженеров Google.

Вот такая нынче реальность, борьба БигТеха идет не за их выбор пользователем, а за выбор их компании разработчиками.

Внимание: градиентный спуск

Google подружили Gemini с медициной

Вчера вышла новая статья от исследователей из Google, в которой они файнтюнят свою LLM для медицинских задач. Кстати, в ней 71(!) соавтор.

Файнтюнили на датасете, схожем с Med-PaLM2, но с добавлением self-training с поиском. Идея:
1) просим модель сгенерировать поисковой запрос по вопросу, иначе говоря "загуглить" то, что у нее спрашивают
2) на основе результатов запроса генерим с помощью модели цепочки мыслей
3) фильтруем ложные цепочки, а на остальных дообучаем модель
4) с дообученной моделью возвращаемся к пункту №1

Итеративные алгоритмы сбора данных сейчас в моде, это исследование не стало исключением. Еще ученые прикрутили поиск с учетом неопределенности и дополнительную генерацию запросов для решения конфликтов среди ответов модели.

Конечно же, Med-Gemini выбила SOTA. Результат: 91% на MedQA. Обратите внимание: это всего на 1п.п. лучше GPT-4, который специально не файнтюнился под медицину. Кроме того, стоит отметить, что MedQA - классический, но далеко не лучший бенчмарк для оценки такой модели (исследование).

Продолжается дикая погоня за ИИ-специалистами. На этот раз новости из Apple.

Как мы уже слышали, за 10 лет Apple скупила около 20 ИИ-стартапов, в первую очередь из-за людей. В том числе корпорацией выкуплены FaceShift, Fashwell, Emotient и другие.

Но это не все. Оказывается, Apple активно хантит сотрудников Google. С 2018 они переманили как минимум 36 топовых специалистов.

И еще одна интересная деталь: Apple рекламирует свои вакансии с работой из двух офисов в Цюрихе. При этом об одном из них неизвестно вообще ничего, на карте его нет и даже люди, живущие по соседству, не знают о его существовании.

Только секретных лабораторий нам не хватало…

Тот самый тимлид, у которого список статей размером с Войну и Мир и PhD в 19

Привет всем тем, кто хотел поглубже познакомиться с новым хайповым KAN, но осилить статью на 50 страниц с формулами не сумел

Для вас, любимые подписчики, мы менее чем за сутки с момента выхода статьи написали на нее обзор! В нем вы найдете:

– Легкое и непринужденное объяснение теоремы Колмогорова-Арнольда
– Ответ на вопрос «а почему до этого раньше никто не додумался?»
– Объяснение архитектуры KAN на пальцах
– Сравнение KAN с перцептроном
– Туториал по запуску KAN из коробки на Python

Прочитать разбор можно на нашем сайте: https://datasecrets.ru/articles/9

Да, мы запускаем сайт Data Secrets!

Там мы будем публиковать еще больше новостей, статей, разборов, полезных материалов, туториалов... В общем, все, что только может быть нужно Data Scientist'у.

Для нас это большой шаг в развитии проекта. Мы надеемся, что теперь будем вносить еще больший вклад в сообщество.

В знак поддержки принимаются 🔥

Качки 🤝 математики

А какой сегодня ты? 😎🤓

OpenAI, возможно, скоро выйдут на рынок с собственным поисковиком. Работать будет на основе GPT, конечно же. Движок будет анализировать источники, уточнять информацию и составлять на основе всего это суммаризированный ответ.

Такой опыт для OpenAI не первый. Прошлым летом они уже внедрили в своего бота ответ на базе поиска в Bing, то есть полноценный сёрчер станет просто расширением уже существующей технологии.

Сочувствуем акциям Google

Как собрать свой GPU с нуля за две недели, не имея никакого опыта:

Шаг 1: Изучить фундаментальную теорию устройства GPU
Шаг 2: Разработать собственную архитектуру GPU
Шаг 3: Написать собственный низкоуровневый язык для своей GPU
Шаг 4: Написать на этом языке два мат.ядра
Шаг 5: Забилдить GPU в Verilog и запустить ядра
Шаг 6: Спроектировать микросхему и верифицировать ее в OpenLane EDA
Шаг 7: Вы великолепны

Если вы подумали, что мы сошли с ума, то (пока еще) нет. Это реальная история инженера по имени Адам Маджмудар. Он действительно с нуля, без опыта проектирования GPU, за две недели разработал мини-видеокарту.

Полное описание всех этапов разработки можно найти в репозитории или в треде на X.

Вы знаете, что делать.

Вы просили постоянную рубрику «что почитать на выходных». Что ж, чего не сделаешь ради подписчиков: советуем любимую книгу админа