Завтра приходите на IT-пикник слушать про GPT-продукты! Состав звёздный, будет интересно. 16:00 продуктовый шатёр

Продолжаем выкладывать записи с Turbo ML Conf, найти можно на нашем youtube.

Сегодня выложили NLP. Особенно рекомендую доклад Артура про подходы к построению LLM-приложений, нам тут есть что сказать! Ну и конечно доклад Толи Потапова про нашу T-Lite - under the hood.

▫️Полтора года с ChatGPT. Артем Бондарь, Head of NLP, Т-Банк
▫️Как сделать хороший перевод документов на базе LLM. Николай Карпачев, руководитель группы базового качества машинного перевода, Яндекс
▫️Подходы к построению LLM-приложений. Артур Самигуллин, руководитель платформы LLM, Т-Банк
▫️LLM для автоматизации поддержки. Ирина Степанюк, руководитель NLP-команды, Т-Банк
▫️Строим сильную базовую LLM на основе открытых моделей. Анатолий Потапов, руководитель группы фундаментальных технологий LLM, Т-Банк
▫️Вредные LLM‑советы для непослушных NLP‑разработчиков и их продактов. Иван Самсонов, руководитель прикладных исследований ИИ, AI VK

Кто на нашей llmarena занял четвертое место (второе по rank) – тот мы!
Вообще шокирующее хороший результат, обогнать llama 3.1 405b, Яндекс и Сбер - такого мы даже не планировали.
p.s. воспринимайте спокойно, это просто бенчмарк - со своими нюансами.

Пользуясь случаем - по MERA мы пятые из представленных и первые из опенсорс ❤️‍🔥

Смотрите какие ребята интересные - создание приложений и воркфлоу на базе любых моделей с помощью "программирования на тексте" - своеобразной маркдаун-разметкой.

Видео всё объясняет

Думаю, большая часть текущей разработки уйдет в подобные решения.

https://www.wordware.ai/

Привет, я ищу легенду.

Я ищу CPO на AI пользовательские продукты в Т-Банк. Строить ассистенты, умные камеры, поиски и прочие продукты будущего на базе AI.

Позиция искренне очень крутая - топовая команда, топовые технологии, масштаб всей компании и шире, и много свободы.

Описание тут

Если вдруг знаете кого посоветовать - тоже пишите.

Писать напрямую мне

Ниже цитата про крутость моделей от CEO Perplexity. Модели не важны, важен фокус на опыт пользователя.

Основная модель perplexity, кстати, это дообученная llama.

Я очень рекомендую весь подкаст

Lex Fridman: So in the future, you hope your model to be the dominant or the default model?
Aravind Srinivas: We don’t care.
Lex Fridman: You don’t care?
Aravind Srinivas: That doesn’t mean we are not going to work towards it, but this is where the model-agnostic viewpoint is very helpful. Does the user care if Perplexity has the most dominant model in order to come and use the product? No. Does the user care about a good answer? Yes. So whatever model is providing us the best answer, whether we fine-tuned it from somebody else’s base model or a model we host ourselves, it’s okay.
Lex Fridman: And that flexibility allows you to-
Aravind Srinivas: Really focus on the user.

В свежем исследовании от ИТМО мы вошли в топ-3 компаний, вкладывающихся в Open Source в AI! В честь этого хочется еще раз упомянуть некоторые из наших разработок:

🏂T-Lite – наша LLM (а также Instruct версия)
⚡️ETNA – мульти-тул для Time-Series
🐊Research – множество репозиториев, которыми мы подкрепляем наши научные исследования
🐖Turbo Alignment – библиотека LLM alignment с реализацией широкого спектра методов

Если вы вдруг что-то из этого пропустили, то самое время накинуть звездочек и попробовать заиспользовать у себя.

Исследование опубликовано здесь.

Очень прикольно следить за размышлениями o1 над сложной задачей.

Особенно на контрасте со мной, кожаным мешком. Мой chain of thoughts во-первых медленней в 100 раз, во-вторых на втором звене обычно заканчивается 😅

Изучаю платформы для построения LLM-приложений. Пока что с точки зрения продукта фаворит с отрывом это https://relevanceai.com/

У них есть:
- Очень понятная собиралка агентов и пайплайнов из агентов
- Великолепный конструктор тулов
- Возможность втыкаться кодом на питоне в тулы
- Классные интеграции и с каналами, и с внешними триггерами (а-ля запускать агента по тычку из zapier)

Ну и как все такие хорошие платформы они model agnostic

Здесь Альтман говорит про «one man unicorn» - компанию на 1B из одного человека. Классный тренд, я за ним слежу.

Образ будущего здесь такой: у руководителя бизнеса вместо работников шуруют цифровые агенты. Один разбирает заявки на почте, другой карточки товаров создает, третий бухгалтерию ведет, и так далее.

Те, кто пробовал такое делать, знают, что пока что сложновато получается: модели нестабильны, качество обеспечивать сложно, платформ удобных нет и так далее. Но все это улучшается.

А вот преимущества таких агентов неоспоримы:
- Работают стабильно и 24/7. Не болеют, не ходят в декрет
- Дешевле; и чем дальше тем более дешёвые
- Масштабируются по кнопке

Понятно что люди тоже останутся и это скорее комбинация. Тем более что физический мир роботам пока плохо удаётся.

Но уже понятно что новый навык управления и работы это создание, обучение и контроль таких агентов.

Потрясающий материал по ML для обычных людей.

Если вы хотите разобраться в ML в деталях но без цели быть инженером - золотой контент для вас!

https://vas3k.blog/blog/machine_learning/

Часто хожу по улице и говорю с gpt-4o advanced voice mode в режиме звонка.

Можно обсудить сложные темы на высоком уровне - знаний в ней больше чем в среднем человеке. Можно обсудить личные дилеммы и попросить поработать коучем. Можно попросить быть преподавателем по языку и корректировать английский.

Как замена тренировки разговорного языка уж точно лучше кожаных партнеров - знаний больше, всегда доступен, в любой момент трубку положил.

Long memory тоже есть и со временем погружать в контекст нужно все меньше. Все как с людьми.

Пользуйтесь!

OpenAI выпустили MLE-bench - новый сложный бенчмарк для LLM.

По сути это бенчмарк в котором одни модели должны учиться обучать другие модели. Ну то есть обучать себе подобные системы.

o1 выбивает уже неплохие 16.9% бронзовых мест в их наборе Kaggle соревнований.

Что там по сингулярности?

На этой неделе в Китае, буду кидать интересные AI-решения и другие приколы из местных сервисов.

В JD - второй по размеру маркетплейс - встроен свой тик-ток на второй вкладке. Любое видео можно ставить на паузу, найти все товары на кадре и положить в корзину. Довольно круто!

Baidu - 65% поискового рынка в Китае. Вот такую милую девушку ассистента имеют в приложении, с виду она довольно бесполезная.

Интересно другое.

Классический поиск в Китае не такой уж роскошный бизнес как в других странах. Очень закрытые экосистемы (WeChat, etc) не дают нормально искать по ним. Поиск как бизнес в Китае в 3-4 раза меньше чем в USA относительно остального технологического сектора в стране (o1 research)

В кулуарах рассказали что Baidu не очень на него ставят долгосрочно, хотя сейчас это основной источник дохода. Экосистемы будут закрываться все больше и трафик будет жить внутри этих экосистем. В Китае не строят perplexity, это не имеет смысла.

Компания перестраивается в технологического провайдера AI решений. Основные ставки: self-driving и ai b2b решения. Ресурсов вваливают много: 100к+ видеочипов имеются, например.

Интересно, насколько рынок РФ будет превращаться в рынок закрытых экосистем. Пока что это не очевидно.

Alipay - главная платежная система страны с дневной аудиторией около 500 миллионов человек. Это три с половиной России каждый день.

А на второй вкладке у них - дорамы. Дорамы! Видеосериалы 🥴

Они вставляют их чтобы растить время в приложении и бороться с тиктоком.

Кажется, в этом месте цивилизация свернула не туда 😅

Дикий замес вокруг Китая, Тайваня и чипов для AI

На фоне новостей о китайских учениях вокруг Тайваня давайте расскажу в чем суть дела.

TSMC (Тайвань) - безусловный лидер в производстве самых передовых чипов для AI. На их можностях работают Nvidia и AMD. Крупные фабрики есть еще у Intel и Samsung. Фактически все кто хотят производить крутые чипы идут в TSMC.

У TSMC есть запрет на производство для Китая топовых чипов, так как они используют технологии США.

Все производители чипов живут на оборудовании одной компании - нидерландская компания ASML. Она делает топовые станки для литографии, позволяющие делать чипы на 7nm и 5nm. Больше никто в мире не умеет, совсем.

Компания ASML может продавать станки только с разрешения голландского правительства. Которое это разрешение Китаю не дает (как и России, кстати).

То есть, для Китая:
- станки для производства закупать не дают;
- заказать производство не дают;
- покупать Nvidia тоже толком не дают;
- все эти заводы и станки находятся в Тайване который прямо рядом с Китаем и который они считают своей территорией.

И примерно все топовые чипы Nvidia производятся на этом же клочке земли.

Такой вот замес!

Вот это прикольная тема. Автопилот Baidu видит участников движения не только своими глазами, но и глазами дорожных камер.

В Китае есть государственная система обмена информацией в которую можно воткнуться если ты делаешь self-driving. И это позволяет видеть в том числе участников движения вне зоны видимости. На видео - желтым цветом.

Они вместе с правительством двигаются к роевому управлению флотом. Это когда автопилоты знают друг про друга и управляются совместно. Если при этом убрать живых водителей, можно разогнать машины по скорости и при этом сделать движение безопасней.