На text-to-image leaderboard на HF появилась загадочная red_panda которая рвёт все остальные модели аж на 29 elo points.

Это такой новый флекс: сначала выкладываешь анонимно модель которая всех рвет, держишь интригу неделю, и потом громко рассказываешь.

На этот раз будет чем гордиться 😉 (нет, не тбанк)
Как откроются - расскажу!

red_panda это https://www.recraft.ai/ - стартап Анны-Вероники Дорогуш, создательницы CatBoost. Аня - соло фаундер, редкий тип фаундеров.

Ребята делают AI-генеративные инструменты для дизайнеров. И делают их командой лучших в мире инженеров.

В очередной раз видим что для создания AI-компании нужны топовые инженеры. Просто идеи и желания недостаточно.

Recraft go! ❤️

Понеслась жара. OpenAI запустил поиск по интернету внутри ChatGPT.

Сразу подключили вертикальные инструменты: источники новостей, погоды, стоков и так далее. The way to go!

Пока что только в 4o модели.

https://openai.com/index/introducing-chatgpt-search/

https://toloka.ai/ - международный спин-офф проекта Яндекса по разметке.

Ребята переключились на GenAI: evaluation, разметка для SFT и RLHF. Это основной заработок компании сейчас.

Клиенты - компании, которые создают LLM с нуля или затачивают LLM на профессиональные домены. Толоку использует, например, Amazon.

Если раньше им были нужны дешевые разметчики которые могут отделять кошек от собак, то теперь нужны эксперты по вертикалям знаний. Стоимость заданий для таких специалистов может быть в 100 и 1000 раз больше. Фактически, ребята строят комьюнити экспертов в 40+ вертикалях знания. Вот тут можно посмотреть кого ребята ищут, оч интересно - медицина, финансы, логистика и так далее.

Ребята базируются в Амстердаме и являются частью Nebius Group

The days are long but the decades are short

Сэм Альтман написал пост с жизненными принципами. Он классный, очень советую вчитаться.

Сэм написал его 10 лет назад. Ему было 30 лет. Через 8 месяцев после поста был основан OpenAI.

Записки из Лондона

Был в Лондоне, прошелся по менеджерам, фаундерам и инженерам из индустрии. Хайлайты:

1. Лондон – отличная база для международного предпринимательства.
UK-based это уважаемо, таймзона подходит для работы с разными локациями, инженеров из РФ выдернуть можно, инвесторы из US тоже доступны. Летать удобно.

2. AI индустрия умеренно развивается и представлена.
В Москве у меня свербящее ощущение, что где-то там люди творят великие дела: строят всякие опенэай и перплексити, делают стартапы и вообще уже в сингулярности.
Так вот. Лондон - такая же деревня но с work life balance и бумажной почтой ) Есть классные проекты и люди, ну они и в Москве есть.

3. Денег в найме в Лондоне платят мало. Если ты engineering manager и удачно устроился, будешь получать £300к+, из которых 40% уйдет в налоги. Это включая US бигтехи. В US на тех же позициях можно получать в 2+ раза больше. Выше £500k я так понимаю практически не бывает.
Я знаю что это многим может показаться как много, но с Лондонскими тратами это совсем не так.

4. Жить в Лондоне людям нравится :)
Как и везде много сложностей, основная - очень дорого жить, и это в сочетании с предыдущим пунктом. Но плюсов тоже много. Если есть деньги, минусы перекупаются.

Кстати, пасмурный Лондон это предрассудки - он сильно более солнечный чем Москва. Знаю ребят которые переехали и купили в Лондоне пятиэтажку (ребята привет😅)

Пишите в комментах где я обманул и дополняйте

Pieter Levels

Давайте расскажу про этого очень любопытного персонажа.

Pieter Levels на потоке клепает технологические бизнесы.
- в одиночку (!)
- без внешних инвестиций (!)
- уже 50+ бизнесов с общим годовым доходом в $3M+ (!).

А еще он живет с одним рюкзаком, ездит по всему миру, работает из всяких джунглей и проповедует номадский образ жизни. Батя номадского движения. Он строит digital nomad инфраструктуру вроде сравнения локаций для номадов и биржи для номад фрилансеров.

Активно использует самые разные copilot/automation инструменты чтобы делать всю работу его бизнесов без людей. У него нет наёмных сотрудников - это такая философия. Код пиши сам, работу автоматизируй и так далее.

В последнее время начал делать AI-workforce бизнесы вроде AI-менеджеров и AI-редакторов. Агенты, все как мы любим.

Почитать его проще всего в Твиттере и есть лонг интервью с Лексом

А еще вышло мое большое интервью для Kept

Рассказываю про наш подход к AI и объясню зачем мы опенсорсим модели. Получилось классно, доволен ) заходите почитать или послушать, есть и видео

Наши ребята записали интересный подкаст про LLM-приложения, агенты и инструменты вокруг LLM.

Если хотите понять как создавать решения на базе LLM и как на наших глазах строится новая инженерия которой раньше не было, идите смотреть.

Я считаю что это будущая инженерия почти любых инженерных решений. Новая база. Хотите оставаться актуальными - идите смотреть.

Смотрите, Lex Fridman и Vitalik Buterin говорят по-русски )
Точнее, Лёша Фридман и Виталик Бутерин

Обложка для видео 💀

https://www.youtube.com/watch?v=4XkFY9IsACk

Большие модели нужны редко. На продакшне не нужны почти никогда.

Мы изначально взяли подход "SLM + допретрен + файнтюн": небольшие модели, делаем допретрен на русский и наш домен, и потом делаем файнтюны на задачи. Это быстрее, дешевле и эффективней.

Это слайд с рабочей встречи - на очередном новом кейсе выигрыш нашего файнтюна маленькой модели против GPT-4. С первого раза такой результат.

В данном случае файнтюн gemma9b, допретрен на русском языке + бизнес домене, с большим запасом перебивает gpt4. gpt4o на конкретно этой задаче работает ещё хуже, так бывает.

For an LLM of equivalent performance, the cost is decreasing by 10x every year

Фонд a16z выпустил короткую заметку в которой раскрывают простую идею: если смотреть в прошлое, то для фиксированной сложности модели стоимость инференса (одного вызова модели) падает примерно в 10 раз каждый год.

Это верно и для тех уровней сложности, которые тогда казались "невероятными". То есть можно сделать предположение, что сегодняшние "невероятные" уровни сложности моделей (e.g. 4o) так же будут дешеветь со скоростью в 10 раз в год.

Тут есть много оговорок: используют они MMLU (так себе мерило), график строят примерно по трём точкам, и вообще "всё слишком меняется".

Но я считаю пойнт вполне верным. И будущее в бизнесах и технологиях нужно планировать исходя из этого. Сегодняшние и завтрашние топовые модели будут стремительно дешеветь.

Продукты 24!!! Большая продуктовая конференция от Т

В АРМЕ 😉, следующий четверг

Днём расскажу про AI и его влияние на все продукты
Вечером играю диджей-сет

Записывайтесь https://producty24conf.tbank.ru/

Регистрация на физическое присутствие закончилась, но у меня есть немного билетов для вас )

Первым пяти кто напишет в комменты «хочу билет» выдам!
Только чур потом дойти!

upd: билеты улетели за минуту

Perplexity запускает первые эксперименты с рекламой

Самый яркий new age альтернативный поиск запускает рекламную модель рядом с подписочной. В блоге ребята объясняют это через создание robust and self-sustaining business.

К сожалению, для информационных сервисов подписка не является устойчивой бизнес-моделью. Причина проста: люди привыкли что информация бесплатна. И это действительно так: Google бесплатный, Youtube открыт, и так далее. Хочешь построить большой бизнес на информации - делай рекламу или будешь бутиковым бизнесом для избранных и без денег на технологии.

Рекламу обещают делать явной (с пометками) и не передавать personal data рекламодателям. Это стандартные принципы хорошего тона.

Тестовый формат - первая позиция в доспрашиваниях. В сам ответ вставлять на текущий момент не хотят. Я видел у Bing эксперименты когда в первый кусочек текстового ответа вставляется sponsored кусок текста - это тоже вариант. Ещё бывают sponsored "карусельки" офферов в основном ответе.

Посмотрим, что придумает Яндекс.

Экосистемы и китайский сценарий

Все крупные игроки в РФ отстраивают свою экосистему. Строят от якорного продукта: Яндекс это поиск, Сбер и Т это банк, Озон это маркетплейс и так далее. Но дальше все строят всё остальное: банки, рекламу, маркетплейсы, самокаты и так далее. Дорамы 😅

Это рынок экосистем, или китайский сценарий.

Связано это, прежде всего, с маркетингом. Разница в стоимости привлечения на независимый апп и на приложение в супераппе - в разы. Даже если это отдельное приложение продукта экосистемы, все равно работает общий бренд, большие экосистемные бюджеты на привлечение и сквозная программа лояльности.

Влияет сильно помятый рекламный рынок: игроки ушли, новые не пришли. Гугла нет (вместе с YouTube).

Интересно, что долгосрочно проигрывает в таком сценарии именно поиск. В какой-то момент экосистемы перестают позволять по себе искат снаружи, да и людям это уже не нужно, проще внутри поискать. В Китае это уже наблюдается.

Следим за развитием событий, ваш @singularityfm