Недавно CPO Лавки Никита Толстой (🫂 hugs bro) запустил агрегатор для телеграм каналов за несколько часов в обнимку с ChatGPT. Код Никита в жизни в целом писал, что важно.

На этом примере хочу донести простую мысль, которую подсмотрел в Y Combinator подкасте про replit.

Способность программировать с развитием технологий открывает всё больше возможностей.

- 20 лет назад опытный разработчик мог написать за пару часов сортировку. Вроде полезно, но не очень.
- 10 лет назад средний разработчик собирал за несколько часов небольшой сайт, если имел в этом опыт. Уже сильно больше пользы для общества.
- Сегодня Никита Толстой может собрать интеллектуальный законченный продукт без знаний конкретных библиотек и подходов и вообще с другой работы.

Завтра - больше.

Да, немного про no-code. Возможно, когда-нибудь и придет фаза победившего low-code/no-code, но пока что практика скорее обратная. Самые классные платформы ускоренной разработки основаны на генерации кода и возможности с ним работать, а не на blackbox кубиках.

Учитесь программировать.

Gigachat MAX / YandexGPT 4.0

Вчера два наших технологических лидера представили новые версии своих моделей. Да, день в день 🤔

Gigachat MAX — 32k контекста, серьезный прогресс по MERA
YandexGPT 4.0 — 32k контекста, "близки к gpt-4o"

Сравнить довольно сложно. Сравниваются компании по своим бенчмаркам, прямого сравнения как будто избегают, третьих площадок для сравнения скорее нет. Даже перевод mmlu у двух компаний разный.

По относительным позициям в бенчах мой вывод такой: модели довольно похожи и находятся на уровне "несколько лучше llama 3.1 70b" и "значимо ниже gpt-4o". Собственно, это их два основных конкурента на нашем рынке.

Долгосрочно, мерило — это рынок. Бенчмарки хороши для первичной оценки, но на практике всё может быть иначе. Это как разработчиков сравнивать по их характеристикам.

Радуюсь за ребят - оба релиза выглядят крутыми, особенно на фоне дикого отставания в железе.

Это Лёша Шевенков, CTO Hepsiburada, одного из крупнейших маркетплейсов в Турции. Их недавно купил Kaspi, казахстанский банк. Такой вот странный мир!

Лёша смеется при упоминании проблем с высокой ключевой ставкой в РФ. В Турции ключевая ставка - 50% 😅

На text-to-image leaderboard на HF появилась загадочная red_panda которая рвёт все остальные модели аж на 29 elo points.

Это такой новый флекс: сначала выкладываешь анонимно модель которая всех рвет, держишь интригу неделю, и потом громко рассказываешь.

На этот раз будет чем гордиться 😉 (нет, не тбанк)
Как откроются - расскажу!

red_panda это https://www.recraft.ai/ - стартап Анны-Вероники Дорогуш, создательницы CatBoost. Аня - соло фаундер, редкий тип фаундеров.

Ребята делают AI-генеративные инструменты для дизайнеров. И делают их командой лучших в мире инженеров.

В очередной раз видим что для создания AI-компании нужны топовые инженеры. Просто идеи и желания недостаточно.

Recraft go! ❤️

Понеслась жара. OpenAI запустил поиск по интернету внутри ChatGPT.

Сразу подключили вертикальные инструменты: источники новостей, погоды, стоков и так далее. The way to go!

Пока что только в 4o модели.

https://openai.com/index/introducing-chatgpt-search/

https://toloka.ai/ - международный спин-офф проекта Яндекса по разметке.

Ребята переключились на GenAI: evaluation, разметка для SFT и RLHF. Это основной заработок компании сейчас.

Клиенты - компании, которые создают LLM с нуля или затачивают LLM на профессиональные домены. Толоку использует, например, Amazon.

Если раньше им были нужны дешевые разметчики которые могут отделять кошек от собак, то теперь нужны эксперты по вертикалям знаний. Стоимость заданий для таких специалистов может быть в 100 и 1000 раз больше. Фактически, ребята строят комьюнити экспертов в 40+ вертикалях знания. Вот тут можно посмотреть кого ребята ищут, оч интересно - медицина, финансы, логистика и так далее.

Ребята базируются в Амстердаме и являются частью Nebius Group

The days are long but the decades are short

Сэм Альтман написал пост с жизненными принципами. Он классный, очень советую вчитаться.

Сэм написал его 10 лет назад. Ему было 30 лет. Через 8 месяцев после поста был основан OpenAI.

Записки из Лондона

Был в Лондоне, прошелся по менеджерам, фаундерам и инженерам из индустрии. Хайлайты:

1. Лондон – отличная база для международного предпринимательства.
UK-based это уважаемо, таймзона подходит для работы с разными локациями, инженеров из РФ выдернуть можно, инвесторы из US тоже доступны. Летать удобно.

2. AI индустрия умеренно развивается и представлена.
В Москве у меня свербящее ощущение, что где-то там люди творят великие дела: строят всякие опенэай и перплексити, делают стартапы и вообще уже в сингулярности.
Так вот. Лондон - такая же деревня но с work life balance и бумажной почтой ) Есть классные проекты и люди, ну они и в Москве есть.

3. Денег в найме в Лондоне платят мало. Если ты engineering manager и удачно устроился, будешь получать £300к+, из которых 40% уйдет в налоги. Это включая US бигтехи. В US на тех же позициях можно получать в 2+ раза больше. Выше £500k я так понимаю практически не бывает.
Я знаю что это многим может показаться как много, но с Лондонскими тратами это совсем не так.

4. Жить в Лондоне людям нравится :)
Как и везде много сложностей, основная - очень дорого жить, и это в сочетании с предыдущим пунктом. Но плюсов тоже много. Если есть деньги, минусы перекупаются.

Кстати, пасмурный Лондон это предрассудки - он сильно более солнечный чем Москва. Знаю ребят которые переехали и купили в Лондоне пятиэтажку (ребята привет😅)

Пишите в комментах где я обманул и дополняйте

Pieter Levels

Давайте расскажу про этого очень любопытного персонажа.

Pieter Levels на потоке клепает технологические бизнесы.
- в одиночку (!)
- без внешних инвестиций (!)
- уже 50+ бизнесов с общим годовым доходом в $3M+ (!).

А еще он живет с одним рюкзаком, ездит по всему миру, работает из всяких джунглей и проповедует номадский образ жизни. Батя номадского движения. Он строит digital nomad инфраструктуру вроде сравнения локаций для номадов и биржи для номад фрилансеров.

Активно использует самые разные copilot/automation инструменты чтобы делать всю работу его бизнесов без людей. У него нет наёмных сотрудников - это такая философия. Код пиши сам, работу автоматизируй и так далее.

В последнее время начал делать AI-workforce бизнесы вроде AI-менеджеров и AI-редакторов. Агенты, все как мы любим.

Почитать его проще всего в Твиттере и есть лонг интервью с Лексом

А еще вышло мое большое интервью для Kept

Рассказываю про наш подход к AI и объясню зачем мы опенсорсим модели. Получилось классно, доволен ) заходите почитать или послушать, есть и видео

Наши ребята записали интересный подкаст про LLM-приложения, агенты и инструменты вокруг LLM.

Если хотите понять как создавать решения на базе LLM и как на наших глазах строится новая инженерия которой раньше не было, идите смотреть.

Я считаю что это будущая инженерия почти любых инженерных решений. Новая база. Хотите оставаться актуальными - идите смотреть.

Смотрите, Lex Fridman и Vitalik Buterin говорят по-русски )
Точнее, Лёша Фридман и Виталик Бутерин

Обложка для видео 💀

https://www.youtube.com/watch?v=4XkFY9IsACk

Большие модели нужны редко. На продакшне не нужны почти никогда.

Мы изначально взяли подход "SLM + допретрен + файнтюн": небольшие модели, делаем допретрен на русский и наш домен, и потом делаем файнтюны на задачи. Это быстрее, дешевле и эффективней.

Это слайд с рабочей встречи - на очередном новом кейсе выигрыш нашего файнтюна маленькой модели против GPT-4. С первого раза такой результат.

В данном случае файнтюн gemma9b, допретрен на русском языке + бизнес домене, с большим запасом перебивает gpt4. gpt4o на конкретно этой задаче работает ещё хуже, так бывает.

For an LLM of equivalent performance, the cost is decreasing by 10x every year

Фонд a16z выпустил короткую заметку в которой раскрывают простую идею: если смотреть в прошлое, то для фиксированной сложности модели стоимость инференса (одного вызова модели) падает примерно в 10 раз каждый год.

Это верно и для тех уровней сложности, которые тогда казались "невероятными". То есть можно сделать предположение, что сегодняшние "невероятные" уровни сложности моделей (e.g. 4o) так же будут дешеветь со скоростью в 10 раз в год.

Тут есть много оговорок: используют они MMLU (так себе мерило), график строят примерно по трём точкам, и вообще "всё слишком меняется".

Но я считаю пойнт вполне верным. И будущее в бизнесах и технологиях нужно планировать исходя из этого. Сегодняшние и завтрашние топовые модели будут стремительно дешеветь.

Продукты 24!!! Большая продуктовая конференция от Т

В АРМЕ 😉, следующий четверг

Днём расскажу про AI и его влияние на все продукты
Вечером играю диджей-сет

Записывайтесь https://producty24conf.tbank.ru/