CEO Microsoft AI прогнозирует AGI максимум через 10 лет
Прочитал интервью генерального директора Microsoft AI Мустафы Сулеймана. Поражает сочетание футуризма и здравого смысла. Это подкупает и хочется верить в его прогнозы. Основные мысли из интервью:
- AGI нас ждет через 2-10 лет. Для этого потребуется 1-5 релизов видеокарт следующих поколений. После этого надо быть готовым, что огромное число работы будет делаться с помощью ИИ.
Вы же готовитесь, правда?)
- Партнерство OpenAi и Microsoft самое успешное партнерство компаний за всю историю. Microsoft инвестирует деньги и дает железо, OpenAi дает Microsoft технологию. Есть некоторое напряжение, что OpenAI их кинет, когда сделает AGI, но а кто бы на их месте не переживал?)
- Текущий поиск полностью сломан, люди просто привыкли к ужасному опыту использования. Мы вынуждены ломать голову над запросам, ходить по этим ужасным синим ссылкам, переформулировать запрос, чтобы нас поняли. LLM здесь все поменяет (Кстати, пользуйтесь Нейро, он уже поменял)
- ИИ полностью поменяет интерфейс взаимодействия с компьютером. Мустафа очень верит в голосовые интерфейсы. Вы будете просто разговаривать с компьютером, а после этого ИИ будет творить магию.
Я тут бы поспорил, меня бесит говорить с лампочкой, но каждому свое.
- Каждый браузер, поисковая система, приложение, бренд или блогер будут представлены в виде агенте с голосовым интерфейсом
- К этим агентам будут подключаться ваши персональные агенты, они будут решать всякие вопросики друг с другом, а вы будете отдыхать. Кто будет при этом смотреть рекламу решительно непонятно, но что-нибудь придумаем.
- Microsoft делает ставку на синтетические данные - это данные, сгенерированные одной моделью для обучения других моделей. Это должно компенсировать текущую нехватку данных в интернете. Кстати, на синтетических данных обучена Phi-4, которая рвет всех в классе маленьких моделей
Само интервью можно почитать тут: https://www.theverge.com/24314821/microsoft-ai-ceo-mustafa-suleyman-google-deepmind-openai-inflection-agi-decoder-podcast
Прочитал интервью генерального директора Microsoft AI Мустафы Сулеймана. Поражает сочетание футуризма и здравого смысла. Это подкупает и хочется верить в его прогнозы. Основные мысли из интервью:
- AGI нас ждет через 2-10 лет. Для этого потребуется 1-5 релизов видеокарт следующих поколений. После этого надо быть готовым, что огромное число работы будет делаться с помощью ИИ.
Вы же готовитесь, правда?)
- Партнерство OpenAi и Microsoft самое успешное партнерство компаний за всю историю. Microsoft инвестирует деньги и дает железо, OpenAi дает Microsoft технологию. Есть некоторое напряжение, что OpenAI их кинет, когда сделает AGI, но а кто бы на их месте не переживал?)
- Текущий поиск полностью сломан, люди просто привыкли к ужасному опыту использования. Мы вынуждены ломать голову над запросам, ходить по этим ужасным синим ссылкам, переформулировать запрос, чтобы нас поняли. LLM здесь все поменяет (Кстати, пользуйтесь Нейро, он уже поменял)
- ИИ полностью поменяет интерфейс взаимодействия с компьютером. Мустафа очень верит в голосовые интерфейсы. Вы будете просто разговаривать с компьютером, а после этого ИИ будет творить магию.
Я тут бы поспорил, меня бесит говорить с лампочкой, но каждому свое.
- Каждый браузер, поисковая система, приложение, бренд или блогер будут представлены в виде агенте с голосовым интерфейсом
- К этим агентам будут подключаться ваши персональные агенты, они будут решать всякие вопросики друг с другом, а вы будете отдыхать. Кто будет при этом смотреть рекламу решительно непонятно, но что-нибудь придумаем.
- Microsoft делает ставку на синтетические данные - это данные, сгенерированные одной моделью для обучения других моделей. Это должно компенсировать текущую нехватку данных в интернете. Кстати, на синтетических данных обучена Phi-4, которая рвет всех в классе маленьких моделей
Само интервью можно почитать тут: https://www.theverge.com/24314821/microsoft-ai-ceo-mustafa-suleyman-google-deepmind-openai-inflection-agi-decoder-podcast
The Verge
Microsoft AI CEO Mustafa Suleyman on what the industry is getting wrong about AGI
The head of Microsoft’s AI division on competing with Google and how to define superintelligence.
1👍9🔥4❤1❤🔥1🤔1🐳1👾1
Самое важное знание человечества по мнению Сэма Альтмана
У закона нет конкретного имени или формулировки, его сотни раз замечали и в покере, и в шахматах, и вот теперь в LLM.
Самая известная работа, в которой был описан этот закон для обучения трансформеров, определила развитие ИИ. Обычно такие законы называют законы масштабирования или scaling laws
Закон говорит, что ошибка модели зависит от трех величин: C - сколько вычислений вы использовали для обучения, D - размер датасета, N - сколько параметров в модели.
Теперь самое важное: эта зависимость офигеть какая точная (смотрите первую картинку) Посмотрите, как хорошо все точки кладутся на одну ровную линию. Я таких ровных прямых не видел, когда делал лабораторные по физике (возможно, конечно, дело во мне). Наклон этой линии определяет, как модель хороша при масштабировании - чем выше наклон, тем проще растить качество.
Все архитектуры можно и нужно масштабировать. Неважно, у вас сверточная сеть, рекуррентная LSTM-сеть или трансформер. Но все они масштабируются по разному. Сравните на 2 картинке наклон трансформеров и LSTM. Так как вычисления дешевеют, нужно брать ту архитектуру, которая масштабируется максимально хорошо.
C ростом параметров/данных/GPU растут все возможные метрики на различных задачах: перевод становится точнее, ответы на вопросы корректнее, задачи по математике начинают решаться. Даже текст, который генерирует модель, все сложнее и сложнее отличить от текста, написанного человеком.
Про этот закон сам Альтман сказал следующее:
Теперь вы понимаете, как Альтман планировал добежать до AGI: взять самую эффективную архитектуру в мире (трансформер), собрать все данные в мире (интернет) и собрать все венчурные деньги мира.
Но кое-что пошло не так. У Альтмана кончилисьденьги данные. Об этом я расскажу уже в следующих постах.
У закона нет конкретного имени или формулировки, его сотни раз замечали и в покере, и в шахматах, и вот теперь в LLM.
Самая известная работа, в которой был описан этот закон для обучения трансформеров, определила развитие ИИ. Обычно такие законы называют законы масштабирования или scaling laws
Закон говорит, что ошибка модели зависит от трех величин: C - сколько вычислений вы использовали для обучения, D - размер датасета, N - сколько параметров в модели.
Теперь самое важное: эта зависимость офигеть какая точная (смотрите первую картинку) Посмотрите, как хорошо все точки кладутся на одну ровную линию. Я таких ровных прямых не видел, когда делал лабораторные по физике (возможно, конечно, дело во мне). Наклон этой линии определяет, как модель хороша при масштабировании - чем выше наклон, тем проще растить качество.
Все архитектуры можно и нужно масштабировать. Неважно, у вас сверточная сеть, рекуррентная LSTM-сеть или трансформер. Но все они масштабируются по разному. Сравните на 2 картинке наклон трансформеров и LSTM. Так как вычисления дешевеют, нужно брать ту архитектуру, которая масштабируется максимально хорошо.
C ростом параметров/данных/GPU растут все возможные метрики на различных задачах: перевод становится точнее, ответы на вопросы корректнее, задачи по математике начинают решаться. Даже текст, который генерирует модель, все сложнее и сложнее отличить от текста, написанного человеком.
Про этот закон сам Альтман сказал следующее:
Cамое важное знание, обнаруженное в моей жизни, заключалось в том, что масштабирование моделей ИИ приводит к невероятным и предсказуемым улучшениям интеллекта. У меня был странный опыт, когда я рассказывал об этом другим людям, пытаясь уговорить других людей дать нам деньги на это.
Теперь вы понимаете, как Альтман планировал добежать до AGI: взять самую эффективную архитектуру в мире (трансформер), собрать все данные в мире (интернет) и собрать все венчурные деньги мира.
Но кое-что пошло не так. У Альтмана кончились
1👍13⚡5❤5🔥2🤔1🐳1
Друзья, нас уже больше сотни!!!
За месяц мы выросли в 100 раз, пока идем как лучшие стартапы Y Combinator :)
Спасибо, что читаете, комментируете и делитесь прочитанным!
Основное качество этого канала: я не рассказываю вам события из мира ИИ, я делюсь уже смыслами, которые из этих событий возникают. Событие это просто точка, надо их сначала соединить.
Что нас ждёт дальше:
- AGI без масштабирования обучения
- Куда нужно, а куда не нужно совать этот ИИ
- Кто и как на ИИ зарабатывает
- Почему я ненавижу промпт инженеров
…
- и еще много много смысла
Пишите в комментариях, что интересно вам узнать о мире ИИ)
За месяц мы выросли в 100 раз, пока идем как лучшие стартапы Y Combinator :)
Спасибо, что читаете, комментируете и делитесь прочитанным!
Основное качество этого канала: я не рассказываю вам события из мира ИИ, я делюсь уже смыслами, которые из этих событий возникают. Событие это просто точка, надо их сначала соединить.
Что нас ждёт дальше:
- AGI без масштабирования обучения
- Куда нужно, а куда не нужно совать этот ИИ
- Кто и как на ИИ зарабатывает
- Почему я ненавижу промпт инженеров
…
- и еще много много смысла
Пишите в комментариях, что интересно вам узнать о мире ИИ)
1❤12🔥7🎉6❤🔥2👍2🐳1
Масштабирование моделей закончилось?
Илья Суцкевер, один из основателей OpenAi, на конференции NIPS обрадовал нас, что халява прошла - просто растить модели и получать качество не получится. Почему? У нас закончились текстовые данные. Почему кончились данные, а не деньги? Закон Мура работает - железо дешевеет, а данные мы с такой скоростью не успеваем производить.
LLM учатся на данных из интернета, а интернет у нас один (внезапно) и полон мусора (но не этот канал).
Коллеги из Epoch Ai провели оценку и прикинули, что всего 20% данных интернета пригодны для обучения. В зависимости от роста потребления, мы истратим все текстовые данные между 2025 и 2028 годах. Больше данных нет. Еще и в этом смысле данные это нефть - у нас они есть, они двигают человечество, но запасы иссякают.
Как тогда достичь AGI
На этот вопрос в докладе пытается ответить Суцкевер.
Он выделил 3 направления:
1) Синтетические данные. Это данные, которые генерируют одни LLM, на которых потом обучаются другие LLM. Такой конвейер по переработке данных. Полезно, потому что можно переваривать "сырые данные", а на выход давать более качественные переботаннные. То есть финальную модель будем учить не на нефте, а уже на бензине.
2) Test-time compute или увеличение вычислений во время предсказания модели. Вы можете сразу же, с чистого листа, написать эссе, презентацию, программу? Или вам надо сначала крепко подумать? Вот, LLM тоже надо. Модель o-1 теперь перед ответом рассуждает, что офигеть как растит метрики на математике/программировании. Чтобы думать нужны вычисления, то есть тут мы растим вычисления не на обучение модели, а на предсказание.
3) Агенты. Вот мы научились рассуждать, но, для некоторых задач нужно уметь пользоваться калькулятором, узнать сегодняшнее число или даже отправлять сообщение кому-то в телеграмме. Нужно подключить LLM к внешним инструментам, которые используем мы для своих задач, иначе они тупо не будут решаться. Вот тогда вы сможете попросить GPT написать эссе, чтобы антиплагиат выдавал 95% уникальности :) Моделька будет редактировать эссе, ходить в антиплагиат и так пока не добьет до нужного процента.
Про каждую из этих тем я напишу отдельный пост, а пока расскажите в комментариях, что по-вашему самое перспективное? Где лежит highway to AGI?
Илья Суцкевер, один из основателей OpenAi, на конференции NIPS обрадовал нас, что халява прошла - просто растить модели и получать качество не получится. Почему? У нас закончились текстовые данные. Почему кончились данные, а не деньги? Закон Мура работает - железо дешевеет, а данные мы с такой скоростью не успеваем производить.
LLM учатся на данных из интернета, а интернет у нас один (внезапно) и полон мусора (но не этот канал).
Коллеги из Epoch Ai провели оценку и прикинули, что всего 20% данных интернета пригодны для обучения. В зависимости от роста потребления, мы истратим все текстовые данные между 2025 и 2028 годах. Больше данных нет. Еще и в этом смысле данные это нефть - у нас они есть, они двигают человечество, но запасы иссякают.
Как тогда достичь AGI
На этот вопрос в докладе пытается ответить Суцкевер.
Он выделил 3 направления:
1) Синтетические данные. Это данные, которые генерируют одни LLM, на которых потом обучаются другие LLM. Такой конвейер по переработке данных. Полезно, потому что можно переваривать "сырые данные", а на выход давать более качественные переботаннные. То есть финальную модель будем учить не на нефте, а уже на бензине.
2) Test-time compute или увеличение вычислений во время предсказания модели. Вы можете сразу же, с чистого листа, написать эссе, презентацию, программу? Или вам надо сначала крепко подумать? Вот, LLM тоже надо. Модель o-1 теперь перед ответом рассуждает, что офигеть как растит метрики на математике/программировании. Чтобы думать нужны вычисления, то есть тут мы растим вычисления не на обучение модели, а на предсказание.
3) Агенты. Вот мы научились рассуждать, но, для некоторых задач нужно уметь пользоваться калькулятором, узнать сегодняшнее число или даже отправлять сообщение кому-то в телеграмме. Нужно подключить LLM к внешним инструментам, которые используем мы для своих задач, иначе они тупо не будут решаться. Вот тогда вы сможете попросить GPT написать эссе, чтобы антиплагиат выдавал 95% уникальности :) Моделька будет редактировать эссе, ходить в антиплагиат и так пока не добьет до нужного процента.
Про каждую из этих тем я напишу отдельный пост, а пока расскажите в комментариях, что по-вашему самое перспективное? Где лежит highway to AGI?
YouTube
Ilya Sutskever: "Sequence to sequence learning with neural networks: what a decade"
Ilya Sutskever full talk "Sequence to sequence learning with neural networks: what a decade" at NeurIPS 2024 in Vancouver, Canada.
"Pre-training as we know it will end" and what comes next is superintelligence: agentic, reasons, understands and is self aware.…
"Pre-training as we know it will end" and what comes next is superintelligence: agentic, reasons, understands and is self aware.…
🔥9👍5❤4🏆3👾2❤🔥1😱1🐳1
Как надо делать ИИ стартап
Кажется, я надоел вам с AGI, давайте наконец обсудим деньги. Вокруг ИИ хайп, до 40% всех IT венчурных денег сейчас вваливают в ИИ.
Сейчас самая популярная идея: Вертикальный ИИ - это когда ты делаешь модель под отдельную индустрию: ИИ-юрист, ИИ-бухгалтер, ИИ-инженер, в конце концов. Есть хороший видос YCombinator про это. Я говорю, что большинство таких стартапов обречено. Потому что они неправильно понимают свою ценность.
Как мыслит основатель: есть крутая модель (GPT4, опенсорс, пофиг), она пока не может быть ИИ-юристом, я ее чуть-чуть докручу, в прыжке буду лучше GPT4 и стану богачом. Докручивают по разному: придумывают промпты (ненавижу), вставляют ифы (ненавижу, но понимаю), дообучают опенсорс (похвально, но тоже обречено) и тд. Всю их логику снесет новое поколение базовых моделей. Пока GPT не может быть ИИ-юристом. Через 2 года вы выгрузите в него нужные законы и все. Вся ваша логика уже никому не нужна.
Что делать?
Очень тупо в 2024 пытаться отгородиться от других за счет умности вашей модели, если вы не супер большая корпорация. Эти модели разрабатывает, блин, половина умнейших людей человечества. Используйте лучшие модели. Защищайтесь с помощью ваших данных.
Никто кроме вас не знает ваших клиентов. Никто не знает ваших методологий и протоколов. Никто не знает ваших накопленных годами успешных кейсов. Это все ваше конкурентное преимущество. Оцифруйте ваш бизнес и затем используйте в чужих моделях: в промтинге, в RAG, дообучении или как угодно еще. Не пытайтесь перегнать OpenAI, стойте на его плечах.
Это верно не только для стартапов. Вы всегда должны думать, что следующее поколение моделей будет еще умнее. Чтобы знать что делать и быть на стороже - читайте этот канал (спаси своего друга - сделай репост, еще и мне приятно)
Кажется, я надоел вам с AGI, давайте наконец обсудим деньги. Вокруг ИИ хайп, до 40% всех IT венчурных денег сейчас вваливают в ИИ.
Сейчас самая популярная идея: Вертикальный ИИ - это когда ты делаешь модель под отдельную индустрию: ИИ-юрист, ИИ-бухгалтер, ИИ-инженер, в конце концов. Есть хороший видос YCombinator про это. Я говорю, что большинство таких стартапов обречено. Потому что они неправильно понимают свою ценность.
Как мыслит основатель: есть крутая модель (GPT4, опенсорс, пофиг), она пока не может быть ИИ-юристом, я ее чуть-чуть докручу, в прыжке буду лучше GPT4 и стану богачом. Докручивают по разному: придумывают промпты (ненавижу), вставляют ифы (ненавижу, но понимаю), дообучают опенсорс (похвально, но тоже обречено) и тд. Всю их логику снесет новое поколение базовых моделей. Пока GPT не может быть ИИ-юристом. Через 2 года вы выгрузите в него нужные законы и все. Вся ваша логика уже никому не нужна.
Что делать?
Очень тупо в 2024 пытаться отгородиться от других за счет умности вашей модели, если вы не супер большая корпорация. Эти модели разрабатывает, блин, половина умнейших людей человечества. Используйте лучшие модели. Защищайтесь с помощью ваших данных.
Никто кроме вас не знает ваших клиентов. Никто не знает ваших методологий и протоколов. Никто не знает ваших накопленных годами успешных кейсов. Это все ваше конкурентное преимущество. Оцифруйте ваш бизнес и затем используйте в чужих моделях: в промтинге, в RAG, дообучении или как угодно еще. Не пытайтесь перегнать OpenAI, стойте на его плечах.
Это верно не только для стартапов. Вы всегда должны думать, что следующее поколение моделей будет еще умнее. Чтобы знать что делать и быть на стороже - читайте этот канал (спаси своего друга - сделай репост, еще и мне приятно)
👍21🔥9❤6🦄4❤🔥2🐳2
В ИИ сменилась парадигма. Она с нами навсегда.
В сентябре OpenAI прервал нейминг GPT - вышла модель o1. Не GPT-4.5, не GPT-5.
Назвали так не случайно. C выходом o1 сменилась парадигма - мы теперь не только растим обучение модели, мы растим ее предсказание. Это будет мощнейший тренд на 2025.
Почему это важно?
В прошлых постах я рассказывал, что масштабирование обучения переживает не лучшие времена. Во-первых, кончаются данные для обучения. Во-вторых, кончается терпение инвесторов: год-два требуется, чтобы построить кластер, много месяцев на тренировку моделей. Но стартапам нужно скорее показывать прирост в качестве, чтобы тебя не назвали жалким пузырем и не выкинули с техно небосклона. Решение есть!
Test-time compute. Оно же масштабирование предсказаний, оно же "давайте заставим модель подумать". Не торопите модель, дайте ей время и вычисления, чтобы она порассуждала и вывела правильный ответ. Почему это круто:
1) Для этого не нужны огромные кластера. Просто запрос в модель будет сильно дольше обрабатываться. Расходы переведем на пользователя ^^
2) У этого есть эффект низкой базы: мы совсем не исследовали эту область, каждое улучшение дает огромный вклад в качество модели.
3) У этого такие же приятные законы, как и для масштабирования обучения. Это видно на картинке, где показаны графики с масштабированием обучения и предсказания для o1. Ты можешь заранее прикинуть, какое у тебя будет качество, приложив логарифмическую линейку (ке-ке-ке)
Следствие этих 3 причин - выходит модель o1, она унижает по метрикам GPT-4. Спустя 3 месяца после o1 выходит o3 и теперь унижают уже o1. Масштабирование обучения отстает: GPT-5 мы 2 года ждем и инвесторы уже беспокоятся...
Почему вы этого не заметили?
Все это унижение происходит только в сложных технических задачах - математике, программировании и тд. Почему? Потому что там проще всего построить систему оценки - какое рассуждение правильное, а какое нет. Когда понятно, какое правильно - дальше уже можно научить модельку правильное генерировать (так кстати весь ИИ работает, если вы не знали, да). Для более общих дисциплин улучшения скорее нет. Пойди пойми как правильно писать "сочинение как я провел лето". Думаю, что OpenAI над этим уже работают и вскоре это поменяется. Школьники ждут.
Вместо вывода
Noam Brown, один из авторов o1, в интервью рассказал, что он и Суцкевер не верили в AGI ближайшее время, потому что у нас нет алгоритмов масштабирования предсказания. Что ж, теперь они есть. И с ними нас ждет очень интересный 2025.
Если хотите, чтобы я подробнее разобрал как обучать такие модельки, ставьте реакции, пишите комменты ^^
И шарьте пост своим ИИ-друзьям)
В сентябре OpenAI прервал нейминг GPT - вышла модель o1. Не GPT-4.5, не GPT-5.
Назвали так не случайно. C выходом o1 сменилась парадигма - мы теперь не только растим обучение модели, мы растим ее предсказание. Это будет мощнейший тренд на 2025.
Почему это важно?
В прошлых постах я рассказывал, что масштабирование обучения переживает не лучшие времена. Во-первых, кончаются данные для обучения. Во-вторых, кончается терпение инвесторов: год-два требуется, чтобы построить кластер, много месяцев на тренировку моделей. Но стартапам нужно скорее показывать прирост в качестве, чтобы тебя не назвали жалким пузырем и не выкинули с техно небосклона. Решение есть!
Test-time compute. Оно же масштабирование предсказаний, оно же "давайте заставим модель подумать". Не торопите модель, дайте ей время и вычисления, чтобы она порассуждала и вывела правильный ответ. Почему это круто:
1) Для этого не нужны огромные кластера. Просто запрос в модель будет сильно дольше обрабатываться. Расходы переведем на пользователя ^^
2) У этого есть эффект низкой базы: мы совсем не исследовали эту область, каждое улучшение дает огромный вклад в качество модели.
3) У этого такие же приятные законы, как и для масштабирования обучения. Это видно на картинке, где показаны графики с масштабированием обучения и предсказания для o1. Ты можешь заранее прикинуть, какое у тебя будет качество, приложив логарифмическую линейку (ке-ке-ке)
Следствие этих 3 причин - выходит модель o1, она унижает по метрикам GPT-4. Спустя 3 месяца после o1 выходит o3 и теперь унижают уже o1. Масштабирование обучения отстает: GPT-5 мы 2 года ждем и инвесторы уже беспокоятся...
Почему вы этого не заметили?
Все это унижение происходит только в сложных технических задачах - математике, программировании и тд. Почему? Потому что там проще всего построить систему оценки - какое рассуждение правильное, а какое нет. Когда понятно, какое правильно - дальше уже можно научить модельку правильное генерировать (так кстати весь ИИ работает, если вы не знали, да). Для более общих дисциплин улучшения скорее нет. Пойди пойми как правильно писать "сочинение как я провел лето". Думаю, что OpenAI над этим уже работают и вскоре это поменяется. Школьники ждут.
Вместо вывода
Noam Brown, один из авторов o1, в интервью рассказал, что он и Суцкевер не верили в AGI ближайшее время, потому что у нас нет алгоритмов масштабирования предсказания. Что ж, теперь они есть. И с ними нас ждет очень интересный 2025.
Если хотите, чтобы я подробнее разобрал как обучать такие модельки, ставьте реакции, пишите комменты ^^
И шарьте пост своим ИИ-друзьям)
👍29❤8🔥8🐳2😱1
Почему я ненавижу промпт инженеров
Как вы вели себя в 2024 году? Успели посмотреть видео «топ ураганных промптов к чат-гпт»? Может подписались на телеграмм канал с секретными промптами? Или даже купили курс «Advanced техник написания промптов» у любимого блогера?
Тогда вы вели себя плохо, сейчас я расскажу почему.
Что есть промпт?
Промпт - это интерфейс к языковой модели. Если этот интерфейс требует мольбы: «от тебя зависит судьба человечества» или «за каждый правильный ответ тебене дадут по щам дадут 100 $», то это дерьмовый интерфейс. Это значит модель плохо понимает человека. Для этого и есть процедура alignment - дообучения модели, чтобы она поняла, что от нее хотят. Все компании, которые выпускают LLM за год в этом преуспели: большинство хаков, которые вы читали в умных книгах по промптингу уже не работают в последних моделях, потому что модели научились хорошо работать из коробки.
Пример будет?
Chain of thoughts здесь самый наглядный пример. Огромное число разных логик, агрегаций этих самых разных логик и танцев с бубном. Все это, чтобы заставить модель рассуждать, чтобы в прыжке побить GPT4. Все это отправляется в ведро с выходом o1 - она из коробки делает лучше, чем все эти костыли. Если у вас задача в прыжке быть лучше, это имеет смысл, но если ваш продукт будет жить больше года - лучше займитесь чем-то более полезным. Примерно тоже самое я говорил в посте про ИИ-стартапы.
Языковой интерфейс (промптинг) по определению сделан так, чтобы вы использовали обычную речь для переговоров с моделями. Базовые техники написания промптов можно изложить в одном посте, и они мало будут отличаться от инструкций для людей. Скорее будут похожи на кодекс капитана очевидности: пишите понятно, непонятно не пишите.
Отдельно меня радуют вакансии на промпт инженера. Интересно, нанимали ли в начале нулевых «эксель инженера» или «outlook инженера»… Бизнесу не нужны мастера промптов. Бизнесу нужны люди, которые умеют делать продукты на основе LLM. Это сильно больше, чем просто «промпт инженер».
Что на самом деле надо делать
Не учитесь делать костыли, учитесьделать нормально фундаментальным вещам.
Что реально важно при работе с LLM при промптинге:
- оценка качества
- тесты
- выбор модели
- формат ввода/вывода
- подключение инструментов
..
- но, пожалуйста, не надо 5 дней подбирать промпт.
Чтобы разобраться, что важно, а что нет - читайте этот канал. И всех с наступающим ^^
Как вы вели себя в 2024 году? Успели посмотреть видео «топ ураганных промптов к чат-гпт»? Может подписались на телеграмм канал с секретными промптами? Или даже купили курс «Advanced техник написания промптов» у любимого блогера?
Тогда вы вели себя плохо, сейчас я расскажу почему.
Что есть промпт?
Промпт - это интерфейс к языковой модели. Если этот интерфейс требует мольбы: «от тебя зависит судьба человечества» или «за каждый правильный ответ тебе
Пример будет?
Chain of thoughts здесь самый наглядный пример. Огромное число разных логик, агрегаций этих самых разных логик и танцев с бубном. Все это, чтобы заставить модель рассуждать, чтобы в прыжке побить GPT4. Все это отправляется в ведро с выходом o1 - она из коробки делает лучше, чем все эти костыли. Если у вас задача в прыжке быть лучше, это имеет смысл, но если ваш продукт будет жить больше года - лучше займитесь чем-то более полезным. Примерно тоже самое я говорил в посте про ИИ-стартапы.
Языковой интерфейс (промптинг) по определению сделан так, чтобы вы использовали обычную речь для переговоров с моделями. Базовые техники написания промптов можно изложить в одном посте, и они мало будут отличаться от инструкций для людей. Скорее будут похожи на кодекс капитана очевидности: пишите понятно, непонятно не пишите.
Отдельно меня радуют вакансии на промпт инженера. Интересно, нанимали ли в начале нулевых «эксель инженера» или «outlook инженера»… Бизнесу не нужны мастера промптов. Бизнесу нужны люди, которые умеют делать продукты на основе LLM. Это сильно больше, чем просто «промпт инженер».
Что на самом деле надо делать
Не учитесь делать костыли, учитесь
Что реально важно при работе с LLM при промптинге:
- оценка качества
- тесты
- выбор модели
- формат ввода/вывода
- подключение инструментов
..
- но, пожалуйста, не надо 5 дней подбирать промпт.
Чтобы разобраться, что важно, а что нет - читайте этот канал. И всех с наступающим ^^
👍18🔥11❤6❤🔥3🐳1
Кому уже пора нанимать ИИ-сотрудников?
Никаких поисков и собеседований. Не нужно торговаться о зарплате. Заходишь на сайт, кликаешь на нужную специальность, например, фронтенд-разработчик. Дальше выкручиваешь ему на максимум самостоятельность, инициативность, готовность к переработкам. Нажимаешь «нанять» и дальше твой сайт верстает не по дням, а по часам твой новый цифровой коллега. Думаете, я сошел с ума? Не только я.
HubSpot, одна из крупнейших CRM-систем, сделала такой ИИ-хедхантер. Конечно, там пока упор не на фронтенд, а на продажи и маркетинг. Там живут помощники в продажах, которые исследуют профиль клиента в соцсетях, SEO-оптимизатор, который нашпигует ваш сайт правильными словами и даже генератор мемов, который сделает ваш тг канал не таким сухим, как этот. Похожих ИИ-сотрудников я находил уже в хедхантере от OpenAI GPT Store. Кстати, ему уже год исполнился, как думаете, много оттуда нананимали сотрудников?
Почему это пока только утопия?
Предложение выглядит очень заманчиво, почему тогда не слышно о шквале внедрений ИИ-сотрудников? Несколько причин:
1) Мотивация компании. Нужно быть ну ОЧЕНЬ БОЛЬШИМ визионером, чтобы доверить важную часть бизнеса ИИ. Кого тогда лишать премии, если не достигнуты KPI?!
2) Интеграция. Огромная куча работы поонбордингу интеграции вашего нового сотрудника в вашу документацию, CRM-систему, почтовые сервисы и тд. Из коробки такая штука в ваш 1С не влетит.
3) Качество работы. Любая ГПТ-подобная машина будет худшим маркетологом, чем любой адекватный сотрудник. Пока что :)
Вывод: для успешных компаний ИИ-сотрудники пока скорее повод для цифровой гордости, но не реальный помощник в трудовых буднях. Я пока не видел массовых внедрений.
Кому это уже сейчас может помочь?
Удивительно, но малому бизнесу. Тем самым, у которых не было денег на ИИ-инженеров, но теперь они могут первым пожать профит от сильного ИИ.
Давайте те же самые пункты, по которым мы не хотели внедрять ИИ-сотрудников, разберем с точки зрения малого бизнеса
1) У малого бизнеса офигеть какая сильная мотивация: 9 из 10 малых предприятий умрут через 3 года. Хочешь жить - умей вертеться
2) У них нет кучи разных БД/CRM и прочих страшных слов. Если ведут отчетность в экселе - они уже герои.
3) У них нет Человека-маркетолога. Или есть, но нет денег на второго. А им нужно второго, иначе смотри пункт 1).
Harvard Business Review пишет о огромном падении на рынке фриланса. Фрилансом как раз пользуются небольшие компании, у которых нет денег на штат. Уже половина малого бизнеса в США внедрило ИИ инструменты. Кстати, в США малый это тот, у кого оборот до 10 миллионов долларов в год. Нормальный такой малыш.
Умное послесловие
Изначально ИИ популяризировался сверху вниз - поиск, контекстная реклама, автономные автомобили - все это было доступно только очень большим ребятам. Сейчас, когда пришло время трансформировать бизнес процессы, будет популяризация снизу вверх: первыми запрыгнут более шустрые маленькие компании. И тогда второй станет первым.
Друзья, с наступившим новым годом ^^
Не забывайте репостить друзьям интересные публикации, так я понимаю, о чем писать дальше
Никаких поисков и собеседований. Не нужно торговаться о зарплате. Заходишь на сайт, кликаешь на нужную специальность, например, фронтенд-разработчик. Дальше выкручиваешь ему на максимум самостоятельность, инициативность, готовность к переработкам. Нажимаешь «нанять» и дальше твой сайт верстает не по дням, а по часам твой новый цифровой коллега. Думаете, я сошел с ума? Не только я.
HubSpot, одна из крупнейших CRM-систем, сделала такой ИИ-хедхантер. Конечно, там пока упор не на фронтенд, а на продажи и маркетинг. Там живут помощники в продажах, которые исследуют профиль клиента в соцсетях, SEO-оптимизатор, который нашпигует ваш сайт правильными словами и даже генератор мемов, который сделает ваш тг канал не таким сухим, как этот. Похожих ИИ-сотрудников я находил уже в хедхантере от OpenAI GPT Store. Кстати, ему уже год исполнился, как думаете, много оттуда нананимали сотрудников?
Почему это пока только утопия?
Предложение выглядит очень заманчиво, почему тогда не слышно о шквале внедрений ИИ-сотрудников? Несколько причин:
1) Мотивация компании. Нужно быть ну ОЧЕНЬ БОЛЬШИМ визионером, чтобы доверить важную часть бизнеса ИИ. Кого тогда лишать премии, если не достигнуты KPI?!
2) Интеграция. Огромная куча работы по
3) Качество работы. Любая ГПТ-подобная машина будет худшим маркетологом, чем любой адекватный сотрудник. Пока что :)
Вывод: для успешных компаний ИИ-сотрудники пока скорее повод для цифровой гордости, но не реальный помощник в трудовых буднях. Я пока не видел массовых внедрений.
Кому это уже сейчас может помочь?
Удивительно, но малому бизнесу. Тем самым, у которых не было денег на ИИ-инженеров, но теперь они могут первым пожать профит от сильного ИИ.
Давайте те же самые пункты, по которым мы не хотели внедрять ИИ-сотрудников, разберем с точки зрения малого бизнеса
1) У малого бизнеса офигеть какая сильная мотивация: 9 из 10 малых предприятий умрут через 3 года. Хочешь жить - умей вертеться
2) У них нет кучи разных БД/CRM и прочих страшных слов. Если ведут отчетность в экселе - они уже герои.
3) У них нет Человека-маркетолога. Или есть, но нет денег на второго. А им нужно второго, иначе смотри пункт 1).
Harvard Business Review пишет о огромном падении на рынке фриланса. Фрилансом как раз пользуются небольшие компании, у которых нет денег на штат. Уже половина малого бизнеса в США внедрило ИИ инструменты. Кстати, в США малый это тот, у кого оборот до 10 миллионов долларов в год. Нормальный такой малыш.
Умное послесловие
Изначально ИИ популяризировался сверху вниз - поиск, контекстная реклама, автономные автомобили - все это было доступно только очень большим ребятам. Сейчас, когда пришло время трансформировать бизнес процессы, будет популяризация снизу вверх: первыми запрыгнут более шустрые маленькие компании. И тогда второй станет первым.
Друзья, с наступившим новым годом ^^
Не забывайте репостить друзьям интересные публикации, так я понимаю, о чем писать дальше
👍18🔥6❤5😱2🎉2☃1❤🔥1🐳1
Как вам нужно делать ИИ-продукты в эпоху LLM
Благодаря LLM теперь с моделями можно нормально общаться. Для обывателя это самое важное. Но для нас важно совсем другое: LLM лучше всех обобщается и это радикально упрощает любую ИИ-разработку.
В чем идея?
В ИИ у нас хорошо работал только Supervised Learning. Для него под каждую задачу надо собирать новые данные и обучать новую модель, потому что другие модели на эту задачу не обобщаются. Эту проблему 10 лет пытались решить кучей разных способов. Но рабочим оказался только один.
Способ называется Self Supervised Learning.
Сначала вы обучаете модель на большом массиве данных, которые не связаны с какой-то конкретной задачей, но которые могут наполнить модель интеллектом (предобучение). Потом вы уже наполненную интеллектом модель обучаете на какой-то узкой целевой задаче (дообучение). Оказывается, что тогда для этого второго этапа нужно экстремально мало данных. По такой схеме работали BERT в 2018 году, на котором делали весь NLP, CLIP в 2021, который потом активно использовался в CV. Также был сделан GPT-1 в 2018. Все эти модели предобучались по-разному, но использовалась одна эта идея.
Главное, за что мы должны благодарить OpenAI: они поверили в законы масштабирования и показали, что если в этот подход налить ну очень много вычислений, то модель будет обобщаться вообще без дообучения. Просто в промпте написали, что от модели надо, и все.
Как это упрощает разработку?
Радикально. Раньше релиз одной модели занимал дофига времени (смотри картинку в посте из доклада Andrew Ng)
Вам нужны были десятки тысяч примеров, которые аккуратно разметят люди. Для этого нужно написать инструкцию разметки для людей и проверить, что они ее поняли. Потом вы долго долго ждете...
Сейчас вам так делать запрещено. Любой небольшой проект в NLP должен выглядеть так, записывайте:
1) Берем самую мощную доступную нам мега-LLM
2) Максимум один день подбираете к ней промпт
3) Если промпт не подбирается, размечаете сами 200 примеров (справитесь, я в вас верю) и с помощью PEFT (методы эффективного обучения) дообучаете вашу мега-LLM
4) Дистилируете монстра с шагов 2) или 3) во что-то маленькое и входящее в рамки бюджета.
ВСЕ. Дальше можно уже ставить эксперименты и параллельно улучшать модель.
Что будет дальше?
Тренд будет только расти. Базовые модели будут жирнее/умнее, делать ИИ-проекты нам будет проще. Такая же LLM революция будет в компьютерном зрении, когда нормально заведутся мультимодальные модели. Такой же подход позволит делать более обобщаемых роботов, что откроет дорогу массовой роботехнике. Вообщем, будет круто, я обещаю.
Вам же нужно внимательно следить за развитием этих моделей и уметь правильно их использовать в своих продуктах. Благо, с этим поможет этот канал.
Друзья, посты становятся более хардкорными, пишите в комментариях, если что-то нужно объяснить. Вам правда нужно это все знать. Под самые популярные вопросы сделаю отдельные публикации.
Благодаря LLM теперь с моделями можно нормально общаться. Для обывателя это самое важное. Но для нас важно совсем другое: LLM лучше всех обобщается и это радикально упрощает любую ИИ-разработку.
В чем идея?
В ИИ у нас хорошо работал только Supervised Learning. Для него под каждую задачу надо собирать новые данные и обучать новую модель, потому что другие модели на эту задачу не обобщаются. Эту проблему 10 лет пытались решить кучей разных способов. Но рабочим оказался только один.
Способ называется Self Supervised Learning.
Сначала вы обучаете модель на большом массиве данных, которые не связаны с какой-то конкретной задачей, но которые могут наполнить модель интеллектом (предобучение). Потом вы уже наполненную интеллектом модель обучаете на какой-то узкой целевой задаче (дообучение). Оказывается, что тогда для этого второго этапа нужно экстремально мало данных. По такой схеме работали BERT в 2018 году, на котором делали весь NLP, CLIP в 2021, который потом активно использовался в CV. Также был сделан GPT-1 в 2018. Все эти модели предобучались по-разному, но использовалась одна эта идея.
Главное, за что мы должны благодарить OpenAI: они поверили в законы масштабирования и показали, что если в этот подход налить ну очень много вычислений, то модель будет обобщаться вообще без дообучения. Просто в промпте написали, что от модели надо, и все.
Как это упрощает разработку?
Радикально. Раньше релиз одной модели занимал дофига времени (смотри картинку в посте из доклада Andrew Ng)
Вам нужны были десятки тысяч примеров, которые аккуратно разметят люди. Для этого нужно написать инструкцию разметки для людей и проверить, что они ее поняли. Потом вы долго долго ждете...
Сейчас вам так делать запрещено. Любой небольшой проект в NLP должен выглядеть так, записывайте:
1) Берем самую мощную доступную нам мега-LLM
2) Максимум один день подбираете к ней промпт
3) Если промпт не подбирается, размечаете сами 200 примеров (справитесь, я в вас верю) и с помощью PEFT (методы эффективного обучения) дообучаете вашу мега-LLM
4) Дистилируете монстра с шагов 2) или 3) во что-то маленькое и входящее в рамки бюджета.
ВСЕ. Дальше можно уже ставить эксперименты и параллельно улучшать модель.
Что будет дальше?
Тренд будет только расти. Базовые модели будут жирнее/умнее, делать ИИ-проекты нам будет проще. Такая же LLM революция будет в компьютерном зрении, когда нормально заведутся мультимодальные модели. Такой же подход позволит делать более обобщаемых роботов, что откроет дорогу массовой роботехнике. Вообщем, будет круто, я обещаю.
Вам же нужно внимательно следить за развитием этих моделей и уметь правильно их использовать в своих продуктах. Благо, с этим поможет этот канал.
Друзья, посты становятся более хардкорными, пишите в комментариях, если что-то нужно объяснить. Вам правда нужно это все знать. Под самые популярные вопросы сделаю отдельные публикации.
🔥29👍16❤🔥5❤2🐳1
Почему нам нужно делать вертикальные продукты
Нашел крутую статью, которая частично пересказывает, что я вам говорил месяц назад. Наверное, поэтому я и считаю ее крутой :)
О чем статья?
Есть два фреймворка, чтобы делать ваш ИИ-бизнес.
1) Вертикальный. Когда вы целитесь в определенную нишу, например, ИИ для юристов. Это, например, Devin, стартап который делает ИИ-разработчика.
2) Горизонтальный. Когда вы делаете широкое решение для всех ниш, а каждая ниша може взять и использовать сама. Это ChatGPT, Claude, ну вы поняли.
Главная мысль: чем сильнее базовые модели, тем намного менее ценна ваша вертикализация. Так какбатут закон Мура и закон масштабирования работают, не нужно тратить силы ИИ-инженеров на вертикальные проекты. Придет новое горизонтальное решение, которое выкинет в помойку тебя все твои труды. Значит делать вертикальное ИИ вообще не разумно.
Почему на самом деле автор не прав?
Я согласен - костылить не надо. Но делать вертикальные решения - надо. У вертикального способа есть два важных преимущества, которые не дадут ему умереть
1) Интеграция. Я НИКОГДА за 8 лет в ИИ-разработке не видел НИ ОДНОГО решения, которое куда-либо встраивались без допиливания. Это ИИ, тут все идетчерез одно место не по плану. Всегда будет отдельная продуктовая логика, всегда будут исключения из правил, всегда для какой-то вертикали будет особое поведение. Юристом не надо, что бухгалтерам, бухгалтерам наплевать на программистов (кроме 1C, кек)
2) Маркетинг. Частично следствие пункта 1). Вам нужно четкое позиционирование на бухглатеров, четкие кейсы и обучающие примеры для бухгалтеров, знакомые в бухгалтерской ложе, чтобы продать им ИИ ассистента. Очень мало бухгалтеров поймут, что конкретно это горизонтальное ИИ решение им очень нужно и спасет их от скорого разорения.
Резюме
Повторяю: костылить промпты для 0.01% точности - зло. Делать вертикальную разработку нужно. На самом деле, не просто нужно, а в реалиях 2025 по-другому у вас и не выйдет. Конечно, когда Альтман сделает AGI и наступит сингулярность... Но до этого еще надо дожить. А пока, работаем!
Нашел крутую статью, которая частично пересказывает, что я вам говорил месяц назад. Наверное, поэтому я и считаю ее крутой :)
О чем статья?
Есть два фреймворка, чтобы делать ваш ИИ-бизнес.
1) Вертикальный. Когда вы целитесь в определенную нишу, например, ИИ для юристов. Это, например, Devin, стартап который делает ИИ-разработчика.
2) Горизонтальный. Когда вы делаете широкое решение для всех ниш, а каждая ниша може взять и использовать сама. Это ChatGPT, Claude, ну вы поняли.
Главная мысль: чем сильнее базовые модели, тем намного менее ценна ваша вертикализация. Так как
Почему на самом деле автор не прав?
Я согласен - костылить не надо. Но делать вертикальные решения - надо. У вертикального способа есть два важных преимущества, которые не дадут ему умереть
1) Интеграция. Я НИКОГДА за 8 лет в ИИ-разработке не видел НИ ОДНОГО решения, которое куда-либо встраивались без допиливания. Это ИИ, тут все идет
2) Маркетинг. Частично следствие пункта 1). Вам нужно четкое позиционирование на бухглатеров, четкие кейсы и обучающие примеры для бухгалтеров, знакомые в бухгалтерской ложе, чтобы продать им ИИ ассистента. Очень мало бухгалтеров поймут, что конкретно это горизонтальное ИИ решение им очень нужно и спасет их от скорого разорения.
Резюме
Повторяю: костылить промпты для 0.01% точности - зло. Делать вертикальную разработку нужно. На самом деле, не просто нужно, а в реалиях 2025 по-другому у вас и не выйдет. Конечно, когда Альтман сделает AGI и наступит сингулярность... Но до этого еще надо дожить. А пока, работаем!
Lukaspetersson
AI Founder's Bitter Lesson. Chapter 1 - History Repeats Itself | Lukas Petersson's blog
Historically, general approaches always win in AI. Founders in AI application space now repeat the mistakes of AI researchers.
1👍10🔥6❤4❤🔥2🐳1
Друзья, написал статью на хабр про все, что мы тут уютно обсуждали:
дорогу к AGI, законы масштабирования, Суцкевера, и как работает o1.
Читайте, делитесь с друзьями, делитесь впечатлением о прочитанном.
дорогу к AGI, законы масштабирования, Суцкевера, и как работает o1.
Читайте, делитесь с друзьями, делитесь впечатлением о прочитанном.
Хабр
Сэм Альтман знает, как достичь AGI. Я тоже, и сейчас расскажу как
«Теперь мы уверены, что знаем, как построить AGI в том виде, в каком мы традиционно его понимали… Сейчас это звучит как научная фантастика, и даже говорить об этом как-то безумно. Все в порядке — мы...
2🔥63👍16❤4🏆4❤🔥3🎉2🐳2
Почему я не верю в ИИ агентов в 2025
Каналу всего 2 месяца, а я тут уже начинаю спорить с Альтманом.
Как обычно, начнем с определения. Мне очень нравится определение коллег из Anthropic.
Ключевые слова: сами и поставленную задачу. Вы сказали: забронируй мне с другом ресторан на 8 вечера. Он сам сходит в API гида мишлен, спросит столик, напишет другу (ИИ-агенту друга, кек), спросит у вас о предпочтениях и тд. Вот такого в 2025 не будет.
Почему?
Главная проблема LLM - ненадежность. Она возникает из-за метода предсказания: LLM токен за токеном предсказывает итоговый ответ. Представьте, что вероятность ошибиться при предсказании каждого токена всего 0.001. Тогда вероятность воспроизвести все 10 токенов без ошибки - 99%. Вполне надежно. Но вероятнось подряд воспроизвести тысячу токенов уже 37%. Это не так много для агента, который вынужден пообщаться сначала с вами, потом с друзьями, потом с другими агентами ресторана.
Чем более долгое взаимодействие, чем больше шанс нарваться на ошибку. А в этой ошибке уже могут быть замешаны отношения с друзьями/деньги и тд. Внимательный читатель поймет, что ровно с этим могут помочь рассуждающие модели, но это пока будет экстремально дорого работать.
Исключения.
Пока я вижу ровно 2, где агенты применимы:
1) обзор темы, где агент будет исследовать большой материал, который самому лень копать. Результат потом перепроверит человек.
2) программирование, где решение проверит человек-тестировщик
А что в 2025 будет?
В продуктах применять будут не это. К 2025 году мы научились делать 2 важных вещи:
1) Варить модели специфичные под конкретный продукт. Здесь напоминаю пост про вертикальный ИИ.
2) Подключать эти LLM к инструментам: к гугл документам с фин. отчетом, к pdf со скриптами продаж, к CRM-ке с клиентами тд. Вот, например, статья, как это можно делать.
Комбинируя небольшие модели и инструменты, мы научимся делать офигительные продукты для поддержки, маркетинга, продаж. А агенты нам пока не пригодятся.
Как делать такие продукты? Об этом в следующих постах
Каналу всего 2 месяца, а я тут уже начинаю спорить с Альтманом.
Как обычно, начнем с определения. Мне очень нравится определение коллег из Anthropic.
Агенты это LLM системы, которые сами определяют свое поведение, контролируя, как они выполняют поставленную им задачу.
Ключевые слова: сами и поставленную задачу. Вы сказали: забронируй мне с другом ресторан на 8 вечера. Он сам сходит в API гида мишлен, спросит столик, напишет другу (ИИ-агенту друга, кек), спросит у вас о предпочтениях и тд. Вот такого в 2025 не будет.
Почему?
Главная проблема LLM - ненадежность. Она возникает из-за метода предсказания: LLM токен за токеном предсказывает итоговый ответ. Представьте, что вероятность ошибиться при предсказании каждого токена всего 0.001. Тогда вероятность воспроизвести все 10 токенов без ошибки - 99%. Вполне надежно. Но вероятнось подряд воспроизвести тысячу токенов уже 37%. Это не так много для агента, который вынужден пообщаться сначала с вами, потом с друзьями, потом с другими агентами ресторана.
Чем более долгое взаимодействие, чем больше шанс нарваться на ошибку. А в этой ошибке уже могут быть замешаны отношения с друзьями/деньги и тд. Внимательный читатель поймет, что ровно с этим могут помочь рассуждающие модели, но это пока будет экстремально дорого работать.
Исключения.
Пока я вижу ровно 2, где агенты применимы:
1) обзор темы, где агент будет исследовать большой материал, который самому лень копать. Результат потом перепроверит человек.
2) программирование, где решение проверит человек-тестировщик
А что в 2025 будет?
В продуктах применять будут не это. К 2025 году мы научились делать 2 важных вещи:
1) Варить модели специфичные под конкретный продукт. Здесь напоминаю пост про вертикальный ИИ.
2) Подключать эти LLM к инструментам: к гугл документам с фин. отчетом, к pdf со скриптами продаж, к CRM-ке с клиентами тд. Вот, например, статья, как это можно делать.
Комбинируя небольшие модели и инструменты, мы научимся делать офигительные продукты для поддержки, маркетинга, продаж. А агенты нам пока не пригодятся.
Как делать такие продукты? Об этом в следующих постах
Anthropic
Building Effective AI Agents
Discover how Anthropic approaches the development of reliable AI agents. Learn about our research on agent capabilities, safety considerations, and technical framework for building trustworthy AI.
5👍35🔥11❤4💯4❤🔥2🐳1
Правильная архитектура любого ИИ проекта
В прошлом посте мы поняли, что делегировать ИИ задачу под ключ пока еще рискованно. Сейчас разберёмся, как нужно делать.
Истина, которую осваивают все, кто делает карьеру или строят бизнес: главное это работа с ожиданиями заказчика.
В контексте ИИ: в любой момент работы системы должны быть предельно понятно, что сейчас происходит и с каким качеством. Если вдруг ваш умный чат-бот в банке начнет ломать выдачу кредитных карт, хотя он вообще про карты ничего не должен говорить, вас и вашего чат бота уволят.
Как добиваться прозрачности от ИИ?
Три главных правила:
1) Ваш ИИ-продукт состоит из понятного набора действий. Получается такой ИИ-процесс. Вы их заранее продумали, нарисовали, как эти действия связаны между собой в этом процессе.
На картинке изображена архитектура ИИ-бухгалтера, который считает выплаты фрилансерам. Этот процесс состоит из понятных частей:
- LLM получила контекст из базы данных компании, выделила, кто по каким дням работал
- вызвала калькулятор, посчитала суммарно часы, умножила на ставку
- подготовила отчет по каждому сотруднику
- отправила сообщение HR
2) Вы знаете метрику на каждом этапе процесса. Вы знаете, как часто LLM пропускает человека в базе данных. Вы знаете, как часто она пропускает человеко-часы. Вы знаете, как часто ломается калькулятор. Вы не просто знаете, но умеете эти числа понятно интерпретировать в бизнес метрики. Также работают маркетологи с воронкой продаж, надо у них учиться.
3) Вы умело работаете с риском .
Обратите внимание на схему: там в конце отправляется отчет HR-у. LLM не платит Васе за лендинг 20 тысяч долларов. LLM пишет репорт, что вот я такое хочу выплатить, вот пруфы: он работал так и тут, подтверди. Конечно, вы можете настроить условие, что выплата до 100 баксов идет мимо человека, если заранее посчитали, что ошибка вам не смертельна. Принимайте этот риск осознанно.
Резюме
Забудьте на время про Альтмана и его всемогущих агентов. Главный противник вашего успеха - недоверие к ИИ. Продумайте архитектуру, обложитесь метриками, предусмотрите все риски.
Сломайте недоверие, тогда ваш ИИ уже никто не остановит.
Друзья, если остались вопросы по этому подходу или хотите рассказать про ваш проект - пишите в комментариях. Вместе все обсудим.
В прошлом посте мы поняли, что делегировать ИИ задачу под ключ пока еще рискованно. Сейчас разберёмся, как нужно делать.
Истина, которую осваивают все, кто делает карьеру или строят бизнес: главное это работа с ожиданиями заказчика.
В контексте ИИ: в любой момент работы системы должны быть предельно понятно, что сейчас происходит и с каким качеством. Если вдруг ваш умный чат-бот в банке начнет ломать выдачу кредитных карт, хотя он вообще про карты ничего не должен говорить, вас и вашего чат бота уволят.
Как добиваться прозрачности от ИИ?
Три главных правила:
1) Ваш ИИ-продукт состоит из понятного набора действий. Получается такой ИИ-процесс. Вы их заранее продумали, нарисовали, как эти действия связаны между собой в этом процессе.
На картинке изображена архитектура ИИ-бухгалтера, который считает выплаты фрилансерам. Этот процесс состоит из понятных частей:
- LLM получила контекст из базы данных компании, выделила, кто по каким дням работал
- вызвала калькулятор, посчитала суммарно часы, умножила на ставку
- подготовила отчет по каждому сотруднику
- отправила сообщение HR
2) Вы знаете метрику на каждом этапе процесса. Вы знаете, как часто LLM пропускает человека в базе данных. Вы знаете, как часто она пропускает человеко-часы. Вы знаете, как часто ломается калькулятор. Вы не просто знаете, но умеете эти числа понятно интерпретировать в бизнес метрики. Также работают маркетологи с воронкой продаж, надо у них учиться.
3) Вы умело работаете с риском .
Обратите внимание на схему: там в конце отправляется отчет HR-у. LLM не платит Васе за лендинг 20 тысяч долларов. LLM пишет репорт, что вот я такое хочу выплатить, вот пруфы: он работал так и тут, подтверди. Конечно, вы можете настроить условие, что выплата до 100 баксов идет мимо человека, если заранее посчитали, что ошибка вам не смертельна. Принимайте этот риск осознанно.
Резюме
Забудьте на время про Альтмана и его всемогущих агентов. Главный противник вашего успеха - недоверие к ИИ. Продумайте архитектуру, обложитесь метриками, предусмотрите все риски.
Сломайте недоверие, тогда ваш ИИ уже никто не остановит.
Друзья, если остались вопросы по этому подходу или хотите рассказать про ваш проект - пишите в комментариях. Вместе все обсудим.
5👍28🔥9💯6❤🔥1❤1🐳1
Китайцы выложили в опеснсорс аналог o1
DeepSeek R1 - опенсорс рассуждающая модель, которая по математике/логическим задачам/программированию идет вровень с o1 моделью от OpenAI.
Многие видели новость, а я расскажу, что вам важно знать. Технический репорт DeepSeek-R1 можно прочитать тут.
1) Это очень очень круто. И метрики круто, и опенсорс круто. Это еще раз доказывает: невозможно защититься от конкурентов с помощью ноу-хау. Знания очень быстро распространяются: o1 вышла в сентябре и уже в январе ее догнали. Защищаться проще с помощью инфраструктуры, и тут Альтман всех обскакал: 500 миллиардов от Трампа помогут защититься. Еще и такая крыша.
2) Это круто, но не факт, что круто для вас. Метрики на математике/умению играть в пятнашки/разгадывать судоку ничего не говорят о том, что эта модель полезна для вашей задачи.
Авторы могли просто забыть положить в обучение нужные вам примеры. Им все равно, зато в пятнашки они впереди планеты. Не верьте статьям, всегда проверяйте на своих метриках.
3) На самом деле, крутость совсем в другом. В тех. репорте показали, что из очень дорогой DeepSeek-R1 с помощью дистилляции можно получать небольшие модели, вплоть до 1.5b, которые лучше огромной GPT-4o.
Как это работает: большая модель генерирует длинные цепочки рассуждений, а маленькая модель учится на таких цепочках рассуждений, подражая оригиналу. Это как раз пример обучения на синтетических данных, о которых говорил месяц назад Суцкевер. Про эту особенность говорят очень мало, но она очень важная. Каждое новое поколение рассуждающих моделей дает дорогу следующему поколению более дешевых. Поэтому o3-mini будет намного дешевле o1, потому что скорее всего сдистилирована из нее.
Думаю, у OpenAI уже есть более мощные модели. Просто они их не выкладывают, а обучают с их помощью уже известные нам o1 и o3.
Дистилляция моделей стандарт, чтобы уменьшить стоимость предсказания. Китайцы нам еще раз это показали. Как дистилляцию правильно делать, чтобы в 10 раз удешевить модель, я расскажу уже в следующих постах.
DeepSeek R1 - опенсорс рассуждающая модель, которая по математике/логическим задачам/программированию идет вровень с o1 моделью от OpenAI.
Многие видели новость, а я расскажу, что вам важно знать. Технический репорт DeepSeek-R1 можно прочитать тут.
1) Это очень очень круто. И метрики круто, и опенсорс круто. Это еще раз доказывает: невозможно защититься от конкурентов с помощью ноу-хау. Знания очень быстро распространяются: o1 вышла в сентябре и уже в январе ее догнали. Защищаться проще с помощью инфраструктуры, и тут Альтман всех обскакал: 500 миллиардов от Трампа помогут защититься. Еще и такая крыша.
2) Это круто, но не факт, что круто для вас. Метрики на математике/умению играть в пятнашки/разгадывать судоку ничего не говорят о том, что эта модель полезна для вашей задачи.
Авторы могли просто забыть положить в обучение нужные вам примеры. Им все равно, зато в пятнашки они впереди планеты. Не верьте статьям, всегда проверяйте на своих метриках.
3) На самом деле, крутость совсем в другом. В тех. репорте показали, что из очень дорогой DeepSeek-R1 с помощью дистилляции можно получать небольшие модели, вплоть до 1.5b, которые лучше огромной GPT-4o.
Как это работает: большая модель генерирует длинные цепочки рассуждений, а маленькая модель учится на таких цепочках рассуждений, подражая оригиналу. Это как раз пример обучения на синтетических данных, о которых говорил месяц назад Суцкевер. Про эту особенность говорят очень мало, но она очень важная. Каждое новое поколение рассуждающих моделей дает дорогу следующему поколению более дешевых. Поэтому o3-mini будет намного дешевле o1, потому что скорее всего сдистилирована из нее.
Думаю, у OpenAI уже есть более мощные модели. Просто они их не выкладывают, а обучают с их помощью уже известные нам o1 и o3.
Дистилляция моделей стандарт, чтобы уменьшить стоимость предсказания. Китайцы нам еще раз это показали. Как дистилляцию правильно делать, чтобы в 10 раз удешевить модель, я расскажу уже в следующих постах.
huggingface.co
deepseek-ai/DeepSeek-R1 · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
👍39🔥18❤🔥6❤6😱3🐳1
Я не помню, чтобы опенсорс когда-либо был так высоко.
Deepseek-R1 делит 3-е место вместе с GPT-4o на LLM Arena. Это не какая-то вырезка с вашими любимыми сканвордами. Там модель оценивают реальные люди по своим бытовым задачам.
Помимо этого. Недавно выпустили соревнование «Последний экзамен человечества». Людям платили деньги, чтобы они выгружали свои задачи, которые текущие LLM не могут решить. Качество моделей там правда не очень. Но знаете какая модель справляется лучше всех? Deepseek-R1 *
Японцы Китайцы делают вещи. И без этих ваших 500 ярдов от Трампа.
* оценивали только на подмножестве, где нет мультимодальности
Deepseek-R1 делит 3-е место вместе с GPT-4o на LLM Arena. Это не какая-то вырезка с вашими любимыми сканвордами. Там модель оценивают реальные люди по своим бытовым задачам.
Помимо этого. Недавно выпустили соревнование «Последний экзамен человечества». Людям платили деньги, чтобы они выгружали свои задачи, которые текущие LLM не могут решить. Качество моделей там правда не очень. Но знаете какая модель справляется лучше всех? Deepseek-R1 *
* оценивали только на подмножестве, где нет мультимодальности
Reddit
From the LocalLLaMA community on Reddit: DeepSeek-R1 appears on LMSYS Arena Leaderboard
Explore this post and more from the LocalLLaMA community
9👍25🔥13😱3🤔2🐳2❤🔥1❤1👾1
Кто достоин делать ИИ в продукте
Кто этот рыцарь? Какой универ он закончил? Все ли семестры матанализа у него на отлично? Эти вопросы часто слышу от коллег, которые поняли, что пора ИИ-визировать свои компании, пока полимеры все еще у них. Давайте разбираться, кто может внедрять ИИ.
В ИИ существует два принципиально разных вида работ. Придумать технологию и применить технологию.
1 ) Придумать. Вы на переднем крае прогресса, вы следите за открытыми моделями и статьями на ИИ-конфах. Вы понимаете текущее состояние области, вы понимаете чего вам не хватает, вы готовы вложить деньги в RnD и не закрыть компанию, если успех не получится. Тогда нужны люди, которые отлично владеют мат. аппаратом (на нем все статьи и пишутся) и хороши в написании высокоэффективного кода (мало придумать, надо очень аккуратно накодить).
Короче, если вы это все раньше не знали, скорее всего, это не ваш случай.
2) Применить. Вы знаете, что ваша задача уже решается индустрией. Статьи по теме давно написаны, уже вышел опенсорс и даже пара пет-проектов на гитхабе. Вы готовы выделить деньги на внедрение, но сразу считаете, когда они окупятся.
Тогда вам нужны люди, которые понимают, какие подходы сейчас работают, и как это эффективно применить к вашей задаче. Эффективно это результат / время. Здесь чаще всего используются опенсорс модели.
Для такой работы нужен опыт ИИ-внедрений и умение писать промышленный код. Важно быть в теме современных моделей, но не менее важно писать понятный, отказоустойчивый, документированный код. Пятёрка по линейной алгебре в такой работе может быть только приятным бонусом.
Как обычно, на практике лучше всего работает сочетание первого и второго варианта. Когда человек из пункта 1) консультирует по самым современным моделям, а ребята из пункта 2) аккуратно их обучают внедряют.
Когда вы стартуете ИИ-проект, сразу прикидывайте какого классапокемоны ИИ-инженеры вам нужны. Здесь разные задачи и разный набор скиллов. Давайте не смешивать.
Если остались какие-то вопросы, задавайте в комментария. Все обсудим.
Кто этот рыцарь? Какой универ он закончил? Все ли семестры матанализа у него на отлично? Эти вопросы часто слышу от коллег, которые поняли, что пора ИИ-визировать свои компании, пока полимеры все еще у них. Давайте разбираться, кто может внедрять ИИ.
В ИИ существует два принципиально разных вида работ. Придумать технологию и применить технологию.
1 ) Придумать. Вы на переднем крае прогресса, вы следите за открытыми моделями и статьями на ИИ-конфах. Вы понимаете текущее состояние области, вы понимаете чего вам не хватает, вы готовы вложить деньги в RnD и не закрыть компанию, если успех не получится. Тогда нужны люди, которые отлично владеют мат. аппаратом (на нем все статьи и пишутся) и хороши в написании высокоэффективного кода (мало придумать, надо очень аккуратно накодить).
Короче, если вы это все раньше не знали, скорее всего, это не ваш случай.
2) Применить. Вы знаете, что ваша задача уже решается индустрией. Статьи по теме давно написаны, уже вышел опенсорс и даже пара пет-проектов на гитхабе. Вы готовы выделить деньги на внедрение, но сразу считаете, когда они окупятся.
Тогда вам нужны люди, которые понимают, какие подходы сейчас работают, и как это эффективно применить к вашей задаче. Эффективно это результат / время. Здесь чаще всего используются опенсорс модели.
Для такой работы нужен опыт ИИ-внедрений и умение писать промышленный код. Важно быть в теме современных моделей, но не менее важно писать понятный, отказоустойчивый, документированный код. Пятёрка по линейной алгебре в такой работе может быть только приятным бонусом.
Как обычно, на практике лучше всего работает сочетание первого и второго варианта. Когда человек из пункта 1) консультирует по самым современным моделям, а ребята из пункта 2) аккуратно их обучают внедряют.
Когда вы стартуете ИИ-проект, сразу прикидывайте какого класса
Если остались какие-то вопросы, задавайте в комментария. Все обсудим.
1👍25🤔5❤🔥3❤3🔥2👎1🐳1
Всеволод Викулин | AI разбор pinned «Кто достоин делать ИИ в продукте Кто этот рыцарь? Какой универ он закончил? Все ли семестры матанализа у него на отлично? Эти вопросы часто слышу от коллег, которые поняли, что пора ИИ-визировать свои компании, пока полимеры все еще у них. Давайте разбираться…»
Когда вам стоит дообучать LLM
Хватит сидеть на промптах! Альтман нас ограничивает! Мы хотим дообучить опенсорс LLM на наших данных, чтобы оптимизировать нашу задачу.
По теореме о бесплатных завтраках вы абсолютно правы. Оптимизация под конкретную область должна бить базовое решение. Теоретически. А на практике?
На практике.
Начнём издалека. Вы купили автомобиль. Не самые глупые люди много времени настраивали двигатель, коробку передач, рулевое управление… чтобы все работало вместе хорошо. Сбалансированно. Вот вы его купили и стали тюнинговать. Вкорячили турбину, занизили, поставили колонки в багажник (и не забыли проинформировать ГИБДД!)
Если вы не Xzibit, то большой шанс, что машина потеряет статус «все стабильно работает», которого добивались инженеры на заводе. Нештатные ситуации будут случаться намного чаще. Будет хуже управляться, иногда ломаться и чаще кряхтеть. А могли бы просто спокойно ездить на дачу на заводском…
Сева, блин, при чем тут LLM?
В обучении базовых LLM есть стадия “alignment”. Она нужна, чтобы модель поняла, что вообще от нее хочет человек. Изначально модель пыталась просто токен следующий предсказать, никто ей не объяснил, что вообще-то она создана, чтобы созвоны суммаризовывать. "Заводской" alignment делает много умных ИИ-инженеров в несколько стадий (более подробно смотрите мою любимую лекцию)
Можно считать, что это базовая настройка модели, которая еще защищает ее от делания гадостей. Когда ее просят наврать в ответе, послать пользователя на 3 буквы, выдатькоды доступы к Зиону системный промпт. Вам в продукте весь этот треш не нужен. Вот когда вы модель дообучаете, вы ломаете эту настройку. Веса меняются, никто не обещает теперь, что модель не заглючит, и она не сломается от первой промпт-инъекции.
Неправильное дообучение может, например, заставить модель сильнее галлюцинировать. Почему? Посмотрите, например, статью от коллег из Google. Вы добавили в обучающее множество информацию, которой не было у модели во время pretraining. Это вызывает у нее противоречие: "я про это первый раз слышу, вы сейчас просите так отвечать, мне теперь всегда надо ответы придумывать?" Я так тоже делал в универе, когда пропустил 90% материала и пытался выучить билеты за ночь.
Когда нужно дообучать?
Я знаю ровно 3 кейса:
1) Невозможно в промпте описать все ваши продуктовые желания. Например, вы хотите с помощью LLM писать карточки товаров, максимизируя CTR клика. Словами это так просто не передать.
2) У вас так много запросов, что вам дешевле поднять LLM на своем железе, чем платить за каждый запрос в API.
3) Вы не хотите, чтобы данные выходили за ваш контур.
Заключение
Делайте дообучение, только если без него совсем нельзя. Например, еще есть промпты и RAG.
А если уж решили прокачивать вашу LLM, то делайте это как Xzibit. Чтобы разобраться, как это делать, настоятельно рекомендую этот канал.
Хватит сидеть на промптах! Альтман нас ограничивает! Мы хотим дообучить опенсорс LLM на наших данных, чтобы оптимизировать нашу задачу.
По теореме о бесплатных завтраках вы абсолютно правы. Оптимизация под конкретную область должна бить базовое решение. Теоретически. А на практике?
На практике.
Начнём издалека. Вы купили автомобиль. Не самые глупые люди много времени настраивали двигатель, коробку передач, рулевое управление… чтобы все работало вместе хорошо. Сбалансированно. Вот вы его купили и стали тюнинговать. Вкорячили турбину, занизили, поставили колонки в багажник (и не забыли проинформировать ГИБДД!)
Если вы не Xzibit, то большой шанс, что машина потеряет статус «все стабильно работает», которого добивались инженеры на заводе. Нештатные ситуации будут случаться намного чаще. Будет хуже управляться, иногда ломаться и чаще кряхтеть. А могли бы просто спокойно ездить на дачу на заводском…
Сева, блин, при чем тут LLM?
В обучении базовых LLM есть стадия “alignment”. Она нужна, чтобы модель поняла, что вообще от нее хочет человек. Изначально модель пыталась просто токен следующий предсказать, никто ей не объяснил, что вообще-то она создана, чтобы созвоны суммаризовывать. "Заводской" alignment делает много умных ИИ-инженеров в несколько стадий (более подробно смотрите мою любимую лекцию)
Можно считать, что это базовая настройка модели, которая еще защищает ее от делания гадостей. Когда ее просят наврать в ответе, послать пользователя на 3 буквы, выдать
Неправильное дообучение может, например, заставить модель сильнее галлюцинировать. Почему? Посмотрите, например, статью от коллег из Google. Вы добавили в обучающее множество информацию, которой не было у модели во время pretraining. Это вызывает у нее противоречие: "я про это первый раз слышу, вы сейчас просите так отвечать, мне теперь всегда надо ответы придумывать?" Я так тоже делал в универе, когда пропустил 90% материала и пытался выучить билеты за ночь.
Когда нужно дообучать?
Я знаю ровно 3 кейса:
1) Невозможно в промпте описать все ваши продуктовые желания. Например, вы хотите с помощью LLM писать карточки товаров, максимизируя CTR клика. Словами это так просто не передать.
2) У вас так много запросов, что вам дешевле поднять LLM на своем железе, чем платить за каждый запрос в API.
3) Вы не хотите, чтобы данные выходили за ваш контур.
Заключение
Делайте дообучение, только если без него совсем нельзя. Например, еще есть промпты и RAG.
А если уж решили прокачивать вашу LLM, то делайте это как Xzibit. Чтобы разобраться, как это делать, настоятельно рекомендую этот канал.
2👍28🔥5❤4🐳2🤝1
Как можно стать ИИ-инженером
ИИ-инженер - человек, который умеет внедрять ИИ в продукт.
В этой фразе 2 ключевых слова. Внедрять и ИИ.
1) Внедрять.
Написать код, который использует модель и решает бизнес задачу. За этой фразой скрывается:
- Написать собственно сервис с моделью
- Написать обвязку к нему (походы в разные БД, UI, если забыли фронтендера и тд)
- Проверить, что все работает (тут не простые unit-тесты, полноценная оценка качества моделей)
- Сделать мониторинги, что в процессе не разломалось
- Настроить процессы пересборки данных
...
ну вы поняли
2) ИИ.
Модель, которая приносит щепотку интеллектуальности в наш сервис. Надо уметь делать модели. И с каждым годом их делать все проще и проще.
Раньше модели могли делать только математики. Никакой кодовой базы не было, все обучение писали сами. Как производную насчитал, так модель и обучил. Понятно, тут без очень хорошей школы не обойтись.
Сейчас все стало веселее. Все побежали делать ИИ. И корпорации, и опенсорс. У нас есть куча готовых моделей-API, куча моделей, которые надо только запустить, огромное множество библиотек обучения, куда нужно только вставить ваш датасет. Конечно, это требует знаний, но производные вам брать уже не придется.
Как проще всего им стать?
Вот 2 направления на картинке. Справа фуллстэк инженер, слева супер исследователь. Нам нужен кто-то посередине. Ну и очевидно 2 варианта:
1) Учить исследователя проектировать отказоустойчивые сервисы
2) Учить разработчика основам ИИ и рассказывать про самые последние инструменты
Я уверен, что второе сильно проще. И стратегически правильнее, потому что построение моделей будет еще и еще упрощаться.
Всегда мечтал сделать курс, который помог бы разработчику/аналитику/любому человеку-кодящему делать собственные ИИ-продукты. Когда-нибудь осуществлю.
ИИ-инженер - человек, который умеет внедрять ИИ в продукт.
В этой фразе 2 ключевых слова. Внедрять и ИИ.
1) Внедрять.
Написать код, который использует модель и решает бизнес задачу. За этой фразой скрывается:
- Написать собственно сервис с моделью
- Написать обвязку к нему (походы в разные БД, UI, если забыли фронтендера и тд)
- Проверить, что все работает (тут не простые unit-тесты, полноценная оценка качества моделей)
- Сделать мониторинги, что в процессе не разломалось
- Настроить процессы пересборки данных
...
ну вы поняли
2) ИИ.
Модель, которая приносит щепотку интеллектуальности в наш сервис. Надо уметь делать модели. И с каждым годом их делать все проще и проще.
Раньше модели могли делать только математики. Никакой кодовой базы не было, все обучение писали сами. Как производную насчитал, так модель и обучил. Понятно, тут без очень хорошей школы не обойтись.
Сейчас все стало веселее. Все побежали делать ИИ. И корпорации, и опенсорс. У нас есть куча готовых моделей-API, куча моделей, которые надо только запустить, огромное множество библиотек обучения, куда нужно только вставить ваш датасет. Конечно, это требует знаний, но производные вам брать уже не придется.
Как проще всего им стать?
Вот 2 направления на картинке. Справа фуллстэк инженер, слева супер исследователь. Нам нужен кто-то посередине. Ну и очевидно 2 варианта:
1) Учить исследователя проектировать отказоустойчивые сервисы
2) Учить разработчика основам ИИ и рассказывать про самые последние инструменты
Я уверен, что второе сильно проще. И стратегически правильнее, потому что построение моделей будет еще и еще упрощаться.
Всегда мечтал сделать курс, который помог бы разработчику/аналитику/любому человеку-кодящему делать собственные ИИ-продукты. Когда-нибудь осуществлю.
3👍38🔥6❤4🤔2🐳1👾1
Зачем и куда внедрять ИИ?
Уже были посты про ИИ для бизнеса (один, два). Нам надо эту тему систематизировать. Cейчас аккуратно напишем базу внедрения ИИ.
Типы ИИ-пользы в бизнесе
За 8 лет проектирования ИИ систем я видел всего 2 больших типа:
1) Гипер персонализация.
Модели могут подбирать товар/услугу персонально под клиента. Они могут делать это, учитывая огромный объем знаний о нем. Не знаю как вас, но консультант в магазине иногда даже мое имя путает. А здесь модель будет опираться на тысячи факторов. Это, например:
- Таргетированная реклама
- Поиск
- Рекомендации товаров в маркетплейсах
Здесь основные деньги приносят классические модели ИИ, такие как градиентный бустинг, коллаборативная фильтрация, факторизационные машины. Конечно, нейронные сети тут тоже применяются, но это не те самые LLM, которые будоражат сознания инвесторов.
2) Автоматизация
Здесь ценности от ИИ сразу две:
- Экономим и, возможно, увеличиваем качество решения задачи
- Делаем более масштабируемый бизнес. Чем больше людей у вас замешано в процессы, тем сложнее вам процессы масштабировать. Нужно создавать департаменты, протоколы, отчеты, комитеты. Про это написана прекрасная книга, очень рекомендую.
Важно понять, что автоматизацию тоже можно делать классическими алгоритмами, никаких вам LLM.
Например, раньше кредитный рейтинг выдавали специалисты по кредитованию. А теперь это все уже делают алгоритмы. Это, кстати, пример одновременно двух способов нанесения непоправимой пользы: вы и персонализацию используете и задачу автоматизируете, круто же!
На заводах и производстве внедрены системы компьютерного зрения, которые вместо человека следят за качеством товара и убирают браки.
Для обоих типов пользы пока что большую часть денег генерируют классические алгоритмы, а не LLM. Это показано в отчете McKinsey, картинку из которого я приложил к посту. Но голубой столбик год к году будет прибавлять в весе, это я вам обещаю.
Рычаг для ИИ-проекта
Рычаг - это масштаб вашего ИИ-проекта. Сколько рекомендаций вы делаете в сутки? Сколько задач вы автоматизируете? Сколько кредитов вы выдаете? Рычаг - самое важное, что должно быть в вашем ИИ-проекте и неважно, какого он типа, сейчас я объясню почему.
В ИИ всегда работает сублинейная зависимость качества решения от усилий. Я ее схематично нарисовал на графике. McKinsey смеется в голос над этим дизайном, но уверяю вас, информация остается ценной.
В начале очень просто выбить неплохое качество, и здесь можно обойтись вообще без ML. Про это есть хорошая статья.
Например, для рекомендаций товаров можно просто показывать самые продающиеся товары. Это хорошее решение, для большинства небольших интернет магазинов ничего больше и не нужно. Построение собственной рекомендательной системы это инвестиции. Если первая версия рек. системы увеличит продажи из ленты на 5%, а у вас маленький рычаг, вы не окупите эту рек. систему. Для Amazon 5% роста продаж из ленты означает, что весь отдел рекомендаций уезжает на год на Мальдивы.
Резюме
Вам не обязательно бежать делать LLM. Пока что бОльшая часть денег в бизнесе все еще не там.
Когда выбираете проект, с LLM или без, обязательно следите за рычагом. Иначе будете делать то, что на самом деле нужно делать парой ифов за один вечер.
Уже были посты про ИИ для бизнеса (один, два). Нам надо эту тему систематизировать. Cейчас аккуратно напишем базу внедрения ИИ.
Типы ИИ-пользы в бизнесе
За 8 лет проектирования ИИ систем я видел всего 2 больших типа:
1) Гипер персонализация.
Модели могут подбирать товар/услугу персонально под клиента. Они могут делать это, учитывая огромный объем знаний о нем. Не знаю как вас, но консультант в магазине иногда даже мое имя путает. А здесь модель будет опираться на тысячи факторов. Это, например:
- Таргетированная реклама
- Поиск
- Рекомендации товаров в маркетплейсах
Здесь основные деньги приносят классические модели ИИ, такие как градиентный бустинг, коллаборативная фильтрация, факторизационные машины. Конечно, нейронные сети тут тоже применяются, но это не те самые LLM, которые будоражат сознания инвесторов.
2) Автоматизация
Здесь ценности от ИИ сразу две:
- Экономим и, возможно, увеличиваем качество решения задачи
- Делаем более масштабируемый бизнес. Чем больше людей у вас замешано в процессы, тем сложнее вам процессы масштабировать. Нужно создавать департаменты, протоколы, отчеты, комитеты. Про это написана прекрасная книга, очень рекомендую.
Важно понять, что автоматизацию тоже можно делать классическими алгоритмами, никаких вам LLM.
Например, раньше кредитный рейтинг выдавали специалисты по кредитованию. А теперь это все уже делают алгоритмы. Это, кстати, пример одновременно двух способов нанесения непоправимой пользы: вы и персонализацию используете и задачу автоматизируете, круто же!
На заводах и производстве внедрены системы компьютерного зрения, которые вместо человека следят за качеством товара и убирают браки.
Для обоих типов пользы пока что большую часть денег генерируют классические алгоритмы, а не LLM. Это показано в отчете McKinsey, картинку из которого я приложил к посту. Но голубой столбик год к году будет прибавлять в весе, это я вам обещаю.
Рычаг для ИИ-проекта
Рычаг - это масштаб вашего ИИ-проекта. Сколько рекомендаций вы делаете в сутки? Сколько задач вы автоматизируете? Сколько кредитов вы выдаете? Рычаг - самое важное, что должно быть в вашем ИИ-проекте и неважно, какого он типа, сейчас я объясню почему.
В ИИ всегда работает сублинейная зависимость качества решения от усилий. Я ее схематично нарисовал на графике. McKinsey смеется в голос над этим дизайном, но уверяю вас, информация остается ценной.
В начале очень просто выбить неплохое качество, и здесь можно обойтись вообще без ML. Про это есть хорошая статья.
Например, для рекомендаций товаров можно просто показывать самые продающиеся товары. Это хорошее решение, для большинства небольших интернет магазинов ничего больше и не нужно. Построение собственной рекомендательной системы это инвестиции. Если первая версия рек. системы увеличит продажи из ленты на 5%, а у вас маленький рычаг, вы не окупите эту рек. систему. Для Amazon 5% роста продаж из ленты означает, что весь отдел рекомендаций уезжает на год на Мальдивы.
Резюме
Вам не обязательно бежать делать LLM. Пока что бОльшая часть денег в бизнесе все еще не там.
Когда выбираете проект, с LLM или без, обязательно следите за рычагом. Иначе будете делать то, что на самом деле нужно делать парой ифов за один вечер.
3👍31❤10🔥8🤔1🐳1👾1