God tier пейпер про рассуждения и логику у LLM. Разобрал для вас все существующие способы сделать ИИ умнее. Если вы делаете AI продукт, приклейте эту картинку себе на монитор.
Авторы сделали компексный разбор всех существующих механизмов и способов добиться повторяемых и глубоких логических рассуждений от LLM (на картинке). Вот краткий обзор научной мысли в направлении обучения LLM рассуждениям.
Prompt engineering
— Одноэтапные, несколько примеров с цепочками мысли получаемые через CoT промт
— Многоэтапные, разбиение на подзадачи, последовательные промты
Оптимизация процессов
— Самооптимизация, калибровка с помощью дополнительных модулей или другой "проверяющей" LLM
— Ансамблевая оптимизация, когда LLM задает один и тот же вопрос многим клонам самой себя и потом выбирает самый популярный вариант
— Итеративная оптимизация, автоматический файн-тьюнинг LLM на сгенерированных примерах
Внешние механизмы
— Физические симуляторы, имитация процессов через мультимодальность
— Интерпретаторы кода, написание кода самой LLM для достижения результата рассуждений
— Обучение инструментам, внедрение вызовов внешних инструментов через агентов
Дополнение знаниями
— Неявные знания, извлечение из LLM через промтинг
— Явные знания, поиск релевантных знаний во внешних корпусах типа RAG
В целом промты позволяют активировать в LLM способности к логическому мышлению и рассуждениям. Комбинация стратегий промтов и знаний (RAG) это главная идея для улучшения рассуждений.
Авторы сделали компексный разбор всех существующих механизмов и способов добиться повторяемых и глубоких логических рассуждений от LLM (на картинке). Вот краткий обзор научной мысли в направлении обучения LLM рассуждениям.
Prompt engineering
— Одноэтапные, несколько примеров с цепочками мысли получаемые через CoT промт
— Многоэтапные, разбиение на подзадачи, последовательные промты
Оптимизация процессов
— Самооптимизация, калибровка с помощью дополнительных модулей или другой "проверяющей" LLM
— Ансамблевая оптимизация, когда LLM задает один и тот же вопрос многим клонам самой себя и потом выбирает самый популярный вариант
— Итеративная оптимизация, автоматический файн-тьюнинг LLM на сгенерированных примерах
Внешние механизмы
— Физические симуляторы, имитация процессов через мультимодальность
— Интерпретаторы кода, написание кода самой LLM для достижения результата рассуждений
— Обучение инструментам, внедрение вызовов внешних инструментов через агентов
Дополнение знаниями
— Неявные знания, извлечение из LLM через промтинг
— Явные знания, поиск релевантных знаний во внешних корпусах типа RAG
В целом промты позволяют активировать в LLM способности к логическому мышлению и рассуждениям. Комбинация стратегий промтов и знаний (RAG) это главная идея для улучшения рассуждений.
👍57⚡12
#ИИ_для_жизни
Часто просят рассказывать о том как я использую ИИ в своей жизни и работе. Заметил, что последние недели >50% моей работы делается с помощью ИИ-инструментов. Помимо стандартного набора вкладок, которые открыты всегда (Claude, ChatGPT plus, MJ Discord, perplexity, локальный quivr), хочу поделиться всякими интересными продуктами и лайфхаками, которые будут полезны для вас.
Записал для вас видео о том как сделать аналитику по рынкам и продуктовые исследования на основе подкастов. И все это абсолютно бесплатно.
По моим грубым оценкам такой подход экономит ~90% времени на исследование новых рынков или сфер, давая при этом 80% результата и инсайтов. Промты, исходники, ссылки, детали этого и других проектов публикую в бусти.
https://youtu.be/qbeUt-ai22M
Часто просят рассказывать о том как я использую ИИ в своей жизни и работе. Заметил, что последние недели >50% моей работы делается с помощью ИИ-инструментов. Помимо стандартного набора вкладок, которые открыты всегда (Claude, ChatGPT plus, MJ Discord, perplexity, локальный quivr), хочу поделиться всякими интересными продуктами и лайфхаками, которые будут полезны для вас.
Записал для вас видео о том как сделать аналитику по рынкам и продуктовые исследования на основе подкастов. И все это абсолютно бесплатно.
По моим грубым оценкам такой подход экономит ~90% времени на исследование новых рынков или сфер, давая при этом 80% результата и инсайтов. Промты, исходники, ссылки, детали этого и других проектов публикую в бусти.
https://youtu.be/qbeUt-ai22M
👍57⚡11
ИИ меняет структуру экономики. Для кого-то (подписчиков Gershuni в первую очередь!) это гигантская возможность добиться небывалых высот и внутренней гармонии; для других — риск остаться без работы или с 1/10 от своей зарплаты. Давайте разберём на конкретных примерах, цифрах и данных что нас ждёт.
80% всех профессий и работ в США изменяться благодаря LLM; в каждой из них как минимум 10% задач будут автоматизированы (выполняться с минимальным участием человек без потери качества) с помощью ИИ. А для 19% всех сотрудников в экономике автоматизация затронет более 50% ежедневных задач. [источник]
Великий Уравнитель в действии: чем выше уровень образования и оклад, тем больше автоматизации появится в профессии. Для бариста, сантехника или парикмахера уровень почти нулевой; для аналитика Wall Street или юрисконсульта — очень высокий. Для профессий с средней з/п в $30k/год задачи подверженные автоматизации составляют около 5% (по разным моделям); для з/п от $80k — это 50%.
Всего, учитывая текущий уровень развития технологий LLM, авторы ожидают автоматизацию ~15% всех задач в экономике (без потери качества) и до 47% учитывая не просто ChatGPT, а новые продукты созданные на основе LLM.
Авторы статьи приходят к выводу, что LLM это технология общего назначения (типа как электричество) и большинство кейсов применения еще просто не появились или находятся на очень ранней стадии. Со временем, технология будет улучшаться и эти цифры поменяются.
Запомните, дети: сегодня мы используем самую тупую, никчемную и примтивную версию generative AI за всю нашу жизнь.
80% всех профессий и работ в США изменяться благодаря LLM; в каждой из них как минимум 10% задач будут автоматизированы (выполняться с минимальным участием человек без потери качества) с помощью ИИ. А для 19% всех сотрудников в экономике автоматизация затронет более 50% ежедневных задач. [источник]
Великий Уравнитель в действии: чем выше уровень образования и оклад, тем больше автоматизации появится в профессии. Для бариста, сантехника или парикмахера уровень почти нулевой; для аналитика Wall Street или юрисконсульта — очень высокий. Для профессий с средней з/п в $30k/год задачи подверженные автоматизации составляют около 5% (по разным моделям); для з/п от $80k — это 50%.
Всего, учитывая текущий уровень развития технологий LLM, авторы ожидают автоматизацию ~15% всех задач в экономике (без потери качества) и до 47% учитывая не просто ChatGPT, а новые продукты созданные на основе LLM.
Авторы статьи приходят к выводу, что LLM это технология общего назначения (типа как электричество) и большинство кейсов применения еще просто не появились или находятся на очень ранней стадии. Со временем, технология будет улучшаться и эти цифры поменяются.
Запомните, дети: сегодня мы используем самую тупую, никчемную и примтивную версию generative AI за всю нашу жизнь.
👍83👾6
#ИИ_для_жизни
Сегодня расскажу о продукте Rewind.
Rewind записывает все, что просиходит на вашем компьютере. Все приложения, сайты, звонки, видео и звук. А потом позволяет суммаризировать и искать по этой информации.
Например, я могу спросить "на прошлой неделе, не помню в какой день, я созванивался на тему организации закрытого ИИ-чата. какие форматы подписок мы обсуждали и в чем плюсы/минусы каждой?". Или: "я в понедельник читал в телеге про Padle теннис (не помню ни канал, ни время), найди мне этот пост". Или я могу подключиться на звонок, уйти делать зарядку, а Rewind мне расскажет все что из сказанного касается персонально меня. Rewind запоминает не только текст, но и голос, видео и даже текст с картинок (поисковик по мемам!).
Штука, которая изменила мою жизнь и экономит 5+ часов каждую неделю на поиск или анализ информации. У меня Rewind запущен 24/7 и пишет абсолютно все, но вы можете заблокировать ему доступ к каким-то приложениям.
В следующий раз когда залипнете на 15 минут поисков и вспоминаний с мыслью "где-то это было, не помню где" — знайте, что в мире уже есть десятки тысяч (а скоро — миллионов) людей, у которых такой боли больше нет.
Сегодня расскажу о продукте Rewind.
Rewind записывает все, что просиходит на вашем компьютере. Все приложения, сайты, звонки, видео и звук. А потом позволяет суммаризировать и искать по этой информации.
Например, я могу спросить "на прошлой неделе, не помню в какой день, я созванивался на тему организации закрытого ИИ-чата. какие форматы подписок мы обсуждали и в чем плюсы/минусы каждой?". Или: "я в понедельник читал в телеге про Padle теннис (не помню ни канал, ни время), найди мне этот пост". Или я могу подключиться на звонок, уйти делать зарядку, а Rewind мне расскажет все что из сказанного касается персонально меня. Rewind запоминает не только текст, но и голос, видео и даже текст с картинок (поисковик по мемам!).
Штука, которая изменила мою жизнь и экономит 5+ часов каждую неделю на поиск или анализ информации. У меня Rewind запущен 24/7 и пишет абсолютно все, но вы можете заблокировать ему доступ к каким-то приложениям.
В следующий раз когда залипнете на 15 минут поисков и вспоминаний с мыслью "где-то это было, не помню где" — знайте, что в мире уже есть десятки тысяч (а скоро — миллионов) людей, у которых такой боли больше нет.
⚡57👍29
Классный канал про работу с продуктом, но на примере живого нецифрового бизнеса.
Ребята за 2 года построили с нуля крупнейшую сеть self-service кофеен в России, с 2022 года развивают ту же бизнес-модель в Грузии и Дубае. Основатель и СЕО компании уже 1,5 года каждый день рассказывает обо всех инсайтах и факапах на пути к цели в 50 000 точек по всему миру.
Интересно про грамотную сборку и быстрый тест гипотез, команду, постановку целей и мотивацию, открыто и честно про факапы, ещё интереснее — про то, как при всём этом кайфовать от жизни и просто быть счастливым.
Ребята масштабируются через привлечение инвестиций — предлагают инвестировать в кофейни в Дубае из любой точки мира. Сами всем управляют, инвесторы только получают часть прибыли каждый месяц или квартал в рублях, долларах или крипте. Доходность — 24,9% годовых в долларах, остальные цифры в канале.
Подписывайтесь, если интересно изучить или просто понаблюдать за тем, как ребята из России дизраптят старый добрый рынок кофе с собой)
#партнерский_пост
Ребята за 2 года построили с нуля крупнейшую сеть self-service кофеен в России, с 2022 года развивают ту же бизнес-модель в Грузии и Дубае. Основатель и СЕО компании уже 1,5 года каждый день рассказывает обо всех инсайтах и факапах на пути к цели в 50 000 точек по всему миру.
Интересно про грамотную сборку и быстрый тест гипотез, команду, постановку целей и мотивацию, открыто и честно про факапы, ещё интереснее — про то, как при всём этом кайфовать от жизни и просто быть счастливым.
Ребята масштабируются через привлечение инвестиций — предлагают инвестировать в кофейни в Дубае из любой точки мира. Сами всем управляют, инвесторы только получают часть прибыли каждый месяц или квартал в рублях, долларах или крипте. Доходность — 24,9% годовых в долларах, остальные цифры в канале.
Подписывайтесь, если интересно изучить или просто понаблюдать за тем, как ребята из России дизраптят старый добрый рынок кофе с собой)
#партнерский_пост
👎46👍17
Рассказываю как использовать ИИ для создания команды ИИ-агентов, которые будут выполнять ваши личные и бизнес-задачи, такие как создание контента, написание кода, анализ данных. Полное видео доступно на ютубе, а полный код и инструкция по запуску в бусти.
YouTube
Команда ИИ-агентов работает на вас!
✅ Я публикую все промты, исходники, ссылки и детали этого и других проектов в Boosty: https://boosty.to/codextown
Подписывайтесь и получите эксклюзивный доступ к закрытому контенту, который поможет ускорить ваш рабочий процесс и стать на шаг впереди конкурентов:…
Подписывайтесь и получите эксклюзивный доступ к закрытому контенту, который поможет ускорить ваш рабочий процесс и стать на шаг впереди конкурентов:…
👍43🏆7
В любой ИИ-тусовке дискурс глобально сводится к двум партиям:
1. Радикал-акселерационисты: «кожаные — это переходный период, с помощью которого AGI создает сам себя из атомов». Нам на смену приходит новая форма жизни. Закат Homo Sapiens и рассвет чего-то нового, куда более масштабного и могущественного, чем мы. Наша цель — самоотдача ради ускорения Пришествия.
2. Старики кричащие на облака: «машина не в состоянии быть более креативной, эмпатийной, умной чем человек». Мы — богоизбранный народ, только эволюция и органика может дать действительно полноценную жизнь и интеллект. Наша задача — сохранить наш мир.
Важно понимать, что эти примеры — крайности, к которым относится по 1% участников дискурса. Остальные где-то внутри спектра.
А где здесь вы?
1. Радикал-акселерационисты: «кожаные — это переходный период, с помощью которого AGI создает сам себя из атомов». Нам на смену приходит новая форма жизни. Закат Homo Sapiens и рассвет чего-то нового, куда более масштабного и могущественного, чем мы. Наша цель — самоотдача ради ускорения Пришествия.
2. Старики кричащие на облака: «машина не в состоянии быть более креативной, эмпатийной, умной чем человек». Мы — богоизбранный народ, только эволюция и органика может дать действительно полноценную жизнь и интеллект. Наша задача — сохранить наш мир.
Важно понимать, что эти примеры — крайности, к которым относится по 1% участников дискурса. Остальные где-то внутри спектра.
А где здесь вы?
👾33💘12
Claude открыл API, цены радуют.
GPT4-32k
60$/миллион токенов промта
120$/миллион токенов генерации
Claude2-100k
11$/миллион токенов промта
32$/миллион токенов генерации
GPT4-32k
60$/миллион токенов промта
120$/миллион токенов генерации
Claude2-100k
11$/миллион токенов промта
32$/миллион токенов генерации
⚡55👍8
О хайпе
В крипту ломились миллионы, думая что для них это способ изменить свою жизнь. А именно: грязно разбогатеть с минимальными усилиями.
AI изучают и тестируют те же миллионы, думая что это способ изменить свою жизнь.
Только в крипте 99% хомяков всегда теряют свои вложения. А AI для 99% людей окажет существенное влияние на их благополучение, карьеру, умение приспосабливаться к новому миру.
Не говорю, что крипта/веб3 менее важны или чем-то хуже. Просто типичного хомяка «покупаю ради иксов»/«взял кредит, купил сигналы»/«продам квартиру, куплю обезьяну» там ничего кроме лишения всех накоплений не ждало и не ждёт.
UPD. Речь не о том, что идея крипты скам. Там тысячу умнейших и любимейших людей и крутых проектов. А о том, что для хомяка (типичного пользователя) крипта — это про то как побыстрее отдать деньги более беспринципным и хитрым.
Под разумными идеями (децентрализация финансовой системы и социальных институтов) хомякам продают TON и LUNA. А они покупают, потому что хотят ламбу, и пелена жадности застилает сознание.
В крипту ломились миллионы, думая что для них это способ изменить свою жизнь. А именно: грязно разбогатеть с минимальными усилиями.
AI изучают и тестируют те же миллионы, думая что это способ изменить свою жизнь.
Только в крипте 99% хомяков всегда теряют свои вложения. А AI для 99% людей окажет существенное влияние на их благополучение, карьеру, умение приспосабливаться к новому миру.
Не говорю, что крипта/веб3 менее важны или чем-то хуже. Просто типичного хомяка «покупаю ради иксов»/«взял кредит, купил сигналы»/«продам квартиру, куплю обезьяну» там ничего кроме лишения всех накоплений не ждало и не ждёт.
UPD. Речь не о том, что идея крипты скам. Там тысячу умнейших и любимейших людей и крутых проектов. А о том, что для хомяка (типичного пользователя) крипта — это про то как побыстрее отдать деньги более беспринципным и хитрым.
Под разумными идеями (децентрализация финансовой системы и социальных институтов) хомякам продают TON и LUNA. А они покупают, потому что хотят ламбу, и пелена жадности застилает сознание.
👍74👎23
В этом видео я расскажу вам, как команда ИИ-агентов могут придумывать, валидировать бизнес-идеи, и даже сделают за вас MVP. Это простая демка, целью которой является показать куда похожие технологии будут развиваться в ближайшем будущем. Я публикую все промты, исходники, ссылки и детали этого и других проектов в Boosty.
👍48👎7
Вася Суманов, с которым мы делали интервью в начале года, опубликовал большую статью по своей концепции Value Capturing Theory.
Недавно вышел выпуск рассылки токен инжинирингового сообщества, где изложены детали.
Грубо говоря, это периодическая таблица экономических систем создания и удержания ценности в цифровых протоколах.
Если цель веб3 — это создание программируемой экономики, то VCT это самый точный из мне известных фреймворков для структурирования всех способов создания и удержания ценности. Статья делает обзор разных проектов и протоколов и определяет источник создаваемой ценности, механизм удержания ценности и способы имплементации для каждого из них.
Будет полезно тем, кто работает в веб3 (но не продавцам обещаний и фантиков) и тем, кому интересно переложить модель программируемой экономики и финансов на некоторый гипотетический мир будущего, где генерация и обмен ценностью происходит уже не только между людьми и протоколами, но и автономными агентами.
Недавно вышел выпуск рассылки токен инжинирингового сообщества, где изложены детали.
Грубо говоря, это периодическая таблица экономических систем создания и удержания ценности в цифровых протоколах.
Если цель веб3 — это создание программируемой экономики, то VCT это самый точный из мне известных фреймворков для структурирования всех способов создания и удержания ценности. Статья делает обзор разных проектов и протоколов и определяет источник создаваемой ценности, механизм удержания ценности и способы имплементации для каждого из них.
Будет полезно тем, кто работает в веб3 (но не продавцам обещаний и фантиков) и тем, кому интересно переложить модель программируемой экономики и финансов на некоторый гипотетический мир будущего, где генерация и обмен ценностью происходит уже не только между людьми и протоколами, но и автономными агентами.
👍44☃4
Интернет всполошился. Вчера вышел 166-страничный репорт о возможностях GPT-4V. Оказалось, что GPT не только помножил на ноль почти все продукты в области NLP за последние годы, но и с ноги ворвался в Computer Vision, где сидели бородатые завсегдатаи, пили пиво и были уверены что "уж нас-то ваши эти трансформеры не тронут" (с).
Оказалось, что помимо простого "опиши что на картинке" GPT имеет глубокое понимание визуального и текстового контекста. Умеет определять темпоральный контекст. Знает как распознать и корректно идентифицировать эмоции людей. Прекрасно решает взиуальные логические задачи. Ставит корректные диагнозы по КТ и МРТ снимкам. Может дообучаться, в том числе на few-shot примерах прямо в промте. Анализирует графики. Распознает ингредиенты в блюде. Распознает конкретных людей. Понимает схемы, диаграммы, формулы, в том числе нарисованные от руки. Умеет выполнять навигацию по графическим элементам дизайна. Умеет принимать решения о навигации робота в реальном мире по двухмерной фотографии.
Но, главное, это вообще не какая-то другая модель. Это часть GPT-4 и, соотвественно, все что уже работает внутри GPT (промтинг, RAG, агенты) автоматически работает и для GPT-4V.
Для меня этот пейпер звучит как дикая фантастика 20-летней перспективы. Если бы OpenAI не анонсировал, что продукт будет доступен всем через месяц. А многие в твиттере уже имеют к нему доступ.
Вот тут Леша из Ai Happens рассказывает о примерах для бизнеса, а Сергей из Метаверсище и ИИще про кейсы в психологии и эмоциальном интеллекте.
Оказалось, что помимо простого "опиши что на картинке" GPT имеет глубокое понимание визуального и текстового контекста. Умеет определять темпоральный контекст. Знает как распознать и корректно идентифицировать эмоции людей. Прекрасно решает взиуальные логические задачи. Ставит корректные диагнозы по КТ и МРТ снимкам. Может дообучаться, в том числе на few-shot примерах прямо в промте. Анализирует графики. Распознает ингредиенты в блюде. Распознает конкретных людей. Понимает схемы, диаграммы, формулы, в том числе нарисованные от руки. Умеет выполнять навигацию по графическим элементам дизайна. Умеет принимать решения о навигации робота в реальном мире по двухмерной фотографии.
Но, главное, это вообще не какая-то другая модель. Это часть GPT-4 и, соотвественно, все что уже работает внутри GPT (промтинг, RAG, агенты) автоматически работает и для GPT-4V.
Для меня этот пейпер звучит как дикая фантастика 20-летней перспективы. Если бы OpenAI не анонсировал, что продукт будет доступен всем через месяц. А многие в твиттере уже имеют к нему доступ.
Вот тут Леша из Ai Happens рассказывает о примерах для бизнеса, а Сергей из Метаверсище и ИИще про кейсы в психологии и эмоциальном интеллекте.
⚡77👍19
Интернет встрепенулся (второй раз за день). GPT-4V забыт как детский сон. Open X (коллаборация 21 топовых университетов) дропнули пейпер и гигамодель для генерализации "воплощения" (embodiement) роботов.
Подобно тому как обучение на триллионах токенов создало универсальный NLP алгоритм (LLM), а обучение на терабайтах картинок создало универсальный графическую модель, теперь тот же принцип был успешно применён к робототехнике в новой модели RT-X.
Раньше ИИ модели создавали кастомно под задачи робота (управлять машиной, складывать детали, готовить еду, копать ямы). Здесь представлена модель, которая универсально управляет роботическими руками и умеет выполнять 1,5 миллиона отдельных задач без ручного обучения каждой из них. Роботы, не видевшие раньше задания, такие как "сложи", "возьми", "отсортируй", "налей", "переверни", "открой дверь", "подмети за собой" с первой попытки успешно их выполняют.
Если GPT — это генерализация логических и когнтивных задач (операций с битами), то эта штука — генерализация задач взаимодействия с физическим миром (операций с атомами). В робо-руках, управляемых RT-X, проявились эмерджентные свойства и умение выполнять задачи, которыми их не тренировали. Подобно тому как GPT может ответить на вопрос, который он никогда не видел. Технически это называется "cross-embodiment learning". Модель, кстати, с открытым кодом. Но, как мы знаем, все что Open рано или поздно становится не очень.
Так что, let's fuuucking go, hail to your robot overlords.
Подобно тому как обучение на триллионах токенов создало универсальный NLP алгоритм (LLM), а обучение на терабайтах картинок создало универсальный графическую модель, теперь тот же принцип был успешно применён к робототехнике в новой модели RT-X.
Раньше ИИ модели создавали кастомно под задачи робота (управлять машиной, складывать детали, готовить еду, копать ямы). Здесь представлена модель, которая универсально управляет роботическими руками и умеет выполнять 1,5 миллиона отдельных задач без ручного обучения каждой из них. Роботы, не видевшие раньше задания, такие как "сложи", "возьми", "отсортируй", "налей", "переверни", "открой дверь", "подмети за собой" с первой попытки успешно их выполняют.
Если GPT — это генерализация логических и когнтивных задач (операций с битами), то эта штука — генерализация задач взаимодействия с физическим миром (операций с атомами). В робо-руках, управляемых RT-X, проявились эмерджентные свойства и умение выполнять задачи, которыми их не тренировали. Подобно тому как GPT может ответить на вопрос, который он никогда не видел. Технически это называется "cross-embodiment learning". Модель, кстати, с открытым кодом. Но, как мы знаем, все что Open рано или поздно становится не очень.
Так что, let's fuuucking go, hail to your robot overlords.
⚡79👍16