Найден годный конспект по LLM на русском языке
Авторы реально постарались, потому что раскрыто буквально все, что нужно, чтобы понять принцип работы современных моделей. Что внутри, если кратко:
– Необходимая математика: линал и матанализ на пальцах
– Все про механизм внимания и трансформеры
– Детальное объяснение процесса предобучения
– RL – с нуля до обучения ризонинг-моделей типа o3
– И даже полноценный гайд по тому, как самостоятельно зафайнтюнить модель.
Все – в иллюстрациях, схемах и интуитивно понятных примерах. Для наглядности прикладываю несколько страниц.
Забрать полную pdf-версию абсолютно бесплатно можно здесь
#реклама
Авторы реально постарались, потому что раскрыто буквально все, что нужно, чтобы понять принцип работы современных моделей. Что внутри, если кратко:
– Необходимая математика: линал и матанализ на пальцах
– Все про механизм внимания и трансформеры
– Детальное объяснение процесса предобучения
– RL – с нуля до обучения ризонинг-моделей типа o3
– И даже полноценный гайд по тому, как самостоятельно зафайнтюнить модель.
Все – в иллюстрациях, схемах и интуитивно понятных примерах. Для наглядности прикладываю несколько страниц.
Забрать полную pdf-версию абсолютно бесплатно можно здесь
#реклама
❤82
Записал еще одно видео, где показываю как с помощью Курсора, гита и markdown файликов можно ИИ-автоматизировать разные важные процессы в работе и жизни: https://x.com/sgershuni/status/1924865895886946786
X (formerly Twitter)
stepan (@cyntro_py) on X
AI is becoming an operating system.
I open-sourced my cybernetic OS that automates workouts, diet, therapy, GTD, my venture capital work, content creation, side projects.
More useful than any agent, 100% customizable, runs off markdown, git, .rules and…
I open-sourced my cybernetic OS that automates workouts, diet, therapy, GTD, my venture capital work, content creation, side projects.
More useful than any agent, 100% customizable, runs off markdown, git, .rules and…
4❤75
Когда телега оживет, скину пример кина с Google I/O, которое теперь делается с ИИ со старого андроида сидя на уличном туалете в деревне Бангладеша.
Можно сказать что базовые модели в каком-то смысле уже done. Для 99% задач в мировой экономике никому не нужна модель мощнее или лучше, чем Veo или o3. Нужны только лишь агенты, надежность, предсказуемость и дешевизна. И все это придет в ближайшие пару лет.
Можно сказать что базовые модели в каком-то смысле уже done. Для 99% задач в мировой экономике никому не нужна модель мощнее или лучше, чем Veo или o3. Нужны только лишь агенты, надежность, предсказуемость и дешевизна. И все это придет в ближайшие пару лет.
❤114
Google тут показывает, что у них еще остался порох в пороховницах.
Из всего набора рекомендую посмотреть на Veo 3 — делает профессиональный продакшен видео за центы и на diffusion агента, который пишет тысячи строк кода в секунду. Оба примера в видео.
Из всего набора рекомендую посмотреть на Veo 3 — делает профессиональный продакшен видео за центы и на diffusion агента, который пишет тысячи строк кода в секунду. Оба примера в видео.
1❤120
Профессия content creator под вопросом. В этом видео нет ни живого человека, ни реальной игры, ни детального сюжета. Просто промт «стрим майнкрафта».
Генерация видео в гугле будет стоить около $0.1 за секунду генерации, тогда как топовые стримеры зарабатывают около $1 за секунду стрима.
Естественно, цена генерации видео упадет как минимум в 1000 раз, но это приведет только лишь к засилию CCC- контента.
Генерация видео в гугле будет стоить около $0.1 за секунду генерации, тогда как топовые стримеры зарабатывают около $1 за секунду стрима.
Естественно, цена генерации видео упадет как минимум в 1000 раз, но это приведет только лишь к засилию CCC- контента.
3❤95
Трамп закупился на $2,5 ярда биткоином, а Любин запустил Microstrategy для эфира.
Честно говоря, за 11 лет с момента покупки первого биткоина я еще никогда не был так bullish про крипту. Причина: любые бессмысленные понзи-пирамиды вроде ICO 17го, йилд ферм 20го, NFT 21го или мемкоинов и тапалок 23го — неизбежно приводят к пузырю, отъёму денег у населения и последующему лопанию пузыря. Кто успел тот и заработал, остальные воют и ноют что все кругом скам. Так себе эпоха развитого капитализма.
В реальности крипта, как продукт, решает совсем иные проблемы, кроме как уход от регуляции и построение изощренных пирамид. И только в реальных юзкейсах, которые близки и понятны миллиардам пользователям, а не Дубай-криминал тусы.
В частности, эти три больших юзкейса:
1. программируемые деньги (стейблы и биткоин)
2. токенизация ассетов (как существующих секьюрити, но с улучшенным UX — T-bonds, акции, бонды, фонды, так и токенизация сложносекьритизируемого типа недвижки, кешфлоу приватных компаний, ИИ агентов, PE бизнесов)
3. DeFi экосистема как blend между традфаем и дефаем. для юзера уже сегодня особо нет разницы хранить стейблы или доллары на счету. это удобнее для компаний, прозрачнее, платежи дешевле, программируемость дает гибкость. для юзера это возможность получить yield в 6% против <1% в банке без больших дополнительных рисков
(4. возможно, программируемые финансы для ИИшек тоже, но этого рынка пока толком нет)
важно заметить, что 2 и 3 происходят почти исключительно на эфире. в других чейнах нет для этого экосистемы, ликвидности и достаточной инфраструктуры. солана заняла интересную нишу консьюмерских кейсов, биткоин это биткоин, а кроме эфира никаких внятных конкурентов для этих рынков не предвидится.
я почти исключительно инвестирую, рисерчу и строю в AI/ML, по большей части там очень классический веб2 бизнес, но мне как пользователю очень хочется чтобы эти продукты поскорее случились, и это на сегодняшний день уже фактически неизбежно.
Честно говоря, за 11 лет с момента покупки первого биткоина я еще никогда не был так bullish про крипту. Причина: любые бессмысленные понзи-пирамиды вроде ICO 17го, йилд ферм 20го, NFT 21го или мемкоинов и тапалок 23го — неизбежно приводят к пузырю, отъёму денег у населения и последующему лопанию пузыря. Кто успел тот и заработал, остальные воют и ноют что все кругом скам. Так себе эпоха развитого капитализма.
В реальности крипта, как продукт, решает совсем иные проблемы, кроме как уход от регуляции и построение изощренных пирамид. И только в реальных юзкейсах, которые близки и понятны миллиардам пользователям, а не Дубай-криминал тусы.
В частности, эти три больших юзкейса:
1. программируемые деньги (стейблы и биткоин)
2. токенизация ассетов (как существующих секьюрити, но с улучшенным UX — T-bonds, акции, бонды, фонды, так и токенизация сложносекьритизируемого типа недвижки, кешфлоу приватных компаний, ИИ агентов, PE бизнесов)
3. DeFi экосистема как blend между традфаем и дефаем. для юзера уже сегодня особо нет разницы хранить стейблы или доллары на счету. это удобнее для компаний, прозрачнее, платежи дешевле, программируемость дает гибкость. для юзера это возможность получить yield в 6% против <1% в банке без больших дополнительных рисков
(4. возможно, программируемые финансы для ИИшек тоже, но этого рынка пока толком нет)
важно заметить, что 2 и 3 происходят почти исключительно на эфире. в других чейнах нет для этого экосистемы, ликвидности и достаточной инфраструктуры. солана заняла интересную нишу консьюмерских кейсов, биткоин это биткоин, а кроме эфира никаких внятных конкурентов для этих рынков не предвидится.
я почти исключительно инвестирую, рисерчу и строю в AI/ML, по большей части там очень классический веб2 бизнес, но мне как пользователю очень хочется чтобы эти продукты поскорее случились, и это на сегодняшний день уже фактически неизбежно.
17❤147
Главный тормоз цивилизации всегда был не нехватка идей, а предел того, как быстро мы можем координироваться. И этот предел стремительно меняется прямо сейчас.
У животных прогресс идёт со скоростью мутаций: нужно тысячи поколений, чтобы «договориться» о любой новой стратегии. Человек вырвался вперёд, когда изобрёл речь — коллективные мифы позволили координировать племя быстрее, чем гены. Письменность и государства расширили радиус согласия до миллионов людей, интернет и мессенджеры уронили цену связи почти до нуля, но упёрлись в последнюю стену: скорость чтения, речи и обработки информации биологическим мозгом. И именно это было upper bound координации всегда — во времена древних царей обсуждающих со своими помощниками решения до сегодняшних гипюр-цифровых СЕО.
Искусственный интеллект снимает этот человеческий блок. Машины выдают и читают тысячи токенов в секунду, могут держать в фокусе больше контекста, связывать миллионы автономных агентов в рабочие рои. Как только координация станет дешевле и быстрее, чем мыслительный цикл отдельного мозга, правила сборки общества перепишутся — и скорость координации (а значит и изменения мира) значительно увеличится.
У животных прогресс идёт со скоростью мутаций: нужно тысячи поколений, чтобы «договориться» о любой новой стратегии. Человек вырвался вперёд, когда изобрёл речь — коллективные мифы позволили координировать племя быстрее, чем гены. Письменность и государства расширили радиус согласия до миллионов людей, интернет и мессенджеры уронили цену связи почти до нуля, но упёрлись в последнюю стену: скорость чтения, речи и обработки информации биологическим мозгом. И именно это было upper bound координации всегда — во времена древних царей обсуждающих со своими помощниками решения до сегодняшних гипюр-цифровых СЕО.
Искусственный интеллект снимает этот человеческий блок. Машины выдают и читают тысячи токенов в секунду, могут держать в фокусе больше контекста, связывать миллионы автономных агентов в рабочие рои. Как только координация станет дешевле и быстрее, чем мыслительный цикл отдельного мозга, правила сборки общества перепишутся — и скорость координации (а значит и изменения мира) значительно увеличится.
2❤207
Почти все говорят о том как построить более мощный ИИ и как побыстрее внедрить его в бизнес и экономику.
Почти никто не говорит о том к чему это приведет и зачем мы это делаем. Какой мир будущего мы хотим создать? Как сделать так, чтобы технологии привели к процветанию, но не угнетению и контролю? Как ИИ повлияет на экономику, политику, образование, общество и личную жизнь?
Даже по комментариям под предыдущим постом видно что эти вопросы критически важны, но многие по-прежнему избегают говорить об этом публично. ИИ неостановим, а то к чему это приведет решать только нам!
Мы делаем бесплатную конференцию на эту тему с лучшими спикерами — основатели компаний стоимостью в миллиарды долларов, профессора из Стенфорда, исследователи криптографии, машинного обучения и экономики. Ну и, конечно, ваш покорный слуга-киберэкономист.
Короче, записывайтесь и приезжайте. 15 июня, воскресенье, Edge City Esmeralda (примерно час езды на север от Сан-Франциско в прекрасной винной долинe Napa Valley).
Детали мероприятия: https://x.com/JoinEdgeCity/status/1927798748505329922
Регистрация: https://lu.ma/9kp3ruba?tk=sIDF9i
Почти никто не говорит о том к чему это приведет и зачем мы это делаем. Какой мир будущего мы хотим создать? Как сделать так, чтобы технологии привели к процветанию, но не угнетению и контролю? Как ИИ повлияет на экономику, политику, образование, общество и личную жизнь?
Даже по комментариям под предыдущим постом видно что эти вопросы критически важны, но многие по-прежнему избегают говорить об этом публично. ИИ неостановим, а то к чему это приведет решать только нам!
Мы делаем бесплатную конференцию на эту тему с лучшими спикерами — основатели компаний стоимостью в миллиарды долларов, профессора из Стенфорда, исследователи криптографии, машинного обучения и экономики. Ну и, конечно, ваш покорный слуга-киберэкономист.
Короче, записывайтесь и приезжайте. 15 июня, воскресенье, Edge City Esmeralda (примерно час езды на север от Сан-Франциско в прекрасной винной долинe Napa Valley).
Детали мероприятия: https://x.com/JoinEdgeCity/status/1927798748505329922
Регистрация: https://lu.ma/9kp3ruba?tk=sIDF9i
1❤83
Ох, Сакана хайпует как не в себя с названиями пейперов, конечно. Но идея интересная и давно уже назревшая: бесконечно самоулучшающийся ИИ.
Они назвали это машина Дарвина-Гöделя.
От Дарвина здесь идея мутаций и естественного отбора: ИИ переписывает свой код, меняет алгоритм, создает "детей", но выживают только сильнейшие.
А от Гöделя, вернее Шмидхубера, идея его машины: машина, которая переслбирает себя (переписывает свой код) в процессе работы для постоянной оптимизации.
Вместе формального пруфа, авторы используют эмпирический подход: если трай дал лучше результат, то изменения принимаются и сохраняются в генеалогическом древе алгоритма.
Заявляют, что такой прием помог вырастить точность SWEbench с 20 до 50%.
Они назвали это машина Дарвина-Гöделя.
От Дарвина здесь идея мутаций и естественного отбора: ИИ переписывает свой код, меняет алгоритм, создает "детей", но выживают только сильнейшие.
А от Гöделя, вернее Шмидхубера, идея его машины: машина, которая переслбирает себя (переписывает свой код) в процессе работы для постоянной оптимизации.
Вместе формального пруфа, авторы используют эмпирический подход: если трай дал лучше результат, то изменения принимаются и сохраняются в генеалогическом древе алгоритма.
Заявляют, что такой прием помог вырастить точность SWEbench с 20 до 50%.
7❤115
Media is too big
VIEW IN TELEGRAM
Нормисы, кажется, до сих пор живут в иллюзорном мире, где им кажется что ИИ не повлияет на рынок труда или экономику. Я, скорее, согласен с Дарио, Сэмом и другими, что текущих возможностей ИИ достаточно, что убрать с рынка сотни миллионов рабочих мест и почти все начальные офисные позиции.
Даже по комментариям видно, что людям кажется это какой-то далекой перспективой, которая не повлияет на их жизнь. В реальности, это произойдет в течении 1-5 лет, в зависимости от индустрии.
Это не конец, это время нереальных возможностей как для вас лично, так и для всего человечества. Но больше всего меня пугают не экономические последствия, а полное игнорирование, или — хуже — опускание рук и отдача ситуации «им там наверху». Как будет выглядеть мир решит не секретная закулиса, а фаундеры, билдеры, рисечеры и инвесторы.
Даже по комментариям видно, что людям кажется это какой-то далекой перспективой, которая не повлияет на их жизнь. В реальности, это произойдет в течении 1-5 лет, в зависимости от индустрии.
Это не конец, это время нереальных возможностей как для вас лично, так и для всего человечества. Но больше всего меня пугают не экономические последствия, а полное игнорирование, или — хуже — опускание рук и отдача ситуации «им там наверху». Как будет выглядеть мир решит не секретная закулиса, а фаундеры, билдеры, рисечеры и инвесторы.
13❤188
e/acc
Совет о том как надо нанимать от СЕО Zapier. Маркетолог, продакт или юрист, который не понимает как автоматизировать часть своей работы через ИИ инструменты это просто-напросто некачественный найм.
Логичный вопрос, который отсюда вытекает «а что значит свободно владеть?»
Промт инжиниринг — бесполезная ненужная фигня; инструменты и модели — меняются каждые 2-3 месяца; хардкорная математика диплернига — перебор для рядового юриста и продажника.
Реальность в том, что это не про конкретный навык, а про внимание. Про то как люди следят за инструментами, экспериментируют, пытаются придумать неизвестные ранее способы увеличить эффективность своей работы. Если люди до сих пор используете 4о для всех задач, не понимаете как именно и о чем нужно спрашивать о3, не сравнивали разницу диприсечеров от гугла, перплексити и опенэйай, не попробовали какой-нибудь реплит или курсор для своей работы — то это говорит не об их хард скилах, а о проактивности, мотивации, агентности, энергии, чувстве ответственности за будущее ю. И именно эти качества всегда старались оптимизировать лучшие компании и боялись худшие (вернее, их прикипевшие к месту заржавело-корпоративные хайринг менеджеры).
Курсы по промтингу или основам ИИ — безусловно, будут для вас выкинутые деньги. А такие же курсы для ваших сотрудников — это примерно как гнать заводских рабочих на курсы про DEI. Ничего, кроме смешных шуток в коллективе и потраченного времени, вы не получите. Инновация — это культура. Культура — не правила в ноушене, а ежедневное и проактивное поведение лидеров компании. Если вы не делаете, не показываете, не думаете про возможности разных ИИ-инструментов для увеличения эффективности процессов, то что вы можете ожидать от вашего менеджмента и уж тем более рядовых сотрудников?
Любопытство и здоровый экзистенциальный страх за ваш бизнес тут очень неплохо помогают.
Промт инжиниринг — бесполезная ненужная фигня; инструменты и модели — меняются каждые 2-3 месяца; хардкорная математика диплернига — перебор для рядового юриста и продажника.
Реальность в том, что это не про конкретный навык, а про внимание. Про то как люди следят за инструментами, экспериментируют, пытаются придумать неизвестные ранее способы увеличить эффективность своей работы. Если люди до сих пор используете 4о для всех задач, не понимаете как именно и о чем нужно спрашивать о3, не сравнивали разницу диприсечеров от гугла, перплексити и опенэйай, не попробовали какой-нибудь реплит или курсор для своей работы — то это говорит не об их хард скилах, а о проактивности, мотивации, агентности, энергии, чувстве ответственности за будущее ю. И именно эти качества всегда старались оптимизировать лучшие компании и боялись худшие (вернее, их прикипевшие к месту заржавело-корпоративные хайринг менеджеры).
Курсы по промтингу или основам ИИ — безусловно, будут для вас выкинутые деньги. А такие же курсы для ваших сотрудников — это примерно как гнать заводских рабочих на курсы про DEI. Ничего, кроме смешных шуток в коллективе и потраченного времени, вы не получите. Инновация — это культура. Культура — не правила в ноушене, а ежедневное и проактивное поведение лидеров компании. Если вы не делаете, не показываете, не думаете про возможности разных ИИ-инструментов для увеличения эффективности процессов, то что вы можете ожидать от вашего менеджмента и уж тем более рядовых сотрудников?
Любопытство и здоровый экзистенциальный страх за ваш бизнес тут очень неплохо помогают.
6❤225
Беспилотные такси уже обошли по пассажиропотоку Лифт, а в течении ближайшего года обойдут и Убер в СФ.
Автономные такси и автобусы — это неизбежность, по причинам качества, цены, комфорта и безопасности.
Люди предпочитают водителя робота. Плюс, это дешевле (часто на 50% в городе) и не нужно оставлять чаевые. Но цена упадет еще сильнее из-за экономики масштаба данных и серийного производства.
Автономные такси и автобусы — это неизбежность, по причинам качества, цены, комфорта и безопасности.
Люди предпочитают водителя робота. Плюс, это дешевле (часто на 50% в городе) и не нужно оставлять чаевые. Но цена упадет еще сильнее из-за экономики масштаба данных и серийного производства.
2❤153
Наша рисерч команда сделала (ИМХО но без преувеличения) лучший отчет о текущем состоянии и будущем Ethereum. Если вам интересна эволюция проекта, текущее состояние и потенциальные варианты будущего — обязательно читайте.
Сразу скажу, это не для криптотрейдеров-токенхолдеров-хомяктапперов, а скорее для тех, кому интересны фундаментальные вопросы, проблемы и сценарии развития продукта и экономики Эфира. Работа была проделана титаническая, ваш лайк будет наградой (но только если вам действительно в кайф было).
По ссылке в твиттере краткая выжимка, а вот тут полная статья.
Сразу скажу, это не для криптотрейдеров-токенхолдеров-хомяктапперов, а скорее для тех, кому интересны фундаментальные вопросы, проблемы и сценарии развития продукта и экономики Эфира. Работа была проделана титаническая, ваш лайк будет наградой (но только если вам действительно в кайф было).
По ссылке в твиттере краткая выжимка, а вот тут полная статья.
35❤321
e/acc
Беспилотные такси уже обошли по пассажиропотоку Лифт, а в течении ближайшего года обойдут и Убер в СФ. Автономные такси и автобусы — это неизбежность, по причинам качества, цены, комфорта и безопасности. Люди предпочитают водителя робота. Плюс, это дешевле…
Media is too big
VIEW IN TELEGRAM
Больше 75% заказов (из 6 миллиардов в год) в Amazon собираются роботами. Всего на складах работают 750,000 роботов.
3❤98