Progresspunks – Telegram
Progresspunks
2.48K subscribers
1.19K photos
24 videos
26 files
320 links
Основной канал: t.me/victor_osyka. Про меня: linkedin.com/in/victorosyka/
Download Telegram
Progresspunks
Nikita Shirobokov синтезировал: Один пост со всей ключевой инфо про AI К счастью, я знаю как упаковать всё самое важное про AI в один пост. Я в СФ, делаю стартап на стыке LLM, CV и агентов. У нас коллабы со всеми лидерами AI, включая OpenAI. Мы треним свои…
Кстати, к этому посту - первый график - это июльская Gartner hype curve для AI, и там AI engineering прямо ну ровно на пике хайпа сейчас ) LLM уже спускаются, а genAI в 2 раза ниже пика

а

Второй график - ежегодный бюджет NASA за 60 лет. Может быть, что в Gartner свою кривую придумали/адаптировали для айти, сперва долго вглядываясь в оффлайны? )))
👍2
Илья Ясный в интервью упоминал, что аналог Elon Musk в биотехе - Нубар Афеян и его Flagship Pioneering. Что это?

История
- Noubar Afeyan армянских корней, дочь его открывала недавно с женой Рубена Варданяна памятник Авроре Мардиганян - выжившей участнице в геноциде армян 1915 года
- Родился в Бейруте/Ливан, вырос в Канаде, сделал PhD по biochemical engineering в MIT (биореакторы, ферментация)
- Начали в 2000 с выходцами из биотех VC Morgan Holland. До этого 13 лет работал в традиционном подходе (в 1987ом в 24 года запилил свою первую компанию), прежде чем сместиться в contrarian подход

Масштабы успеха
- На 2017ый было инкубировано 75 компаний на $19 млрд капитализации ($250 млн на 1 компанию в среднем?), с 2017го добавилось еще 25 компаний на +$50 млрд капитализации
- 25 IPO, 9 тыс сотрудников в компаниях, сотня патентов в США и 400 патентов по миру, штаб-квартира в Бостоне
- Юридически как VC фонд, уже 11 фондов на $13 млрд привлеченных денег, 50 сотрудников (без учета entrepreneurs-in-residence)
- Широкой общественности стали известны через Moderna, когда в 2021ом запилили мРНК вакцину и Moderna (компании было 9 лет, искала ниши в прививках для животных) дорожала в 10 раз (мой пост апреля 2020го), сейчас стоят $20 млрд

В чем суть их подхода?
- Не инвестировать в биотехи как просто lifescience VCs, а прямо самим создавать такие компании, берут 50-80% доли (потом, естественно, размывается по мере привлечения внешних инвестиций)
- Делают т.н. платформенные компании - что ключевая технология может быть применена в разных нишах/сферах/продуктах, и для платформы важна diversity возможных применений/продуктов
- Платформа = комбинация и оффлайна, и цифровых данных
- Я не верю в удачу и exceptionalism, это иллюзия, я верю в создание систематических условий. We should go searching for extraordinary advances amidst what is otherwise pretty reasonable things, each connected to each other by short distances  -  we need to allow for leaps to coexist with the hard work of filling in the gaps

Для диптех бизнесов нужны 3 вещи:
а) Инновации (их supply от ученых не ограничен),
б) Менеджеры (а вот это узкое горлышко, Flagship Pioneering делают 6-8 компаний в год, а могли бы 20 - но нет людей с нужными скиллами + которые как ко-фаундеры/менеджеры развиваются в нужных направлениях)
в) Инвестиции
- Традиционная модель требует искать все это в разных networks, а они все собирают самостоятельно. Они делают эксперимент в институционализации инноваций

4 шага их инкубации:
1)
- У них есть entrepreneurial scientists, которые выдвигают амбициозные вопросы “What if?…” / где может быть breakthrough, а потом обсуждают внутри + с внешними экспертами (у Flagship большая сеть людей в отрасли, контакты со всей фармой), 80-100 таких explorations в год
- Мы пытаемся от будущего через 5-10-20 лет идти в сегодня

2) Делают фирмы-прототипы (ProtoCos) для каждого из таких потенциальных breakthroughs, 8-10 шт/год, проверить proof of concept. Что не смогло технически доказать состоятельность прорыва - прибивают

3) Стартапы (NewCo's) 6-8 шт в год, когда founding team проекта от "What if?…" доходит до "It turns out...”, дают много денег (чтобы пилить платформу для новых продуктов на несколько лет), делают борд, находят CEO, находят leadership team

4) Если все поехало (состоялся переход от просто технологической платформы к какой-то продуктизации), то эти NewCo's превращаются в GrowthCo's и привлекают внешние деньги и едут уже до extraordinary future value, и до IPO (25 шт c 2018го по 2024ый, но в фарме не надо быть юникорном чтобы выйти на биржу)

Про будущее
- Добавили к биотеху тему agriculture неск. лет назад
- 30 лет т.н. конвергенции digital и bio привели к тому (оч много что расшифровали и накопили данные), что у нас будет взрыв от микробов и иммунитета до генетических терапий/бОльшее использование CRISPR итп. И причем через 10 лет нам будет казаться, что мы реализовали всего 1% возможностей, которые у нас есть
- Протеины оч помогут в борьбе с глобальным потеплением
🔥159👍1
С 1901 выдано 692 нобелевки (вкл. экономику) на 1004 чел и организаций

- 54% получателей жили в US (хотя родиться могли и в EU), всего 13 чел (1,3%) Китай и 19 СССР (1.9%)
и
- Как Оскар - мнение узкого клуба, а не цитируемость статей


- Всего 400 кластеров ученых (работали друг с другом или учились когда-то у друг друга) дают ВСЕХ нобелевских лауреатов, 700 лауреатов из 736 связаны same academic family

- 50% премий в 1995-2017 выданы всего в 4 сферах: физика частиц, cell biology, atomic physics, neuroscience

- 99% получателей из high-income стран, даже не средних (это $4-12к/год. А low income - до $4к/год). US сейчас $66к/год (и $47 30 лет назад), Китай $18к/год сейчас (и $3к 30 лет назад)

- Возраст ~58 лет. Самый младший Bragg 25 лет в 1915 с папой. Самый старший Goodenough в 97 лет 2019 за Li-ion батареи

- Из 1004 чел только 26 женщины, 11 до 2000 и 15 после
- В физике и медицине 2/3 премий - на 2 или 3 лауреата. В химии половина премий - индивидуально
- Десятки лет от открытия до награды
👍142


🙈

Вокизм действительно parasitic mind virus как Маск говорит. Washington Post с 2013 принадлежит Безосу

Национальный научный фонд США - с 2020 года число грантов, выданных ими на DEI темы, выросло с 1% всех выданных до 10%. Демпартия действительно очень стратегична, играет вдолгую, хотят за счет госбюджета свои идеологические штуки инсталлировать и в якобы научные процессы
💯181
В тему нобелевки по экономике: статьи Daron Acemoglu я читал в магистратуре, когда учился на институциональной экономике

Он интересен тем, что родом из emerging market (армянского происхождения, вырос в Турции, только потом MIT), и поэтому и смог чуть отойти от махрового англосаксонского exceptionalism’а

Впрочем, никакие экономисты не дали ответов, почему в одних странах строят всякие работающие общественные институты
А
В других нет

Все оканчивается на т.н. path dependence theory - зависимость степени развитости институтов от всей предыдущей исторической траектории страны 🙈🙈🤣🤣 Но для таких выводов не нужно быть экономистом ))))

Мое текущее отношение к экономике - она, к сожалению, бесполезна как что-то объясняющее про мир. Не обращайте внимания. Даже если очень няшные и харизматичные типа Олега Ицхоки итп 🙈🙈🙈

Системы из множества агентов со своей волей и активностью (и психотравмами, и вытекающего из этого электорального запроса) возможно (как и компьютерные нейронки) просто демонстрируют эмерджентные свойства и вселенная так создает complexity, и никаких механистических открытий про это не сделать
👍153👀2❤‍🔥1🙏1
Тут Eric Schmidt 40 мин отвечал про все сразу - и AI, и Китай, и геополитику/датацентры у арабов за $100 млрд:

SCSP
- Это было на конфе его НКО - Special Competitive Studies Project, с 2021, цель - обеспечить США лидерство в tech и экономике к 2030
- Замутил ее с Киссинджером (недавно умер, над ним еще шутили авторы книги AI Snake Oil)

AI
- В отрасли много интересного идет, на больших масштабах. В ближайшие 1-2 года появятся нишевые LLM, верю в них. LLM = просто language to language компьютинг
- В кодинге LLM конечно оч. полезно, 40 лет руководил разрабами, никогда не делают что просишь
- Для науки оч круто если математику компы смогут и гипотезы выдвигать, и доказывать, есть язык для этого, я финансировал его создание
- Смена работ из-за AI будет, но ведь в первую очередь убирают самую повторяющуюся и нудную работу e.g. охранники
- Прогресс в AI - это с какой скоростью добавляешь туда людей, обученных в научных и инженерных дисциплинах, и странно что Вашингтон все не упростит им въезд

Китай
- Гоняли туда перед смертью Киссинджера. Они оч hard working, умные и видят куда идти. Пилят fusion, кстати
- Санкции на чипы плохо работают, все равно много просачивается
- Гипотеза, что для AI нужны данные и Китай выиграет из-за anti privacy - не оправдалась

Энергия
- Чипов надо в ближайшие годы в 10x больше, а вообще - бесконечно. А датацентры уже 3% электросетей US, а будет 7-8% через 5-10 лет. Через 4 года электричества в US не хватит. Одобрение/постройка новых линий электропередач может до 18 (!) лет занимать - я реально боюсь умереть до этого, власти/госсектор - не для быстрых изменений [вот зачем Маск хочет дерегуляции и DOGE - Department Of Government Efficiency]
- Для солнца и ветро надо батареи и AI поможет в material sciences их улучшить, займет 5-7 лет, но сырье для них и редкоземельные элементы - 70% мирового производства у Китая (и чуток в мутных Боливиях Конго)
- Угольные станции в США не дадут строить, но газовые будем. OpenAI поэтому и хочет чтобы Сауд Аравия/Катар/ОАЭ (я тоже с ними много общаюсь) быстро построили электростанций и датацентров на $70-100 млрд, не переживая про security risks + те берут на себя обязательства по зеленой энергии. Мы разучились строить вообще что-то, а арабы умеют оч быстро строить
- Надо переоткрывать АЭС в США + строить новые. Но в США 11-13 лет займет одобрение, никакой learning curve такими темпами у нас не будет
- CO2 след от AI будет сглаживаться прогрессом электроавто итп

Fusion/термоядерный синтез
- Я вовлечен в один проект, есть ощущение, что за декаду сделают. Будущее целиком за fusion. Это помимо того, что это вопрос нацбезопасности

Геополитика
- Европейские сетки все тренятся за пределами EU, чаще в US. Арабские датацентры, как минимум, будут делать ВЕСЬ inference для EU, тк в EU запретительно дорогая энергия (даже по super deals, я общался с Макроном)
- В Китае есть кластеров на 600-700 тыс GPU + у OpenAI, Meta, Anthropic, Google + Малайзия - итого меньше дюжины мест
- С т.зр. national security можно там тренить НЕ секретное - мы доверяем Франции, Германии, еще ряду стран + может Япония, Корея - итого 8 стран. Индия - им не так доверяем. Пытаемся понять можно ли у арабов. Секретное в любом случае в странах Five Eyes (US, Canada, UK, New Zeland, Australia)
- В целом, проблема безопасности и хаков остается вне зависимости от того, где свои модели тренишь

Датацентры
- Европе надо строить свои, а иначе системы с AI в реальном времени не получатся из-за задержки сигнала/latency
- Тренинг больших моделей требует все время проворачивать оперативную память целиком -> все должны быть в едином кластере. Inference будут делать там же, где и тренят, те же сервера. 100 тыс GPU стоят $5 млрд, а обесцениваются за 2 года
- Microsoft строит в Висконсине датацентр больше, чем все гугловские вместе взятые, на несколько гигаватт - это как на несколько млн домов

AGI
- В, как я называю, "сан-францискской школе мысли” ждут AGI (умнее, чем все люди) через 18 мес - думаю, это не вопрос ближайших лет. Self-driving авто 30 лет уже пилят, и какое проникновение?
❤‍🔥10👍5🤔5🙏32🤯2🔥1
У Ричарда Докинза вышла книга Genetic Book of the Dead: A Darwinian Reverie и ее _НЕ_ надо читать, и вообще никакие из полутора десятков его книг читать _НЕ_ надо,

а

Читать у него надо только самую первую - Selfish Gene 1976г, где он ввел концепцию мемов + описывают суть первичных репликаторов (клеток, жаждущих размножиться) + описывает симуляции на компах как сети коллаборирующих агентов выигрывают у читеров + как в нашем теле и геноме все между собой конкурирует (e.g. раковые клетки растут, скачут транспозоны, кусочки нашего генома пытаются размножиться не половым путем, а улететь как вирус через воздух и жидкости к другим геномам итд итп)

Но

В книге есть несколько красивых иллюстраций. Просто как грани Вселенной, где мы все с вами обитаем
- Овца и кошка - просто разница в длине кишечника
- Предпоследняя картинка - гемофилия у монархов (а в среднем у мужчин 1/5000 - 1/25000)
- Последняя картинка - это что когда-то население всех людей мира падало за 250 тыс лет до буквально нескольких тыс (!) человек
12🤔1💯1
Кай-Фу Ли объявил войну Nvidia и всей ИИ-экосистеме США.
И судя по его последним достижениям, шансы победить есть.

Потрясающе интересное выступление китайского ИИ гуру Кай-Фу Ли будут теперь долго обсуждать. Это абсолютно революционное выступление, прозвучавшее на закрытой дискуссии Collective[i] Forecast, Ли посвятил трем темам.
1. ИИ-экосистема США (основа мировой ИИ-экосистемы) «невероятно больна». Её необходимо кардинально перестроить, иначе на реальном (практическом) прогрессе ИИ можно ставить крест.
Сегодня ИИ-экосистема состоит из Nvidia и мелких производителей ИИ чипов. При этом производители чипов для ИИ зарабатывают сейчас в год $75 млрд, а вендоры ИИ-инфраструктуры – лишь $10 млрд и вендоры ИИ-приложений — лишь $5 млрд».
«Если мы продолжим работать в этой перевернутой пирамиде, это станет проблемой» — сказал Ли. Т.к. это беспрецедентный переворот в экономике классической технологической отрасли. Традиционно производители приложений получают больше, чем поставщики чипов и систем (напр. Salesforce, внедряя CRM, получает куда больше, чем Dell и Intel, производящие компьютеры и чипы для запуска CRM в облаке)
Оздоровить ИИ-экосистему может лишь создание ИИ-компаниями собственных вертикальных интегрированных технологических стеков, как это сделала Apple с iPhone. Только так станет возможным значительно снизить стоимость генеративного ИИ.
2. Главным направление в разработке моделей должно стать снижение стоимости вывода – это самое важное для создания востребованных бизнесом приложений с ИИ.
Сегодняшняя стандартная стоимость сервиса типа GPT-4 составляет $4,40 за млн токенов. Это эквивалентно 57 центам за запрос —и это непростительно дорого, ибо поисковый запрос в Google (без всякого ИИ) обойдется в 180 раз дешевле.
3. Вторым важнейшим направлением в разработке моделей должен стать переход от универсальных базовых моделей к «экспертным моделям».
Бизнесу нужны не универсальные модели, обученные на океанах неразмеченных данных, собранных из Интернета и других источников. Подход «экспертных моделей» подразумевает создание множества нейронок, обученных на отраслевых данных. Это может обеспечить достижение того же уровня «интеллекта», что и универсальная базовая модель, при использовании гораздо меньшей вычислительной мощности.

Самое потрясающее, что все 3 пункта – это не предложения, основанные на предположениях. Стартап Кай-Фу Ли «01.ai» уже делает все это на практике.
И не просто делает, а уже добивается уникальных результатов.

• Их новая модель Yi-Lightning занимает 6-е место в мире (выше выпущенной 5 мес назад GPT-4o). Но при этом это очень маленькая модель, которая чрезвычайно быстра и недорога (всего $0,14 за млн токенов ). Её производительность сопоставима с Grok-2. Но она обучалась всего на 2000 H100 в течение 1 месяца. Что демонстрирует ненужность 100 тыс H100 и ярдов затрат (обучение Yi-Lightning стоило всего $3 млн).
01.ai применяет «экспертный» подход к сбору данных. И хотя «инженерам приходится проводить массу неблагодарной черновой работы» по маркировке и ранжированию данных, но – как считает Ли, - Китай с его резервом дешевых инженерных кадров может сделать это лучше, чем США.
• И даже в создании собственного вертикального интегрированного техно-стека есть прогресс. Напр, за счет использования собственных аппаратных инноваций, стоимость одного запроса к ИИ-поисковику BeaGo составляет всего около 1 цента (что приблизилось к стоимости запроса Google без всякого ИИ)

И еще 3 цитаты Ли:

Сила Китая не в том, чтобы делать лучшие прорывные исследования, которые никто не делал раньше, с бюджетом без ограничений. Сила Китая в том, чтобы построить хорошо, быстро, надежно и при этом дешево.

Для предприятий новое поколение ИИ станет их мозгом, а не периферийными приблудами. Для нефтяных компании ИИ будет добывать нефть. Для финансовых — зарабатывать на деньгах.

Для потребителей сегодняшняя модель смартфона, скорее всего, исчезнет.


А ведь еще 1.5 года назад Ли предупреждал - Китай не станет догонять США в ИИ, а сразу пойдет на обгон.

#ИИгонка #Китай
🔥17👍3🦄21💯1
Когда-то давно в посту (аж на Medium =)) "Как правильно быть пациентом психолога?" я писал то, что был бы сам рад прочесть до знакомства с психотерапией. Хочу заапдейтить:

Что понимал:
1) Зачем делают терапию
- Объяснение своих эмоций, реакций, страхов, агрессии, рост контакта с собой. Убирание телесных напряжений, всплесков, онемений
- Выявление личностных сценариев/проекций/способов получения любви от близких и от мира + причин откуда взялось, разделение своего и чужого
- Примирение, принятие, благодарность к родным и к миру

2) Почему она работает
- В нас могут быть глубоко вшиты автоматизмы, которые мы не выбирали. Это магия эволюции, комбинаторная игра Вселенной: она перебирает и наши гены, и семьи где мы росли, и мир где мы социализировались
- Себя оч. сложно увидеть извне, слепая зона, у психики тонна обманок и [ложных] рационализаций. Суть терапии - в отстраненности психолога от вас и внутреннего диалога. Плюс он знает механизмы (со всем знанием, накопленным цивилизацией) и с вами их обходит, раскапывает
- Сознание, эмоции и тело оч. связаны, эмоции объёмно “хранятся” в теле и это важно разбирать

3) Как выбрать терапевта
- Женщины-психологи в целом круче мужчин: гуманистичнее, теплее, гибче. Также, чаще доверие у всех выше с мамами, это биология
- Хороший психолог после учебы в институте (а на Западе еще и лицензирования) проходит регулярные супервизии, а также сам прошел много личной терапии -> не проецирует на вас свое. Не обсуждает других клиентов. Не обещает. Этичен

4) Как идет процесс
- Терапии, фундаментально, отличаются только степенью доступа в подсознание. Если психолог такое умеет и личностно проработан - ваш прогресс будет на глазах
- Западная школа психологии слишком тяготеет к рацио (в пределе аж КПТ) - что якобы все можно выразить словами/от ума и сознание первично
- Нужно формулировать запрос - психолог вас никуда не тащит. Но прикол в том, что подсознание знает куда нам надо
- Важно быть оч. открытым к новому, т.к. закрытость - это всего лишь защитные механизмы психики
- На сессиях может быть сложно/слезы/телесные ощущения итп, но это и есть индикатор, что удалось залезть в подсознание. И потом может несколько дней идти интеграция

Новые понимания:

Личная терапия
- Терапевтические отношения (регулярные встречи) с психологом сами по себе целебны - донабрать доверие, спокойствие, тепло, принятие
- Вещества не инструмент развития, а просто походы в иллюзорные реальности или [групповая] регрессия
- Я перестал делать Ошо-динамику, а затем и просто медитировать по мере прогресса в терапии. Тиль дошел до терапии, Равикант подступается, Маску - не надо =)
- Юнг еще 100 лет назад описал, что западным людям больше подходит диалог/исповедь, а медитации/интроспекция - это для восточной культуры
- Терапия растит нашу целостность, высвобождает энергию. Начинал с поиска спокойствия, но сместился в резонанс - радостнее и объёмнее взаимодействовать с миром

Если уже и дозреваешь, но все еще боишься терапии
- Люди могут улетать в духовную прокрастинацию
- Или может быть невыносимая тяга к т.н. эхо-камерам - это чаты/тусы/блоги, где просто люди со схожими механиками травм
- Также, люди могут декларировать, что якобы в терапии, а на самом деле нет

Групповая - не только идешь свой путь, но и видишь как у других - что схоже, а что по-разному

Семейная
- У личной терапии есть фишка - работаешь над собой, но отношения улучшаются с другими
- Семейная терапия сложнее в поиске психолога. Мы перебрали человек 7, включая уход через 15 мин и не сговариваясь от дядечки с сессиями по $400 - а мы на тот момент жили отдельно, эмоционально было крайне напряженно и вообще

Духовное
- Есть, по сути, всего 3 уровня глубины работы с собой:
1. Информация/книги/видео/практики итп - копишь знания
2. Работа с внешним наблюдателем/психологом. Нужно решиться
3. Информация как субъективно переживаемая истина. Личностное развитие может вести к духовному/трансцендентному
- На разных этапах жизни у нас разные источники энергии

**
- По семейной терапии пишите мне - дам интро на волшебную Ольгу
а
- По личной терапии обращайтесь к Юле
8👍1🤔1🙏1
Там Степа Гершуни постил ссылку на видео чуть меньше часа, где Jake Sullivan (советник Байдена/Хиллари/итп по безопасности) выступал в National Defense University

Даже если демократы 6 ноября проиграют Трампу (пока все еще до конца непонятно), все эти инициативы останутся

AI доктрина США
- Хантим для нас таланты (разрабы, фаундеры, инженеры) упрощая визы, десятки млрд $ стимулов для производителей чипов (Chips and Science Act)
- Строим инфраструктуру clean energy, понимаем требуемые масштабы энергии которые потребуют AI датацентры - нужно для удержания нашего edge добавить десятки гигаватт в ближайшие годы (а лучше сотню гигаватт)
- Развиваем governance + мы успели зачекать модели которые пошли в продакшн по миру. Но наши враги в эпоху геополитической конкуренции (Китай растит R&D бюджет на 10%/год) могут быть быстрее и обогнать нас в оборонке и разведке, обрушить наши преимущества что мы копили десятки лет под водой или в космосе, и прочие стратегические сюрпризы
- Топ-фокус контрразведки - защита от атак/cybersecurity на наш частный сектор в AI. И мы потащим не самых типичных вендоров - топ-решения в AI и cloud от частных компаний на внедрение в national security сферах
- Нужно уметь тестить AI/создать для этого стандарты + делать его без bias’ов, чтобы за пределами США страны нам доверяли: и по safety/чтобы не было misuse, и опознавать по watermarks итп что люди с AI взаимодействуют. На 20 стран уже выкатили, а по military use 50 стран уже подписалось. В мае общались с Китаем. Это даст в тч ясность для частного сектора кто собрались по миру вложить сотни млрд $
- Мы продолжим ограничения Китаю на топ-чипы, впрочем, Китай фигачит свою экосистему и тк им плевать на privacy данных, она позволит им массовую слежку, цензуру и misinformation
- Нашу AI доктрину надо будет (как Эйзенхауер про нашу ядерную доктрину говорил) постоянно rethink и leadership, но мы справимся и конкуренцию в XXI в. выиграем

Q&A:

Иран: Они десятки лет через своих proxies дестабилизируют мир на Ближнем Востоке, боремся всеми мерами как можем + ядерное оружие им не допустим. А вообще может там народ выберут наконец себе другой режим..

Ускоренная адаптация: Мир показал, что сейчас оборонные технологии стали резко быстрее меняться/распространяться/адаптироваться, и это накладывает беспрецендентные вызовы на логистику итд итп

Фентанил: Год назад Байден и Цзиньпин встречались в SF, с тех пор Китай много проколлаборировал, двигаемся. И в целом - Китай в оборонке последние пару лет стал позволять встречи руководства, а лет 10 такого не было
4🤔3