"Гордон Мур (Gordon Moore), стоявший у истоков корпорации Intel, называл себя «случайным предпринимателем», но окружающие считали его талантливым инженером, позволившим создать одну из крупнейших компаний в полупроводниковой отрасли. Ещё в шестидесятых годах прошлого века ему удалось предсказать принципы развития всей индустрии. В минувшую пятницу Гордон Мур ушёл из жизни в возрасте 94 лет.

Сооснователь Intel давно находился на пенсии, и свои последние дни провёл в доме на Гавайях в окружении семьи и близких. В браке с женой Бетти он состоял с 1950 года, у них родилось двое детей. После выхода на заслуженный отдых Гордон Мур много времени уделял путешествиям и рыбалке, а последнее из увлечений подтолкнуло его основать благотворительный фонд, который занимался сохранением водной фауны в различных регионах планеты. Личное благосостояние Гордона Мура журнал Forbes на начало текущего года оценивал в $7,2 млрд."

https://3dnews.ru/1084010/ne-stalo-gordona-mura-odnogo-iz-osnovateley-intel-i-avtora-zakona-opredelivshego-razvitie-poluprovodnikovoy-otrasli

#gpt #ai #inventions

Помнится, последним учёным, который ещё мог быть универсалом во всех науках, называли Ломоносова. С тех пор знания настолько углубились, и продолжают накапливаться, что человек не просто не может освоить новую область, ему нужно ежедневно читать хотя бы несколько публикаций, чтобы просто оставаться профессионалом в своей области (при том, что выходят сотни). Вместе с тем, для расширения кругозора советуют изучать, хотя бы неглубоко, и другие дисциплины, и пытаться заимствовать интересные идеи и способы решения проблем оттуда. О том же, по сути, и метод Цеттелькастен. Мне кажется, сейчас золотое время для реальных научных открытий, сделанных с помощью ИИ. GPT-4 не превосходит среднего специалиста-человека в глубине познания, но точно превосходит любого человека в широте познаний. Думается, если правильно сформулировать к ней запросы, делая упор именно на мультидисциплинарность, она сможет применить старые концепции в новых областях, получив поразительные результаты. Возможно, правда, для этого ей потребуется особое дообучение. Никогда у нас не было доступа к собеседнику, не просто знающему всё обо всём, но и способному связать понятия из разных областей и дать внятный ответ. Никто не желает потестировать её на задачах ТРИЗ?

Наткнулся на новость о сервисе whimsical.com, он предназначен для построения mind-карт. И в него добавили фичу добавления Ai-сгенерированных вершин. Проверил и это действительно круто работает. То, о чем я брейнштормил с другом несколько часов выдалось за пару кликов.

Мы живем во время, в котором все большую ценность приобретают навыки правильно задать вопрос и проверить ответ, а вот поиск ответа за последние десятилетия все более и более автоматизируется.

Думаю может добавить к тематикам блога реалистичный AI-оптимизм. Будет небольшой уголок спокойного предвкушения светлого будущего, а то утомила эта тревога сменяющаяся восторгом и наоборот. Что скажете?

#ai_инструменты

Предсказание: в ближайшие пару лет Rust наконец-то пойдет в массы.

Rust уже давно был в странной позиции самого любимого языка, на котором пишут в основном пет-проекты и редкие системы с повышенными требованиями к безопасности (читай веб3 и криптографию). Порог входа относительно высокий, разработчиков на рынке мало - нужно быть довольно рисковым, чтобы стартовать новый проект на нем. Но кажется, что для него есть еще две созревшие ниши:
1) очевидная - язык для dev-инструментов,
2) неочевидная - быть вторым языком в проекте.

Эти две ниши хорошо сочетаются.

Rust хорошо интегрируется с двумя самыми популярными языками современности: c Python через maturin, с JS через WebAssembly. Я не знаком с миром JS, видел краем глаза пару примеров дев-тулов на расте. В Python тусовке знаю больше: набирающий популярность линтер, два популярных токенайзера
(второй используют OpenAI!), новая версия валидатора pydantic. Уверен, что в течение пары лет появится популярный Python веб-фреймворк типа FastAPI/Starlite с ядром, написанным на расте.

И тут я наконец вверну кусок про LLM. У нас на работе Rust уже давно использовался именно как второй язык бэкенда, для ускорения узких мест, и за день перед отпуском (не начинать же Большую Задачу) в обучающих целях я решил слегка ускорить кусок препроцессинга. Нашел профайлером пару относительно медленных функций, скормил их в GPT-4, получил аналог на расте, поправил пару мест, повозился с интеграцией, получил комментарий на ревью от человека, который, в отличие от меня, на расте писать умеет, починил, смержил. Короче, оно уже в проде (люблю запах деплоя пятничными вечерами!), экономит 1 ms на запрос (в масштабах тысяч RPS имеет некоторый смысл), а ведь я даже учебник по расту не дочитал.

В мире JS уже есть даже специальные курсы типа Rust for JS devs. Думаю, автор учебника Rust for Python developers будет крайне успешен. Если кто-то из читателей хочет этим заняться, но не знает, как начать, пишите - поделюсь опытом работы с издательством.

#ml #geometry #informationtheory

Любопытный пакет infotopo для расчёта и визуализации всяких энтропий, взаимных информаций и прочего на решётках (почти на гриле). От французских учёных.

https://infotopo.readthedocs.io/en/latest/basic_methods.html

#statistics #fitter

Приятно увидеть знакомое имя в авторах.

https://medium.com/the-researchers-guide/finding-the-best-distribution-that-fits-your-data-using-pythons-fitter-library-319a5a0972e9

https://fitter.readthedocs.io/en/latest/

#statistics #fitter

Как компактно описать 1d массив данных неизвестной природы в разумное время? Авторы fitter-а упоминают 80+ распределений из scipy (а по факту фиттятся уже 109). Это занимает даже на скромном массиве длины 1_000 уже 2.5 минуты. При этом многие распределения ну явно близняшки. На добрую половину наверняка не стоило тратить время. Как бы соптимайзить? Найти что-то вроде "опорных распределений"... Best bang for your buck.

get_common_distributions() даёт [ "cauchy", "chi2", "expon", "exponpow", "gamma", "lognorm", "norm", "powerlaw", "rayleigh", "uniform"], но по какому принципу они выбраны?

Хотелось бы получить о данных наиболее полную картину, используя как можно меньше распределений. К примеру, что, если входные данные - это микс 3 распределений?

https://github.com/cokelaer/fitter/issues/81

#chatgpt #ml

Эх, ребята, расходимся пока, на вопросах чуть сложнее среднего ИИ пока буксует (

#fitter #highperf #parallel #codereview

Ну начинается. Хоть не смотри никуда. В fitter-e заявлен параллельный подгон распределений. Думаю, чо это оно не грузит процессор? Лезу в код. Ааааа, вот оно как. Какой смысл параллелить CPU-intensive задачи питоновским тредингом? Меняю бэкенд на loky, рестарт ядра, время расчёта падает с 4 минут до 40 секунд, загрузка CPU на 4/8 ядрах потоках уже полная. Правда, с графика пропадают результаты, т.к. текущий класс сохраняет расчёты в свой внутренний словарик, который, видимо, копируется между процессами и в итоге никуда не попадает.

#fitter #highperf #parallel #codereview

В общем, интересный подход к решению. Вместо того, чтобы сделать расчёт параллельным (как вообще-то написано в доке), он сделан однопоточным, но при этом каждое распределение выполняется в ОТДЕЛЬНОМ потоке, который убивается, если расчет не успевает завершиться через N=30 секунд. Оригинально!

"Компания ещё в 2019 году для обучаемого проектирования СБИС представила ускоряемый GPU фреймворк DREAMPlace на базе нейронных сетей, от которого ожидала 40-кратного ускорения размещения транзисторов в СБИС. В новой работе на примере оптимизации дизайна чипа с 2,7 млн ячеек и 320 макросами было показано, что система на базе одной системы NVIDIA DGX Station A100 справилась с работой всего за 3 часа."


https://3dnews.ru/1084116/nvidia-dokazala-znachitelnuyu-polzu-iskusstvennogo-intellekta-pri-proektirovanii-sbis

#astronomy

"Размеры горизонта события этой дыры настолько большие, что туда поместилось бы шесть Солнечных систем вместе с облаком Оорта. Нам известно всего десять сверхмассивных чёрных дыр подобной массы. Это важно, поскольку мы приближаемся к теоретическому пределу по этому показателю. Считается, что чёрная дыра не может быть тяжелее 50 млрд масс Солнца. Доказать существование объекта массой 32,7 млрд масс Солнца — это подойти ближе к теоретической границе и сделать наше понимание Вселенной чуть чётче."

https://3dnews.ru/1084186/uchyonie-utochnili-massu-odnoy-iz-samih-bolshih-chyornih-dir-v-istorii-nablyudeniya-ona-okazalas-eshchyo-tyagelee-chem-mi-dumali

#nvidia

Интересно как получается. В своё время AMD/ATI, имея не менее мощное GPU-железо, забила на построение программной экосистемы. A Nvidia инвестировала в CUDA миллионы баксов. Ну и кто теперь закономерно на коне, а кто под конём?

"Компанию NVIDIA вполне справедливо называют одним из главных бенефициаров начавшегося бума технологий генеративного искусственного интеллекта, поскольку она уже годами развивает сопутствующую программную и аппаратную инфраструктуру. Интерес к таким технологиям будет подогревать спрос на компоненты и ПО данной компании, и только с октября прошлого года её рыночная капитализация увеличилась на $372 млрд. участники фондового рынка отмечают, что ценные бумаги компании могут быть переоценены в моменте, поскольку мультипликатор, определяющий соотношение рыночной капитализации и величины прогнозируемых доходов, у NVIDIA сейчас достигает 56. Это почти в три раза выше, чем среднее значение по индексу Philadelphia Stock Exchange Semiconductor, которое не превышает 21, и примерно на 150 % выше, чем у индекса Nasdaq 100, по данным Bloomberg. В среднем за последние десять лет значение этого мультипликатора у акций NVIDIA не превышало 30."

https://3dnews.ru/1084208/s-oktyabrya-proshlogo-goda-bum-iitehnologiy-uvelichil-kapitalizatsiyu-nvidia-na-372-mlrd

#история (которую я часто рассказываю в своём курсе)

На одном из хакатонов, который проводила крупная нефтяная компания, в финале участники выступали с презентациями о своих решениях задачи прогнозирования дебита нефти... Почти все настраивали бустинг (различались лишь библиотеки), генерировали признаки, искали лики и т.п.

Предпоследним вышел парень из Уфы, который занял 2е место в лидерборде, и сказал: я не очень понимаю смысл всего, что тут говорилось, такие слова как "бустинг" я слышу в первый раз. Я учусь "в нефтянке", нас учили, что есть такая формула для дебита (выводит на слайд небольшую формулу), я просто в неё подставил известные значения, а неизвестные прикинул, какими они могли бы быть.

#responsibleai

"Потоковая платформа Twitch, принадлежащая Amazon, на прошлой неделе сократила свою команду по этике ИИ, назвав всех сотрудников, работающих над продуктами ИИ, ответственными за проблемы, связанные с предвзятостью. Meta* ещё в сентябре 2022 года распустила свою команду по этике ИИ, состоящую примерно из 20 инженеров и специалистов по этике, которым была поручена оценка гражданских прав и этики в Instagram* и Facebook*."

https://3dnews.ru/1084230/sokrashcheniya-otdelov-po-etike-ii-v-krupnih-tehnologicheskih-kompaniyah-vizivayut-opaseniya-po-povodu-bezopasnosti-novoy-tehnologii