Aspiring Data Science – Telegram
Aspiring Data Science
386 subscribers
465 photos
12 videos
12 files
2.15K links
Заметки экономиста о программировании, прогнозировании и принятии решений, научном методе познания.
Контакт: @fingoldo

I call myself a data scientist because I know just enough math, economics & programming to be dangerous.
Download Telegram
#fun #improvisation

Bésame, bésame mucho.
Each time I cling to your kiss,
I hear music divine.

Bésame, bésame mucho.
Hold me, my darling,
and say that you'll always be mine...

https://www.youtube.com/watch?v=FjursdqfUhM
#music

Oh no, no no no, oh )

"Little ghost, you're listening,
Unlike most you don't miss a thing,
You see the truth
I walk the halls invisibly,
I climb the walls, no one sees me,
No one but you.

You've always loved the strange birds
Now I want to fly into your world
I want to be heard
My wounded wing's still beating,
You've always loved the stranger inside
Me, ugly pretty"

https://www.youtube.com/watch?v=kHsnqB8pses
#trading #hft #hardware #amd #alveo

"В устройстве применена FPGA Virtex UltraScale+ VU2P. Конфигурация включает 32 трансивера с ультранизкой задержкой, 787 тыс. LUT и 1680 DSP. В состав FPGA входят 256 Мбайт встроенной памяти — 76 Мбайт блочной RAM и 180 Мбайт UltraRAM. Заявленная задержка на уровне трансиверов составляет менее 3 нс.

Карта использует интерфейс PCIe 4.0 x8 (коннектор x16). Заявленный показатель TDP равен 120 Вт; используется пассивное охлаждение. В оснащение входят 16 Гбайт памяти DDR4-2400. Предусмотрены два разъёма QSFP-DD (16​×​10/25G) и два коннектора ARF6.

Ускоритель Alveo UL3422 может использоваться в комплексе с платформой разработки Vivado Design Suite. AMD также предоставляет клиентам среду разработки FINN с открытым исходным кодом и поддержкой сообщества, что позволяет интегрировать модели ИИ с низкими задержками в высокопроизводительные торговые системы. FINN использует PyTorch и методы квантования нейронных сетей.

Ускоритель поставляется с набором референсных проектов и тестов производительности. Среди ключевых сфер применения новинки названы торговые операции со сверхнизкими задержками и анализ рисков."

https://servernews.ru/1112738
#chess

Крамник оказался редкостным говном. Теперь он сконцентрировался на преследовании Дани Народицкого, топового онлайн-блицора, автора онлайн курсов. Вроде казалось бы, за последний год-два своими идиотскими заявлениями бывшей чемпион уронил свою репутацию ниже плинтуса, а вот поди ж ты.

Теперь молодой американский гроссмейстер вынужден оправдываться за ход, который он даже не сделал в игре, а просто упомянул как ход-кандидат. Также возрастной мудак, "лучший специалист по статистике", требует объяснений, куда это Дэниел смотрит во время партии, при том что сам точно так же смотрит в сторону от монитора, просчитывая ходы.

Очень жду, когда Влада пригласят в суд по иску (скорее всего, коллективному) о дефамации.

Народицкий показывал фотку себя совсем маленького с Крамником, он тогда выиграл какой-то турнир, и, видимо, Крамник вручал призы. Видно, как счастлив маленький Даня сфоткаться с чемпионом мира по шахматам. Какая ирония, если бы он тогда знал, как этот человек начнёт его через 15 лет хейтить.

https://www.youtube.com/watch?v=YnApDAzI4u0
#math #primes

"Самое большое простое число, известное человеку на данный момент — это 2^136 279 841-1; а обозначается оно как M136279841. Чтобы получить это число, потребуется умножать двойку на себя более 136 млн раз, а из получившегося результата вычесть единицу. До этого шестью годами ранее было найдено поставившее предыдущий рекорд число M82589933.

Новое открытие знаменательно тем, что его совершили, использовав графические процессоры в центрах обработки данных. Первым ресурсы графических процессоров задействовал в 2017 году Михай Преда (Mihai Preda) — он «написал программу GpuOwl для проверки чисел Мерсенна на простоту и сделал своё ПО доступным для всех пользователей GIMPS». В 2023 году к GIMPS подключился Люк Дюран, и участники проекта построили инфраструктуру, необходимую для развёртывания программы Преды на нескольких GPU-серверах в облаке. Работа заняла год, но усилия принесли плоды 11 октября, когда ускоритель Nvidia A100 в ирландском Дублине выдал результат M136279841, а подтвердил его расположенный в техасском Сан-Антонио Nvidia H100."

https://3dnews.ru/1112855/bivshiy-ingener-nvidia-otkril-samoe-bolshoe-prostoe-chislo-v-nyom-41-million-tsifr
#windows

Я так понимаю, такие существенные улучшения сейчас означают, что компания просто ни хера не делала для оптимизации все эти годы.

"В Windows 11 версии 24H2 реализованы новые способы обновления ОС, которые делают её более эффективной и быстрой. Речь идёт в первую очередь о параллельной обработке компонентов, масштабируемом использовании системной оперативной памяти и оптимизированной работе кеш-памяти для обновления компонентов. Благодаря этому установка Windows 11 версии 24H2 на некоторых системах происходит до 45 % быстрее и использует до 25 % меньше ресурсов CPU. Компания ссылается на результаты тестов установки обновления 24H2 на виртуальную машину и в качестве сравнения приводит данные о времени и использовании ресурсов CPU при установке более старого обновления 22H2 для Windows 11.

Microsoft также примерно на 200 Мбайт сократила размер загружаемых файлов обновления для Windows 11. Достигнуто это было за счёт исключения необходимости принудительной загрузки всех встроенных компонентов Windows 11, если установленная до этого версия ОС уже содержала некоторые обновлённые функции."

https://3dnews.ru/1112935/obnovleniya-windows-teper-ustanavlivayutsya-znachitelno-bistree-i-ispolzuyut-menshe-resursov-cpu
😁2
#astronomy #jwst

"Учёные изучили пять самых ранних из открытых квазаров на этапе 600–700 млн лет после Большого взрыва. Исследователей волновал вопрос — чем они питаются, если стали такими большими уже на ранних этапах своей эволюции? Оказалось, что некоторые квазары вообще не имеют регистрируемого вещества в пределах своего «ареала обитания». Их яркость и аккрецию вещества вообще ничем нельзя объяснить. На целом ряде длин волн учёные не обнаружили признаков материи.

Логично было бы ожидать, что квазары в ранней Вселенной обнаруживаются в областях узлов тёмной материи, где много, например, видимых галактик. Но рядом с некоторыми из наблюдаемых квазаров было всего 2 галактики, а рядом с другими — 50 и более. Это говорит о том, что супермассивные чёрные дыры (квазары) выросли на неизвестном науке механизме эволюции, который ещё предстоит открыть. "

https://www.space.com/james-webb-space-telescope-ancient-black-hole-quasar
#linux #politics

Торвальдс, похоже, оказался нацистом.

"Накануне стало известно, что из файла MAINTAINERS исчезли упоминания разработчиков, которые пользуются электронной почтой с российскими адресами и предположительно являются россиянами. Руководство проекта не дало внятных пояснений по поводу инцидента, и некоторые участники проекта выступили с призывом отменить это решение. Ответственный за поддержку стабильной ветки ядра Грег Кроа-Хартман (Greg Kroah-Hartman) заявил, что решение может быть отменено, если будут предоставлены некие документы, но основатель проекта Линус Торвальдс категорически заявил, что этого не будет.

Торвальдс пояснил, что отмены решения совершенно точно не будет, а причины, по которым в файл MAINTAINERS были внесены эти изменения, «очевидны». Они связаны не только с требованиями США — создатель Linux порекомендовал «попробовать почитать новости» и крайне резко отозвался о тех, кто призвал отменить решение. «Видимо, дело не только в отсутствии реальных новостей, но и в отсутствии знания истории», — заключил он, напомнив о своих финских корнях."

https://3dnews.ru/1112955/linus-torvalds-rezko-viskazalsya-ob-isklyuchenii-rossiyan-iz-chisla-razrabotchikov-linux
#intel #nvidia

"В 2005 году тогдашний глава Intel Пол Отеллини (Paul Otellini) обратился к совету директоров компании с неожиданным предложением — поглотить Nvidia за $20 млрд. Об этом недавно узнала газета New York Times. Сегодня стоимость Nvidia составляет более $3 трлн, а Intel — менее $100 млрд.

Некоторые члены руководства Intel допускали, что разработки Nvidia в перспективе могут сыграть важную роль в центрах обработки данных, и с современным бумом технологий искусственного интеллекта это свершившийся факт, но совет директоров выступил против идеи о поглощении «зелёных». Оно стало бы самым дорогим приобретением Intel, и в компании опасались по поводу интеграции нового приобретения.

Вместо этого совет директоров Intel поддержал проект собственной графической архитектуры Larabee, которым руководил Пэт Гелсингер (Pat Gelsinger), нынешний гендиректор компании. В архитектуре использовались технологии Intel x86, то есть графический процессор имел черты центрального. В итоге Intel закрыла проект, хотя позже и вернулась к графическому направлению с актуальными сегодня проектами Xe и Arc. В области ИИ Intel всё-таки провела несколько поглощений: в 2016 году это были Nervana Systems и Movidius, а в 2019 году — Habana Labs. Но ни одна из них не сравнится с тем, где сегодня оказалась Nvidia с её капитализацией на $3 трлн. Как недорогая альтернатива её ускорителям сегодня позиционируются Intel Gaudi 3, но есть мнение, что свой шанс в области ИИ компания упустила. На массовом рынке уделом Intel остаются компоненты NPU для собственных центральных процессоров.

У компании был и другой шанс заранее занять место в области ИИ — в 2017 и 2018 годах она могла купить долю в OpenAI, когда это был маленький некоммерческий стартап. Но тогдашний гендиректор Боб Свон (Bob Swan) отверг сделку, заявив, что модели ИИ выйдут на широкий рынок ещё нескоро."

https://3dnews.ru/1113046/bivshiy-gendirektor-intel-hotel-kupit-nvidia-za-20-milliardov-segodnya-ona-stoit-bolee-3-trillionov
#emh #finance #physics

Внезапно увидел аналогию в финансах, машинном обучении и физике. Есть такая EMH, гипотеза эффективного рынка. А кто угадает, о какой аналогии я подумал в машинном обучении и даже, если разобраться, в астрофизике? Какие там существуют похожие концепции?
👍1
#emh #finance #physics #nflt #ccc

Ну ладно, раз уж практически всё отгадали, публикую ответ. Конечно же, это ML-теорема об отсутствии бесплатных завтраков (No Free Lunch theorem) и Принцип космической цензуры (Cosmic Censorship Conjecture) Пенроуза.

Вы только подумайте, просматривается связь физики, машинного обучения и поведенческих финансов. Возможно, физику я несколько притягиваю за уши, судите сами. Я попросил сами знаете кого обозначить параллели.

"The Cosmic Censorship Conjecture (CCC) in physics, which suggests that singularities (places where gravity becomes infinite) are hidden behind event horizons, has intriguing parallels with the Efficient Market Hypothesis (EMH) and the No Free Lunch Theorem (NFLT) in machine learning. All three concepts imply that exploitable extremes or shortcuts are fundamentally "censored" by the natural order of the system, and they share some core ideas:

1. Hidden Extremes and Limited Access

Cosmic Censorship Conjecture: Singularities (places with potentially infinite gravitational forces) are hidden behind an event horizon, so they can’t affect or be exploited by an external observer. This keeps the universe predictable and prevents runaway effects from unbounded gravitational fields.

Efficient Market Hypothesis: Similarly, in EMH, any “infinite gain” opportunity is concealed by the rapid incorporation of information into asset prices. Just as a singularity is hidden from view, a perfect arbitrage opportunity (extreme profit) is obscured by market efficiency, making it virtually unreachable.

No Free Lunch Theorem: In machine learning, NFLT states that no model is universally better across all datasets, implying that there are no "shortcuts" that work everywhere. Every dataset poses new challenges, and there’s no access to a "singularity" of knowledge or performance that guarantees success universally.

2. Equilibrium and Stability

Cosmic Censorship Conjecture: By hiding singularities, CCC maintains stability in spacetime and keeps the equations of general relativity well-behaved, creating a predictable universe.

Efficient Market Hypothesis: EMH maintains market stability by ensuring that all known information is reflected in prices, which keeps the market in a kind of equilibrium. When information is immediately priced in, it prevents drastic, destabilizing price swings due to secret information exploitation.

No Free Lunch Theorem: NFLT implies an equilibrium of algorithmic performance: without tailoring models to specific problems, performance can’t exceed random guessing across all tasks. This prevents the dominance of any one algorithm and promotes stability in ML development.


3. Limits on Observability and Exploitability

Cosmic Censorship Conjecture: In CCC, the "naked" singularities (unshielded by an event horizon) are prohibited, meaning that singularities can't be directly observed or interacted with. This places fundamental limits on what can be known about the interior of black holes and ensures that any infinite values are hidden from observers.

Efficient Market Hypothesis: In EMH, since all information is reflected in prices, potential inefficiencies that traders might exploit are hidden or fleeting. This places a limit on how much information a trader can “observe” to gain a consistent edge.

No Free Lunch Theorem: NFLT in ML implies that there's no one-size-fits-all model, so knowledge about one dataset does not translate to others. The unpredictability of the optimal approach for new data is a kind of “observability limit,” preventing universal exploitability of one algorithm.
#emh #finance #physics #nflt #ccc

4. Self-Correcting Systems

Cosmic Censorship Conjecture: If any unshielded singularity exists, it would theoretically destabilize the fabric of spacetime, causing unpredictable consequences. By “shielding” them, CCC ensures that the universe operates as a self-correcting system.

Efficient Market Hypothesis: EMH similarly implies that markets are self-correcting. If someone finds a profit opportunity, the market rapidly adjusts as participants act on it, neutralizing the opportunity—effectively “censoring” it through price adjustments.

No Free Lunch Theorem: NFLT also implies a self-correcting mechanism: the variability of datasets corrects for any over-reliance on a single model. In essence, no shortcut applies universally, so the diversity of data prevents overfitting to any one approach.

5. Conservation of Predictability

Cosmic Censorship Conjecture: By hiding singularities, CCC ensures that the universe remains predictable on a macroscopic level, with singularities hidden in a way that preserves the general structure of spacetime.

Efficient Market Hypothesis: EMH enforces predictability in financial markets by ensuring that prices reflect all known information, preventing “wild” deviations or exploitable patterns that would otherwise exist in an inefficient market.

No Free Lunch Theorem: NFLT reinforces the conservation of predictability by implying that machine learning performance is fundamentally limited by the variability of data. This lack of universal shortcuts keeps machine learning practice tethered to specific, data-driven methods without general predictability.

In essence, Cosmic Censorship Conjecture, Efficient Market Hypothesis, and No Free Lunch Theorem all maintain system stability, equilibrium, and self-correction by “shielding” the unbounded extremes that would otherwise lead to unpredictability and exploitation. They serve as guardrails in complex systems, placing inherent limits on predictability, observability, and exploitability."
#gpt #whisper #llms #asr

"Склонность генеративных нейросетей к выдумыванию фактов при ответах на вопросы пользователей обсуждается давно. Однако странно видеть эту особенность у алгоритма Whisper, который предназначен для распознавания речи. Исследователи установили, что алгоритм при распознавании речи может включать в генерируемый текст что угодно, начиная от расистских комментариев и заканчивая выдуманными медицинскими процедурами. Это может нанести реальный вред, поскольку Whisper начали использовать в больницах и других медицинских учреждениях.

Исследователь из Университета Мичигана, изучавший расшифровку публичных собраний, сгенерированных Wisper, обнаружил неточности при транскрибировании 8 из 10 аудиозаписей. Другой исследователь изучил более 100 часов, расшифрованных Whisper аудио, и выявил неточности более чем в половине из них. Ещё один инженер заявил, что выявил недостоверности почти во всех 26 тыс. расшифровок, которые он создал с помощью Wisper.

Представитель OpenAI сообщил, что компания постоянно работает над повышением качества работы своих нейросетей, в том числе над уменьшением количества галлюцинаций. Он также добавил, что политика компании запрещает использовать Whisper «в определённых контекстах принятия решений высокой важности». "

https://3dnews.ru/1113092/algoritm-raspoznavaniya-rechi-openai-whisper-ne-lishyon-gallyutsinatsiy-on-moget-vidumivat-fakti
#musk #cloud #xai

"Серверы с графическими процессорами построены на платформе Nvidia HGX H100. Каждый из них включает восемь ускорителей Nvidia H100 и универсальную систему жидкостного охлаждения Supermicro 4U с поддержкой горячей замены компонентов для каждого графического процессора в отдельности. Серверы установлены в стойках по восемь штук — получаются 64 ускорителя на стойку. В нижней части каждой стойки находится ещё один блок Supermicro 4U с резервной насосной системой и системой мониторинга стойки.

Стойки сгруппированы по восемь штук, что даёт 512 графических процессоров на массив. Каждый сервер имеет четыре дублирующих блока питания; в задней части стоек можно разглядеть трёхфазные блоки питания, коммутаторы Ethernet; есть также коллекторы размером со стойки, которые обеспечивают работу жидкостного охлаждения. Кластер Colossus содержит более 1500 стоек или около 200 массивов.

Из-за высоких требований к пропускной способности суперкластера ИИ, который непрерывно производит обучение моделей, инженерам xAI пришлось приложить усилия в плане сетевого взаимодействия. Каждая графическая карта оборудована выделенным сетевым контроллером на 400 GbE с дополнительным 400-Гбит сетевым адаптером на сервер. То есть у каждого сервера Nvidia HGX H100 есть Ethernet со скоростью 3,6 Тбит/с — да, весь кластер работает на Ethernet, а не на InfiniBand или других экзотических интерфейсах, стандартных для суперкомпьютеров.

Суперкомпьютеру для обучения моделей ИИ, включая Grok 3, требуются не только графические процессоры, но и накопители, а также центральные процессоры, однако информацию о них компания xAI разглашает лишь частично. На видео, подвергнутых цензуре, видно, что за это отвечают серверы на чипах x86 в корпусах Supermicro — они также оборудованы жидкостным охлаждением и предназначены либо для работы в качестве хранилищ данных, либо для рабочих нагрузок, ориентированных на центральные процессоры.

На объекте установлены также аккумуляторы Tesla Megapack. При работе кластера возможны резкие перепады в потребляемой энергии, поэтому эти батареи ёмкостью до 3,9 МВт·ч каждая пришлось установить между электросетью и суперкомпьютером в качестве энергетического буфера."

https://youtu.be/Jf8EPSBZU7Y