#mlops #duckdb #arrowflight

https://www.youtube.com/watch?v=w_cAeE5ShnM

#education #salaries

В этот раз без чертей обошлось )

https://www.youtube.com/watch?v=WvQQfumP7hQ

#timeseries #similarity #aeon #elasticdistance #dtw #distances

Корреляция Пирсона тихо плачет в сторонке

https://www.youtube.com/watch?v=O5cnKAUBKkg

#science

Один из итогов бездарного управления страной. Китайские товарищи - красавцы.

"Согласно ежегодному индексу Nature, Пекин снова стал лучшим городом мира по качеству и количеству научных работ, а Шанхай занял третье место. Среди 50 лучших городов в этом рейтинге 18 китайских, которые за год улучшили свои позиции, тогда как европейские и американские мегаполисы их ослабили. В списке 200 самых научных городов попал один российский — это Москва, которая расположилась на 60 месте."

https://3dnews.ru/1096523/kitayskie-goroda-rastut-v-mirovom-nauchnom-reytinge-a-amerikanskie-i-evropeyskie-teryayut-pozitsii

https://www.nature.com/nature-index/supplements/nature-index-2023-science-cities/tables/overall

#openai #scrubs

А тем временем где-то в недрах OpenAI

"Between the 2 of us there's no wall
We are the surgeon and the doc.. above.. it.. all.." ))


https://www.youtube.com/watch?v=ow_QTqkFaX8

#biology

Танцы пчёл и "картезианский шрам"

https://www.youtube.com/watch?v=Uje_z01ZTkA

#astronomy #planetorigin

https://www.youtube.com/watch?v=ChrfCfZYXtI

#tools #carpentry

https://www.youtube.com/watch?v=ZhHQG1nHHpc

#chess #statistics #simulation #cheating #visualization

https://dorianquelle.github.io/blog/How-To-Catch-Smart-Cheaters/

#chess #statistics #simulation #cheating #visualization #stockfish

Красивые визуализации шахмат от Дориана Квелле. Интересная метрика average loss after novelty, видно, что он сам придумал, классная идея.

"Yet, the standout performer is David Howell, with an average score of 0.9071. Despite his tendency to withdraw or join late to tournaments, this strategy seems to benefit him as he avoids facing high-performing players in later rounds. With a record of 120 wins, 14 draws, and only 6 losses, Howell clearly dominates the field."

"Yet, the left plot exposes a glaring inconsistency in Kramnik’s performance. Despite his high accuracy in playing engine-recommended moves, he registers a higher average loss per move than one would expect for a player of his Elo rating. This suggests that while Kramnik plays the engine move in most cases, he is also prone to significant blunders. Playing the fools mate because you’re suspecting a player of cheating doesn’t help either."

https://dorianquelle.github.io/blog/Cheating-In-Titled-Tuesday/

#preprocessing #cleaning #anomalydetection

#nvidia #cuda

В AMD продолжают рвать волосы под мышками от зависти, видимо. Как же так, карл, наши видеокарточки ведь ничем не хуже по железу, а поди-ка ты, никому и нахрен не нужны, кроме геймеров...

"Аналитики полагают, что продажи ускорителей NVIDIA H100 и A100 превысят полмиллиона единиц в четвертом квартале 2023 года. Между тем, спрос на H100 и A100 настолько велик, что срок поставки серверов на базе этих GPU достигает 52 недель. В то же время Omdia сообщает, что в целом объём поставок серверов в 2023 году сократится на 17–20 % по сравнению с прошлым годом, но при этом выручка в этом направлении вырастет на 6–8 % в годовом исчислении.

Следует также отметить, что многие из крупнейших покупателей специализированных ускорителей NVIDIA H100 и A100 сами разрабатывают собственные специализированные GPU для задач ИИ, высокопроизводительных вычислений и графики. Поэтому в перспективе объёмы закупок оборудования у NVIDIA этими компаниями снизятся по мере перехода на собственные решения.

Эксперты Omdia считают, что крупнейшими покупателями графических ускорителей NVIDIA H100 являются компании Meta и Microsoft. По мнению аналитиков, каждая из них закупила по 150 тыс. указанных ускорителей. В свою очередь Google, Amazon, Oracle и Tencent купили по 50 тыс. указанных специализированных ускорителей. Примечательно, что основная часть серверных ускорителей поставляется операторам гипермасштабируемых облачных услуг. В свою очередь, OEM-производители серверов (Dell, Lenovo, HPE) пока не могут забронировать достаточное количество графических процессоров для ИИ и высокопроизводительных вычислений, чтобы выполнить свои заказы на поставки серверов, утверждают специалисты Omdia."

https://3dnews.ru/1096589/nvidia-prodala-pochti-polmilliona-spetsializirovannih-iiuskoriteley-v-tretem-kvartale-utvergdayut-analitiki-omdia

#vr #xr
Варио молодцы, очень сильным был ход со снижением стоимости Aero. Я, правда, не купил, несколько разуверился в шлемах с подключением по кабелю. Помню, купил дорогой оптоволоконный кабель для Квеста, и на 2й день прищемил его дверью, летально )

https://3dnews.ru/1096587/varjo-predstavila-garnituru-smeshannoy-realnosti-xr4-korporativnogo-urovnya-stoimostyu-ot-3990

#astronomy #sun #sdo #photosphere #chromospherel #transitionzone #convectionzone #radiativezone #corona #flares #spots #holes #spicules #filaments #rain #granules

Как устроено Солнце?

https://www.youtube.com/watch?v=6EbuAEagQj4

#chess

В очередной раз гениальный шахматист доказал, что шахматный уровень и общий интеллект слабо связаны между собой. А я-то раньше Крамника уважал.

"@kainxjm
12 часов назад
Kramnik is living proof that chess ability and intelligence are two completely separate things.

@TENTAKILLSMOBILEGAMING
19 часов назад
Kramnik slowly becoming crazy same as fisher
"

https://www.youtube.com/watch?v=bVR5lcItYzM

#hardware #aws

"NVIDIA GH200 NVL32 представляет собой готовую систему, выполненную в формате стандартной серверной стойки. Она объединяет 32 гибридных ускорителя NVIDIA GH200 Grace Hopper Superchip, которые представляют собой двухчиповую систему из центрального процессора с 72 ядрами Arm Neoverse и графического процессора NVIDIA H100

Система обладает 2304 процессорными Arm-ядрами, 20 Тбайт оперативной памяти, включая 4,5 Тбайт HBM3e с общей пропускной способностью 157 Тбайт/с. За связь между суперчипами GH200 отвечают девять коммутаторов NVSwitch и интерфейс NVLink с общей пропускной способностью 57,6 Тбайт/с. Применяется система жидкостного охлаждения. AWS первой предложит системы GH200 NVL32 в составе облачной платформы NVIDIA DGX Cloud. Более того, Amazon даст возможность клиентам объединять новые системы NVIDIA в кластеры EC2 UltraClasters, получая в своё распоряжение тысячи ускорителей GH200 Superchip."

https://3dnews.ru/1096649/nvidia-i-amazon-anonsirovali-moshchneyshiy-oblachniy-iisuperkompyuter-project-ceiba

#hardware #aws #trainium #graviton

"AWS Trainium2, способен обеспечить в четыре раза более высокую производительность и в два раза более высокую энергоэффективность по сравнению с первым поколением Trainium, представленным в декабре 2020 года. Trainium2 будет доступен клиентам Amazon Web Services в инстансах EC Trn2 в кластерах из 16-ти чипов. В решении AWS EC2 UltraCluster клиенты смогут получить в своё распоряжении до 100 000 чипов Trainium2 для обучения больших языковых моделей.

Кластер из 100 000 чипов Trainium2 способен обучить большую языковую модель ИИ (LLM – large language model) с 300 миллиардами параметров всего за несколько недель. Раньше на такие задачи уходили месяцы обучения. Отметим, что параметры в парадигме LLM — это элементы модели, полученные на обучающих датасетах и, по сути, определяющие мастерство модели в решении той или иной задачи, к примеру, генерации текста или кода. 300 миллиардов параметров — это примерно в 1,75 раза больше, чем у GPT-3 от OpenAI.

Второй чип, анонсированный Amazon сегодня — Arm-процессор Graviton4. Amazon утверждает, что он обеспечивает на 30 % более высокую производительность, на 50 % больше ядер и на 75 % более высокую пропускную способность памяти, чем процессор предыдущего поколения Graviton3 (но не более современный Graviton3E), работающий применяемый в облаке Amazon EC2. Таким образом Graviton4 предложат до 96 ядер (но будут и другие конфигурации) и поддержку до 12 каналов оперативной памяти DDR5-5600.

Ещё один апгрейд по сравнению с Graviton3 состоит в том, что все физические аппаратные интерфейсы Graviton4 зашифрованы. По заявлению Amazon, это должно надёжнее защищать рабочие нагрузки клиентов по обучению ИИ и клиентские данные с повышенными требованиями к конфиденциальности.

«Graviton4 — это четвёртое поколение процессоров, которое мы выпустили всего за пять лет, и это самый мощный и энергоэффективный чип, когда-либо созданный нами для широкого спектра рабочих нагрузок, — говорится в заявлении Дэвида Брауна. — Затачивая наши чипы на реальные рабочие нагрузки, которые очень важны для клиентов, мы можем предоставить им самую передовую облачную инфраструктуру».

Graviton4 будет доступен в массивах Amazon EC2 R8g, которые уже сегодня открыты для пользователей в предварительной версии."

https://3dnews.ru/1096644/amazon-predstavila-novie-chipi-dlya-obucheniya-i-zapuska-modeley-iskusstvennogo-intellekta

#deepmind #gnome #materials #gnn

"Алгоритм, получивший название GNoME, был обучен на основе данных из проекта «Материалы» — бесплатной базы данных, содержащей 150 000 известных материалов, которую курирует Перссон. Используя эту информацию, система искусственного интеллекта предложила проекты материалов, содержащие 2,2 миллиона новых кристаллов, из которых 380 000 были признаны стабильными. Они не разлагаются и не взрываются, а значит, наиболее подходят для синтеза в лаборатории, что расширило диапазон известных стабильных материалов почти в 10 раз. В статье, опубликованной сегодня в Nature, авторы пишут, что в этой расширенной базе данных может скрываться следующий инновационный твердотельный электролит, или материал для солнечных батарей, или высокотемпературный сверхпроводник.

GNoME использует подход, называемый активным обучением. Сначала графовая нейронная сеть (GNN) использует базу данных материалов для изучения закономерностей в стабильных структурах и выяснения того, как минимизировать энергию атомных связей в новых структурах. Используя весь диапазон периодической таблицы Менделеева, она выдает тысячи потенциально стабильных кандидатов в материалы. Следующий шаг — их проверка и корректировка с помощью метода квантовой механики, называемого теорией функционала плотности, или DFT. На следующем этапе эти уточнённые результаты снова подключаются к обучающим датасетам, и процесс повторяется."

https://3dnews.ru/1096709/iskusstvenniy-intellekt-google-deepmind-izobryol-380000-novih-materialov

#timeseries #dsp #fourier #fft #psd

"After we have transformed a signal to the frequency-domain, we can extract features from each of these transformed signals and use these features as input in standard classifiers like Random Forest, Logistic Regression, Gradient Boosting or Support Vector Machines.

Which features can we extract from these transformations? A good first step is the value of the frequencies at which oscillations occur and the corresponding amplitudes. In other words; the x and y-position of the peaks in the frequency spectrum."

https://ataspinar.com/2018/04/04/machine-learning-with-signal-processing-techniques/

#timeseries #wavelets #scaleogram #dwt #cwt

В комментах сравнительная таблица точностей разных вейвлетов на нескольких ML-задачах.

https://ataspinar.com/2018/12/21/a-guide-for-using-the-wavelet-transform-in-machine-learning/