#hardware #mlperf #benchmark
NVIDIA снова поставила рекорды в ИИ-бенчмарке MLPerf Inference, но конкурентов у неё становится всё больше
"В целом, NVIDIA продолжает доминировать по показателям производительности, лидируя во всех категориях. Вместе с тем стартапы Neuchips и SiMa обошли NVIDIA по производительности в пересчёте на Ватт по сравнению с показателями NVIDIA H100 и Jetson AGX Orin соответственно. Ускоритель Qualcomm Cloud AI100 также показал хорошие результаты энергоэффективности в сравнении NVIDIA H100 в некоторых сценариях."
https://servernews.ru/1084751
#GPT #Bloomberg
"Bloomberg потратила около 1,3 млн GPU-часов на обучение BloombergGPT на ускорителях NVIDIA A100 в облаке AWS. Обучение проводилось на 64 кластерах ускорителей, в каждом из которых было по восемь A100 (40 Гбайт), объединённых NVswitch. Для связи использовались 400G-подключения посредством AWS Elastic Fabric и NVIDIA GPUDirect Storage, а для хранения данных была задействована распределённая параллельная файловая система Lustre с поддержкой скорости чтения и записи до 1000 Мбайт/с. Общего объёма памяти всех ускорителей оказалось недостаточно, поэтому Bloomberg произвела оптимизацию для обучения модели: разбиение на отдельные этапы, использование вычислений смешанной точности (BF16/FP32) и т.д. «После экспериментов с различными технологиями мы достигли [производительности] в среднем 102 Тфлопс, а каждый этап тренировки занимал 32,5 с», — сообщили исследователи.
Bloomberg задействовала чуть больше половины (54 %) имеющегося у неё набора данных — 363 млрд документов (с 2007 года) из внутренней базы данных Bloomberg. Остальные 345 млрд документов были получены из общедоступных пресс-релизов, новостей Bloomberg, публичных документов и даже Википедии. Документы получили название «токен». Исследователи стремились, чтобы обучающие последовательности имели длину 2048 токенов, чтобы поддерживать максимально высокий уровень использования ускорителей."
https://servernews.ru/1084721
"Bloomberg потратила около 1,3 млн GPU-часов на обучение BloombergGPT на ускорителях NVIDIA A100 в облаке AWS. Обучение проводилось на 64 кластерах ускорителей, в каждом из которых было по восемь A100 (40 Гбайт), объединённых NVswitch. Для связи использовались 400G-подключения посредством AWS Elastic Fabric и NVIDIA GPUDirect Storage, а для хранения данных была задействована распределённая параллельная файловая система Lustre с поддержкой скорости чтения и записи до 1000 Мбайт/с. Общего объёма памяти всех ускорителей оказалось недостаточно, поэтому Bloomberg произвела оптимизацию для обучения модели: разбиение на отдельные этапы, использование вычислений смешанной точности (BF16/FP32) и т.д. «После экспериментов с различными технологиями мы достигли [производительности] в среднем 102 Тфлопс, а каждый этап тренировки занимал 32,5 с», — сообщили исследователи.
Bloomberg задействовала чуть больше половины (54 %) имеющегося у неё набора данных — 363 млрд документов (с 2007 года) из внутренней базы данных Bloomberg. Остальные 345 млрд документов были получены из общедоступных пресс-релизов, новостей Bloomberg, публичных документов и даже Википедии. Документы получили название «токен». Исследователи стремились, чтобы обучающие последовательности имели длину 2048 токенов, чтобы поддерживать максимально высокий уровень использования ускорителей."
https://servernews.ru/1084721
ServerNews - все из мира больших мощностей
Bloomberg создала собственную ИИ-модель BloombergGPT, которая меньше ChatGPT, но эффективнее при использовании в финансовых операциях
Финансовая фирма Bloomberg решила доказать, что существуют более разумные способы тонкой настройки ИИ-приложений, не имеющих проблем с соблюдением принципов этики или с безопасностью, с которыми сталкиваются при использовании, например, ChatGPT.
👍1
#ml #graphs #sberbank
"«Визуализация графов» отвечает за доступ к интерактивному просмотру графов и выявляет скрытые взаимосвязи между компаниями и физлицами, а сервис поиск неявных связей Link Prediction — за неизвестные факты о связанности клиентов, если данные о них изначально отсутствовали или были скрыты.
Среди сервисов также есть «Графовые нейронные сети» (GNN) — это готовый пайплайн обучения Graph Convolutional Network на базе PyTorch Geometric по собственным таргетам. «Встраиваемая графовая база данных» подходит для нестандартных решений. В ядре платформы Сбера находится собственная производительная база данных FastGraph, а также open-source-технологии стека Hadoop.
Как отмечают в компании, уже собрано более 17 Пбайт плотно связанной между собой неоднородной обезличенной информации. Сервисы платформы применяются в десятках автоматизированных бизнес-процессов Сбера. BI-инструментами и данными платформы пользуется 6,5 тыс. специалистов компании."
https://servernews.ru/1084444
"«Визуализация графов» отвечает за доступ к интерактивному просмотру графов и выявляет скрытые взаимосвязи между компаниями и физлицами, а сервис поиск неявных связей Link Prediction — за неизвестные факты о связанности клиентов, если данные о них изначально отсутствовали или были скрыты.
Среди сервисов также есть «Графовые нейронные сети» (GNN) — это готовый пайплайн обучения Graph Convolutional Network на базе PyTorch Geometric по собственным таргетам. «Встраиваемая графовая база данных» подходит для нестандартных решений. В ядре платформы Сбера находится собственная производительная база данных FastGraph, а также open-source-технологии стека Hadoop.
Как отмечают в компании, уже собрано более 17 Пбайт плотно связанной между собой неоднородной обезличенной информации. Сервисы платформы применяются в десятках автоматизированных бизнес-процессов Сбера. BI-инструментами и данными платформы пользуется 6,5 тыс. специалистов компании."
https://servernews.ru/1084444
ServerNews - все из мира больших мощностей
За кредитование Сбера ответит собственная графовая платформа
Сбер разработал графовую платформу для работы с большими данными и встроил ее в бизнес-процессы корпоративного и розничного кредитования. В компании уверяют, что это позволит эффективнее принимать решения о выдаче кредитов и их параметрах.
image_2023-04-09_06-19-45.png
37.4 KB
Хотел использовать ЧатГПТ для помощи со статьёй, плюнул. Городит чушь, не знаю, что там она за диагнозы пациентам ставит.
Aspiring Data Science
#ApproximateEntropy #SampleEntropy #FuzzyEntropy #DistributionEntropy #PermutationEntropy #antropy #EntropyHub Измерение сложности сигнала https://www.youtube.com/watch?v=5vOYgJ-80Bg https://github.com/raphaelvallat/antropy
Заинтересовал вопрос, а можно ли с помощью этих методов различить случайный и структурированный сигнал. Так что зачем-то вместо сна я всю ночь делал расчёты и писал статью. Отправил на ревью в TowardsDataScience, посмотрим, примут ли.
🤯1
#numpy #bugs
Нампай тож свалился на этом проекте )) Захотел 4 эксбибайта памяти.
https://github.com/numpy/numpy/issues/23564
Нампай тож свалился на этом проекте )) Захотел 4 эксбибайта памяти.
https://github.com/numpy/numpy/issues/23564
GitHub
BUG: Memory Overflow in np.histogram with bins="auto" · Issue #23564 · numpy/numpy
Describe the issue: Something is wrong with the "auto" option. Reproduce the code example: import numpy as np hist, bin_edges = np.histogram( np.array( [ -4.24264069e00, -5.55111512e-17, ...
Aspiring Data Science
#trading #crypto #hft #backtesting https://www.youtube.com/watch?v=7whTVJ9MA20
YouTube
#ЦМФ. Проект по теории вероятностей, математической статистике и случайным процессам
Александр Ланцов, студент программы «Количественная аналитика»:
0:35 Первая неделя: генераторы случайных чисел
2:35 Данные по коронавирусу
4:55 Вторая неделя: обработка данных по коронавирусу — учёт выходных и понедельников, оценка распределения, анализ…
0:35 Первая неделя: генераторы случайных чисел
2:35 Данные по коронавирусу
4:55 Вторая неделя: обработка данных по коронавирусу — учёт выходных и понедельников, оценка распределения, анализ…
#finance #optimalstopping
Вау, сам Альберт Николаевич Ширяев. Применяет теорию оптимальной остановки случайного процесса к задаче buy & hold. Что интересно, в области ООП работал в своё время даже... Березовский )
https://www.youtube.com/watch?v=Hv1iZhYvfoE
Вау, сам Альберт Николаевич Ширяев. Применяет теорию оптимальной остановки случайного процесса к задаче buy & hold. Что интересно, в области ООП работал в своё время даже... Березовский )
https://www.youtube.com/watch?v=Hv1iZhYvfoE
YouTube
#ЦМФ Альберт Николаевич Ширяев, академик (Мехмат МГУ): Стратегия Buy&Hold #Финансовая_математика
Альберт Николаевич Ширяев — ученик А. Н. Колмогорова, заведующий кафедрой Теории вероятностей Мехмата МГУ, создатель российской школы финансовой математики
0:01 Что такое Buy&Hold?
1:55 Практическая постановка задачи в банке: как продать акцию по максимальной…
0:01 Что такое Buy&Hold?
1:55 Практическая постановка задачи в банке: как продать акцию по максимальной…
#ml #contest
Это было первое моё соревнование в DS. Я тогда ни фига не знал, раскрыв рот смотрел на бэйзлайн, в котором использовался pandas. Прошло 6 лет, а всё так же ничего не знаю, по ощущениям. Но по-прежнему жутко интересно.
https://www.youtube.com/watch?v=BRwIIEXnXXU
Это было первое моё соревнование в DS. Я тогда ни фига не знал, раскрыв рот смотрел на бэйзлайн, в котором использовался pandas. Прошло 6 лет, а всё так же ничего не знаю, по ощущениям. Но по-прежнему жутко интересно.
https://www.youtube.com/watch?v=BRwIIEXnXXU
YouTube
Sberbank Data Science Contest: предсказание пола клиента — Михаил Горкунов
Михаил Горкунов рассказывает, как можно подойти к задаче предсказания пола клиента в банке, которая решалась в рамках Sberbank Data Science Contest. Из видео вы сможете узнать:
- Можно ли деанонимизировать платежные данные
- Какие признаки можно строить…
- Можно ли деанонимизировать платежные данные
- Какие признаки можно строить…
#diet
Прельстился в магазине сладкой водичкой по скидке. Дома после жадного свинчивания крышки двухлитровая бутыль извергла такой столб содержимого, что липкой сладкой хренью забрызгало всё в радиусе полутора метров, включая меня, ноут, кресло и внешнюю клаву. Теперь залипает часть кнопок. А ведь мне даже не понравился вкус.
Прельстился в магазине сладкой водичкой по скидке. Дома после жадного свинчивания крышки двухлитровая бутыль извергла такой столб содержимого, что липкой сладкой хренью забрызгало всё в радиусе полутора метров, включая меня, ноут, кресло и внешнюю клаву. Теперь залипает часть кнопок. А ведь мне даже не понравился вкус.
#atms #ml #sberbank
Про придумывание истории после перемещения банкомата кажется бредом, про подбор лагов на CV интересная идея, но не раскрыта.
https://www.youtube.com/watch?v=s7cYqaiA2mE&t=3s
Про придумывание истории после перемещения банкомата кажется бредом, про подбор лагов на CV интересная идея, но не раскрыта.
https://www.youtube.com/watch?v=s7cYqaiA2mE&t=3s
YouTube
"Data Science на примере управления банкоматной сетью Банка"
Александр Ульянов, Сбербанк, Data Science Executive Director.СПЕЦИАЛИСТЫ В ОБЛАСТИ
DATA SCIENCE И DATA ENGINEERINGhttp://newprolab.com
DATA SCIENCE И DATA ENGINEERINGhttp://newprolab.com
🤔1
#mlops #dvc
Уже в который раз смотрю материалы про dvc, и никак не могу понять, нафига это нужно. А вы пользуетесь DVC или каким-либо другим инструментом версионирования данных?
https://www.youtube.com/watch?v=FbIyKjOdiI8
Уже в который раз смотрю материалы про dvc, и никак не могу понять, нафига это нужно. А вы пользуетесь DVC или каким-либо другим инструментом версионирования данных?
https://www.youtube.com/watch?v=FbIyKjOdiI8
YouTube
Estefania Barreto-Ojeda - Applications in ML Drug Discovery pipelines | PyData NYC 2022
www.pydata.org
Development of Machine Learning (ML) pipelines in drug discovery faces different challenges from those in traditional software development. In addition to unique challenges during the data engineering stage, drug discovery pipelines require…
Development of Machine Learning (ML) pipelines in drug discovery faces different challenges from those in traditional software development. In addition to unique challenges during the data engineering stage, drug discovery pipelines require…