#ApproximateEntropy #SampleEntropy #FuzzyEntropy #DistributionEntropy #PermutationEntropy #antropy #EntropyHub
Измерение сложности сигнала
https://www.youtube.com/watch?v=5vOYgJ-80Bg
https://github.com/raphaelvallat/antropy
Измерение сложности сигнала
https://www.youtube.com/watch?v=5vOYgJ-80Bg
https://github.com/raphaelvallat/antropy
YouTube
Measuring Signal Complexity/Regularity
We are looking at feature extraction using Approximate Entropy - Sample Entropy - Fuzzy Entropy - Distribution Entropy and Permutation Entropy. These are measures of signal complexity or regularity (how repeatable or chaotic are the signals or time-series…
#gpt
"Выпущенная в марте ИИ-модель GPT-4 в 90 % случаев правильно отвечала на вопросы из экзамена на получение лицензии врача, выступая лучше ChatGPT на базе GPT-3 и GPT-3.5 и даже некоторых докторов, у которых уже есть лицензии.
GPT-4 отлично проявил себя не только как экзаменуемый и знаток фактов, но и как переводчик. Он разобрался с медицинской выпиской пациента на португальском языке и перефразировал наполненный техническим жаргоном текст в материал, с которым справится и шестиклассник. ИИ предлагал врачам полезные советы, как вести себя у постели больного и как разговаривать с пациентом о его состоянии понятным, но сострадательным языком. Машина справлялась с обработкой объёмных отчётов об обследовании, мгновенно обобщая их содержимое.
Свои ответы система излагала в формате, который как будто указывает на интеллект сродни человеческому, но исследователи всё равно пока делают вывод, что в своих размышлениях ИИ ограничен шаблонами — пускаться в полноценные рассуждения с причинно-следственными связями GPT-4 ещё не умеет. Тем не менее, когда системе предложили данные по реальному случаю, та на уровне специалиста с годами учёбы и практики верно диагностировала редкую болезнь."
https://3dnews.ru/1084755/poslednyaya-versiya-chatgpt-sdala-meditsinskiy-ekzamen-i-v-schitannie-sekundi-postavila-pravilniy-diagnoz
"Выпущенная в марте ИИ-модель GPT-4 в 90 % случаев правильно отвечала на вопросы из экзамена на получение лицензии врача, выступая лучше ChatGPT на базе GPT-3 и GPT-3.5 и даже некоторых докторов, у которых уже есть лицензии.
GPT-4 отлично проявил себя не только как экзаменуемый и знаток фактов, но и как переводчик. Он разобрался с медицинской выпиской пациента на португальском языке и перефразировал наполненный техническим жаргоном текст в материал, с которым справится и шестиклассник. ИИ предлагал врачам полезные советы, как вести себя у постели больного и как разговаривать с пациентом о его состоянии понятным, но сострадательным языком. Машина справлялась с обработкой объёмных отчётов об обследовании, мгновенно обобщая их содержимое.
Свои ответы система излагала в формате, который как будто указывает на интеллект сродни человеческому, но исследователи всё равно пока делают вывод, что в своих размышлениях ИИ ограничен шаблонами — пускаться в полноценные рассуждения с причинно-следственными связями GPT-4 ещё не умеет. Тем не менее, когда системе предложили данные по реальному случаю, та на уровне специалиста с годами учёбы и практики верно диагностировала редкую болезнь."
https://3dnews.ru/1084755/poslednyaya-versiya-chatgpt-sdala-meditsinskiy-ekzamen-i-v-schitannie-sekundi-postavila-pravilniy-diagnoz
3DNews - Daily Digital Digest
Все самое интересное из мира IT-индустрии
Самые интересные и оперативные новости из мира высоких технологий. На нашем портале - все о компьютерном железе, гаджетах, ноутбуках и других цифровых устройствах. А также обзоры новых игр, достижения современной науки и самые любопытные онлайн-проекты.
👍1
#hardware #mlperf #benchmark
NVIDIA снова поставила рекорды в ИИ-бенчмарке MLPerf Inference, но конкурентов у неё становится всё больше
"В целом, NVIDIA продолжает доминировать по показателям производительности, лидируя во всех категориях. Вместе с тем стартапы Neuchips и SiMa обошли NVIDIA по производительности в пересчёте на Ватт по сравнению с показателями NVIDIA H100 и Jetson AGX Orin соответственно. Ускоритель Qualcomm Cloud AI100 также показал хорошие результаты энергоэффективности в сравнении NVIDIA H100 в некоторых сценариях."
https://servernews.ru/1084751
#GPT #Bloomberg
"Bloomberg потратила около 1,3 млн GPU-часов на обучение BloombergGPT на ускорителях NVIDIA A100 в облаке AWS. Обучение проводилось на 64 кластерах ускорителей, в каждом из которых было по восемь A100 (40 Гбайт), объединённых NVswitch. Для связи использовались 400G-подключения посредством AWS Elastic Fabric и NVIDIA GPUDirect Storage, а для хранения данных была задействована распределённая параллельная файловая система Lustre с поддержкой скорости чтения и записи до 1000 Мбайт/с. Общего объёма памяти всех ускорителей оказалось недостаточно, поэтому Bloomberg произвела оптимизацию для обучения модели: разбиение на отдельные этапы, использование вычислений смешанной точности (BF16/FP32) и т.д. «После экспериментов с различными технологиями мы достигли [производительности] в среднем 102 Тфлопс, а каждый этап тренировки занимал 32,5 с», — сообщили исследователи.
Bloomberg задействовала чуть больше половины (54 %) имеющегося у неё набора данных — 363 млрд документов (с 2007 года) из внутренней базы данных Bloomberg. Остальные 345 млрд документов были получены из общедоступных пресс-релизов, новостей Bloomberg, публичных документов и даже Википедии. Документы получили название «токен». Исследователи стремились, чтобы обучающие последовательности имели длину 2048 токенов, чтобы поддерживать максимально высокий уровень использования ускорителей."
https://servernews.ru/1084721
"Bloomberg потратила около 1,3 млн GPU-часов на обучение BloombergGPT на ускорителях NVIDIA A100 в облаке AWS. Обучение проводилось на 64 кластерах ускорителей, в каждом из которых было по восемь A100 (40 Гбайт), объединённых NVswitch. Для связи использовались 400G-подключения посредством AWS Elastic Fabric и NVIDIA GPUDirect Storage, а для хранения данных была задействована распределённая параллельная файловая система Lustre с поддержкой скорости чтения и записи до 1000 Мбайт/с. Общего объёма памяти всех ускорителей оказалось недостаточно, поэтому Bloomberg произвела оптимизацию для обучения модели: разбиение на отдельные этапы, использование вычислений смешанной точности (BF16/FP32) и т.д. «После экспериментов с различными технологиями мы достигли [производительности] в среднем 102 Тфлопс, а каждый этап тренировки занимал 32,5 с», — сообщили исследователи.
Bloomberg задействовала чуть больше половины (54 %) имеющегося у неё набора данных — 363 млрд документов (с 2007 года) из внутренней базы данных Bloomberg. Остальные 345 млрд документов были получены из общедоступных пресс-релизов, новостей Bloomberg, публичных документов и даже Википедии. Документы получили название «токен». Исследователи стремились, чтобы обучающие последовательности имели длину 2048 токенов, чтобы поддерживать максимально высокий уровень использования ускорителей."
https://servernews.ru/1084721
ServerNews - все из мира больших мощностей
Bloomberg создала собственную ИИ-модель BloombergGPT, которая меньше ChatGPT, но эффективнее при использовании в финансовых операциях
Финансовая фирма Bloomberg решила доказать, что существуют более разумные способы тонкой настройки ИИ-приложений, не имеющих проблем с соблюдением принципов этики или с безопасностью, с которыми сталкиваются при использовании, например, ChatGPT.
👍1
#ml #graphs #sberbank
"«Визуализация графов» отвечает за доступ к интерактивному просмотру графов и выявляет скрытые взаимосвязи между компаниями и физлицами, а сервис поиск неявных связей Link Prediction — за неизвестные факты о связанности клиентов, если данные о них изначально отсутствовали или были скрыты.
Среди сервисов также есть «Графовые нейронные сети» (GNN) — это готовый пайплайн обучения Graph Convolutional Network на базе PyTorch Geometric по собственным таргетам. «Встраиваемая графовая база данных» подходит для нестандартных решений. В ядре платформы Сбера находится собственная производительная база данных FastGraph, а также open-source-технологии стека Hadoop.
Как отмечают в компании, уже собрано более 17 Пбайт плотно связанной между собой неоднородной обезличенной информации. Сервисы платформы применяются в десятках автоматизированных бизнес-процессов Сбера. BI-инструментами и данными платформы пользуется 6,5 тыс. специалистов компании."
https://servernews.ru/1084444
"«Визуализация графов» отвечает за доступ к интерактивному просмотру графов и выявляет скрытые взаимосвязи между компаниями и физлицами, а сервис поиск неявных связей Link Prediction — за неизвестные факты о связанности клиентов, если данные о них изначально отсутствовали или были скрыты.
Среди сервисов также есть «Графовые нейронные сети» (GNN) — это готовый пайплайн обучения Graph Convolutional Network на базе PyTorch Geometric по собственным таргетам. «Встраиваемая графовая база данных» подходит для нестандартных решений. В ядре платформы Сбера находится собственная производительная база данных FastGraph, а также open-source-технологии стека Hadoop.
Как отмечают в компании, уже собрано более 17 Пбайт плотно связанной между собой неоднородной обезличенной информации. Сервисы платформы применяются в десятках автоматизированных бизнес-процессов Сбера. BI-инструментами и данными платформы пользуется 6,5 тыс. специалистов компании."
https://servernews.ru/1084444
ServerNews - все из мира больших мощностей
За кредитование Сбера ответит собственная графовая платформа
Сбер разработал графовую платформу для работы с большими данными и встроил ее в бизнес-процессы корпоративного и розничного кредитования. В компании уверяют, что это позволит эффективнее принимать решения о выдаче кредитов и их параметрах.
image_2023-04-09_06-19-45.png
37.4 KB
Хотел использовать ЧатГПТ для помощи со статьёй, плюнул. Городит чушь, не знаю, что там она за диагнозы пациентам ставит.
Aspiring Data Science
#ApproximateEntropy #SampleEntropy #FuzzyEntropy #DistributionEntropy #PermutationEntropy #antropy #EntropyHub Измерение сложности сигнала https://www.youtube.com/watch?v=5vOYgJ-80Bg https://github.com/raphaelvallat/antropy
Заинтересовал вопрос, а можно ли с помощью этих методов различить случайный и структурированный сигнал. Так что зачем-то вместо сна я всю ночь делал расчёты и писал статью. Отправил на ревью в TowardsDataScience, посмотрим, примут ли.
🤯1
#numpy #bugs
Нампай тож свалился на этом проекте )) Захотел 4 эксбибайта памяти.
https://github.com/numpy/numpy/issues/23564
Нампай тож свалился на этом проекте )) Захотел 4 эксбибайта памяти.
https://github.com/numpy/numpy/issues/23564
GitHub
BUG: Memory Overflow in np.histogram with bins="auto" · Issue #23564 · numpy/numpy
Describe the issue: Something is wrong with the "auto" option. Reproduce the code example: import numpy as np hist, bin_edges = np.histogram( np.array( [ -4.24264069e00, -5.55111512e-17, ...
Aspiring Data Science
#trading #crypto #hft #backtesting https://www.youtube.com/watch?v=7whTVJ9MA20
YouTube
#ЦМФ. Проект по теории вероятностей, математической статистике и случайным процессам
Александр Ланцов, студент программы «Количественная аналитика»:
0:35 Первая неделя: генераторы случайных чисел
2:35 Данные по коронавирусу
4:55 Вторая неделя: обработка данных по коронавирусу — учёт выходных и понедельников, оценка распределения, анализ…
0:35 Первая неделя: генераторы случайных чисел
2:35 Данные по коронавирусу
4:55 Вторая неделя: обработка данных по коронавирусу — учёт выходных и понедельников, оценка распределения, анализ…
#finance #optimalstopping
Вау, сам Альберт Николаевич Ширяев. Применяет теорию оптимальной остановки случайного процесса к задаче buy & hold. Что интересно, в области ООП работал в своё время даже... Березовский )
https://www.youtube.com/watch?v=Hv1iZhYvfoE
Вау, сам Альберт Николаевич Ширяев. Применяет теорию оптимальной остановки случайного процесса к задаче buy & hold. Что интересно, в области ООП работал в своё время даже... Березовский )
https://www.youtube.com/watch?v=Hv1iZhYvfoE
YouTube
#ЦМФ Альберт Николаевич Ширяев, академик (Мехмат МГУ): Стратегия Buy&Hold #Финансовая_математика
Альберт Николаевич Ширяев — ученик А. Н. Колмогорова, заведующий кафедрой Теории вероятностей Мехмата МГУ, создатель российской школы финансовой математики
0:01 Что такое Buy&Hold?
1:55 Практическая постановка задачи в банке: как продать акцию по максимальной…
0:01 Что такое Buy&Hold?
1:55 Практическая постановка задачи в банке: как продать акцию по максимальной…
#ml #contest
Это было первое моё соревнование в DS. Я тогда ни фига не знал, раскрыв рот смотрел на бэйзлайн, в котором использовался pandas. Прошло 6 лет, а всё так же ничего не знаю, по ощущениям. Но по-прежнему жутко интересно.
https://www.youtube.com/watch?v=BRwIIEXnXXU
Это было первое моё соревнование в DS. Я тогда ни фига не знал, раскрыв рот смотрел на бэйзлайн, в котором использовался pandas. Прошло 6 лет, а всё так же ничего не знаю, по ощущениям. Но по-прежнему жутко интересно.
https://www.youtube.com/watch?v=BRwIIEXnXXU
YouTube
Sberbank Data Science Contest: предсказание пола клиента — Михаил Горкунов
Михаил Горкунов рассказывает, как можно подойти к задаче предсказания пола клиента в банке, которая решалась в рамках Sberbank Data Science Contest. Из видео вы сможете узнать:
- Можно ли деанонимизировать платежные данные
- Какие признаки можно строить…
- Можно ли деанонимизировать платежные данные
- Какие признаки можно строить…
#diet
Прельстился в магазине сладкой водичкой по скидке. Дома после жадного свинчивания крышки двухлитровая бутыль извергла такой столб содержимого, что липкой сладкой хренью забрызгало всё в радиусе полутора метров, включая меня, ноут, кресло и внешнюю клаву. Теперь залипает часть кнопок. А ведь мне даже не понравился вкус.
Прельстился в магазине сладкой водичкой по скидке. Дома после жадного свинчивания крышки двухлитровая бутыль извергла такой столб содержимого, что липкой сладкой хренью забрызгало всё в радиусе полутора метров, включая меня, ноут, кресло и внешнюю клаву. Теперь залипает часть кнопок. А ведь мне даже не понравился вкус.
#atms #ml #sberbank
Про придумывание истории после перемещения банкомата кажется бредом, про подбор лагов на CV интересная идея, но не раскрыта.
https://www.youtube.com/watch?v=s7cYqaiA2mE&t=3s
Про придумывание истории после перемещения банкомата кажется бредом, про подбор лагов на CV интересная идея, но не раскрыта.
https://www.youtube.com/watch?v=s7cYqaiA2mE&t=3s
YouTube
"Data Science на примере управления банкоматной сетью Банка"
Александр Ульянов, Сбербанк, Data Science Executive Director.СПЕЦИАЛИСТЫ В ОБЛАСТИ
DATA SCIENCE И DATA ENGINEERINGhttp://newprolab.com
DATA SCIENCE И DATA ENGINEERINGhttp://newprolab.com
🤔1