#aws #ml #sagemaker

Не пробовал его ещё в бою.. Но когда-то придётся. В одном из докладов обучение на 10Tb картинок масштабируется на 200 GPU с использованием Lustre FS и одного скрипта SageMaker.

https://www.youtube.com/watch?v=0CHyMYFy94c&ab_channel=AWSEvents

#nemo #megatron #tensorrt #triton

https://www.youtube.com/watch?v=l8AFfaCkp0E&ab_channel=AWSEvents

#postgres #zfs #optimization #debugging #profiling

https://postgrespro.com/blog/pgsql/5969223

#wordsofwisdom


"Penny-wise, pound foolish."

Прямо день открытий какой-то. Так бы я описал некоторых руководителей в некоторых компаниях, где довелось работать.

#postgres #zfs

https://people.freebsd.org/~seanc/postgresql/scale15x-2017-postgresql_zfs_best_practices.pdf

#postgres #zfs

https://vadosware.io/post/everything-ive-seen-on-optimizing-postgres-on-zfs-on-linux/

"Помимо экспансии ускорителей вычислений семейства Hopper, стимулировать рост выручки NVIDIA в серверном сегменте в текущем году должен и спрос на компоненты, пригодные для создания систем генеративного искусственного интеллекта, как считают представители KeyBanc Capital Markets. Прогноз по курсу акций NVIDIA они поднимают до $280 за штуку. Morgan Stanley в своих прогнозах более осторожен, называя ориентир в виде $255 за акцию, поскольку представители этого инвестиционного банка видят признаки сохранения на серверном рынке некоторых проблем со спросом в краткосрочной перспективе, вызванных общей слабостью экономики."

https://3dnews.ru/1082445/kurs-aktsiy-nvidia-podskochil-na-12-investori-poverili-v-perspektivi-iskusstvennogo-intellekta

#sklearn #mutualinfo

Разработчики sklearn предпочли каждый раз обделываться на малых выборках, вместо того чтобы заменить 3 на 2 по дефолту. При это ни одного аргумента в пользу сохранения 3, или объяснения, почему 3 было выбрано изначально, не привели. Это прям напоминает поведение разрабов matplotlib-а, которые в течение 1 минуты перевели issue в статус Закрыто, даже не вникая в проблему (когда в полярных координатах вместо окружности рисовалась хрень). Разве что тут выдержали паузу в недельку, но результат один. Лишь бы не было висящих issues, а что программный продукт некачественный, это ничего. И уж упаси Боже их что-то реально сделать... Будут до смерти отписываться лучше.

https://github.com/scikit-learn/scikit-learn/issues/25580#issuecomment-1439971979

#python #debugging #vba #vb6

Вопрос к специалистам Python: почему в этом самом распространённом в мире языке программирования, который рекламируется как лёгкий для изучения, так затруднена отладка? Я начинал кодить в Visual Basic 6 и VBA, и я вам скажу, после среды отладки VB6/VBA работать в Питоне - это примерно как плыть со связанными руками. Вот написал ты скрейпер для сложных неструктурированных данных, запустил его, через два дня в середине сложного процесса он падает на непредусмотренном пустом поле, к примеру.

Дай Бог, ты запустил скрипт с параметрами -m pdb, тогда ты хоть сможешь посмотреть, на каком куске данных упало и какие были переменные. Но внести простую правку в код и продолжить с того же места ты не сможешь. Какого хрена, спрашивается? Мне этого особого места в коде опять 2 дня ждать? Это же интерпретируемый язык, какого черта? В VB6/VBA я мог спокойно в режиме отладки подправить код текущей строки, процедуры, да хоть полмодуля новых написать, поменять порядок выполнения строк, выполнить строки повторно, заменить содержимое памяти как мне надо, и продолжить выполнение уже нового кода по F5, не завершая программы.

Почему Питон такой кастрированный, кто знает? Ладно бы он был хотя бы быстрым, типизированным и компилируемым, но это же самое медленное, что сейчас есть, наверное. Я чего-то не знаю, и все как-то эту проблему решают пайчармом или какими-то другими средами? Ведь сам по себе отладчик pdb может только показать стек, и бессильно завершиться?

P.S. Это удивительный пример того, как софтверная компания (Microsoft) задушила собственного одарённого ребёнка (VB6). VB6 должен был стать тем, чем стал Python, но вместо развития (кросс-платформенности, x64) его похоронили мелкософтовские манагеры.

Constructing long-short stock portfolio with a new listwise learn-to-rank algorithm

"A crucial difference lies in that for IR we only care about the accuracy at the top, but for longshort strategy we want both the top and the bottom to be accurate. To bridge this gap, we need a learn-to-rank method that emphasizes both the top and the bottom. In Song et al. (2017), the authors reverse the rank labels and fit the model twice, in the hope that the two models can predict the top and bottom respectively. In this paper, instead of the absolute stock returns, we focus on predicting the relative rank of the returns. This preference is explained not only by portfolio manager’s task to beat a relative index, but also by the difficulty of making value prediction. This difficulty mainly arises from the blurry boundary of the input information and the low information-noise ratio of financial data."

"Для обучения ИИ требуется обработать огромное количество данных, и использование большого количества высокопроизводительных графических процессоров помогает сократить время обучения. В случае ChatGPT, количество используемых параметров обучения выросло со 120 миллионов в 2018 году до 180 миллиардов в 2020 году и потребовало 20 000 графических процессоров для обработки данных. Для дальнейшего коммерческого использования ChatGPT количество графических процессоров понадобится увеличить минимум до 30 000 штук. В этих расчётах для оценки использовались чипы уровня NVIDIA A100.

NVIDIA, вероятно, выиграет от развития генеративного ИИ сильнее всех. A100 — универсальная система для рабочих нагрузок, связанных с ИИ. Чип обеспечивает производительность 5 петафлопс и на сегодняшний день является лучшим выбором для анализа больших данных и ускорения ИИ. AMD, в свою очередь, выпустила серверные чипы серий MI00, MI200 и MI300, которые тоже широко используются для приложений на базе ИИ. TSMC продолжит играть ключевую роль в связанной цепочке поставок, наряду с Nan Ya PCB, Kinsus и Unimicron, которые тоже смогут воспользоваться растущей волной спроса. Разработчики ИИ-чипов из Тайваня, такие, как GUC, AIchip, Faraday Technology и eMemory также выиграют от бума генеративного ИИ"

https://3dnews.ru/1082747/gonka-voorugeniy-ii-privedyot-k-burnomu-rostu-sprosa-na-graficheskie-chipi

https://www.youtube.com/watch?v=tDJnwc8Hioc&ab_channel=AlexanderD%27yakonov
#pytorch #dyakonov

Вдруг кто не знает, Александр Дьяконов - один из лучших специалистов и преподавателей по ML в России и мире, доктор ФМН, профессор, победитель ML соревов на каггл и много где ещё.

его ютуб-канал рекомендуется к полному просмотру, а блог к прочтению )
ещё есть телеграм-канал.

#learningtorank #ml #metric

лучшая иллюстрация работы метрик ранжирования

https://amitness.com/2020/08/information-retrieval-evaluation/

"Хотя многие компании уже прибегли к обходным путям для включения чат-ботов в свои программы и применяют API общедоступных моделей GPT, появление официального API ChatGPT, похоже, совершит революцию на рынке ПО. Над собственными ИИ-моделями работают многие компании, однако ChatGPT остаётся самым популярным и развитым вариантом."

https://3dnews.ru/1082768/openai-anonsirovala-reliz-api-dlya-integratsii-chatgpt-i-drugih-instrumentov-v-prilogeniya-storonnih-razrabotchikov

"Microsoft представила мультимодальную ИИ-модель Kosmos-1, способную анализировать содержание изображений, решать графические головоломки, распознавать текст, проходить визуальные тесты на IQ и понимать команды на естественном языке. Учёные считают, что создание мультимодального ИИ, способного работать в текстовом, аудио- и графическом режимах (включая видео), — ключевой шаг на пути формирования «общего искусственного интеллекта» (AGI), готового справляться с многопрофильными задачами не хуже людей."

https://3dnews.ru/1082777/publikatsiya-1082777

#robots #sex

https://3dnews.ru/1082775/tesla-prodemonstrirovala-novie-vozmognosti-chelovekopodobnih-robotov-optimus

#chess

Гата Камский бы не поверил )

https://www.youtube.com/watch?v=VQfgclxxQyY&ab_channel=LevitovChess

#timeseriesforecasting #competition #electricityprice

Угадайте, чья модель из 4 дата-сайентистов пока что лучше предсказывает цену на электричество в Техасе на сл 24 часа? )