Aspiring Data Science – Telegram
Aspiring Data Science
385 subscribers
465 photos
12 videos
12 files
2.15K links
Заметки экономиста о программировании, прогнозировании и принятии решений, научном методе познания.
Контакт: @fingoldo

I call myself a data scientist because I know just enough math, economics & programming to be dangerous.
Download Telegram
#productivity #fun

О, и, внезапно... Всем продуктивной недели, энергии, хорошего настроения! )

https://www.youtube.com/shorts/DuTOTTW-pfg
#astronomy #biology #lifeorigin

Тоже согласен, что мы никакие не особенные, и жизни во Вселенной должно быть много.

Вся история развития земной науки каждый раз показывает, что мы не особенные, что наша планета не особенная, звезда не особенная, место во Вселенной не особенное.

https://youtu.be/aGhgex001v4?si=13EB8LpHAceZKD3r
#astronomy

"Первичная обработка данных с массивов антенн будет происходить в дата-центрах непосредственно у радиотелескопов: от поля антенн для средних частот — в ЮАР, а от поля антенн для низких частот — в Австралии. Затем данные будут передаваться на местные суперкомпьютеры для калибровки и подготовки научных данных, с которыми уже можно работать без специальных знаний. После этого будет осуществляться операция «данные — учёным», в процессе которой одинаковые массивы будут переданы в региональные ЦОД, чтобы трафик не забивал все каналы коммуникации.

Поток данных от SKA будет одним из самых больших в истории и достигнет 600 Пбайт в год и даже выше, когда инструмент будет введён в полную эксплуатацию к 2029 году. Чтобы загрузить такой объём данных по «типичному интернет-каналу» со скоростью 100 Мбайт/с, потребуется 200 лет. Для доступности собранной телескопом SKA информации большинство стран-участниц проекта создадут до 20 или больше выделенных региональных дата-центров SKA Regional Centres (SRC).

Современным астрономам не нужно сидеть всю ночь напролёт на открытом воздухе у телескопов. Вся информация будет доставляться прямо на рабочий компьютер в любую точку мира в удобное время дня и ночи. Обратная сторона этого комфорта — значительно выросшие расходы на хранение и обработку данных. И эти расходы продолжат расти.

Постепенно в работу вводятся новые инструменты, такие как обсерватория имени Веры К. Рубин с самой большой цифровой камерой размером 3 × 1,65 м на 3,2-гигапикселя, которая каждый год будет создавать до 16 Пбайт сырых данных (до 7 Пбайт после обработки), космический телескоп Nancy Grace Roman Space Telescope, запланированный к запуску в 2027 году с объёмом годовых данных до 5 Пбайт и другие инструменты. Всё это потребует вычислительных ресурсов, которые учёные вынуждены вырывать у модного искусственного интеллекта с сомнительной полезностью, но невероятными амбициями."

https://3dnews.ru/1129352/defitsit-hdd-pridyot-otkuda-ne-gdali-krupneyshiy-v-mire-teleskop-budet-generirovat-600-pbayt-dannih-v-god
#ai #math

"«Участник» от OpenAI состоял из двух моделей — GPT-5 и ещё одной, экспериментальной системы. GPT-5 успешно справилась с 11 задачами, а последнюю, самую сложную, решила экспериментальная модель после девяти попыток. Комбинированная система OpenAI превзошла результат Deepmind, который также участвовал в соревновании. Модель от Google решила только 10 задач.

При этом ни OpenAI, ни Deepmind не участвовали в турнире официально, поэтому все призовые места были присуждены участникам-людям. Первое место в общем зачёте заняла команда Санкт-Петербургского госуниверситета.

Интересно, что только ИИ-модели — от OpenAI и Google — решили одну из задач (Problem C), которую не смогла решить ни одна человеческая команда.

В OpenAI подчёркивают, что её модель специально не обучалась для участия в конкурсах, решения генерировались в рамках общего подхода к логическому выводу и анализу.

Турнир ICPC 2025 проходил в Баку, столице Азербайджана.

Ранее те же модели показали высокие результаты на Международной математической олимпиаде и Международной олимпиаде по информатике."

https://3dnews.ru/1129449/ii-ot-openai-oboshyol-vse-komanli-iz-lyudey-a-zaodno-i-google-deepmind-na-chempionate-po-programmirovaniyu
#religion

А вот христианин Чарли ужом вертится, пытаясь оправдать тот факт, что ветхозаветный Бог не был против рабства.

Если язык хорошо подвешен, оказывается, можно сделать и такое.

При этом верующие любят с апломбом сказать "если Бога нет, то всё дозволено", ссылаются на Бога как на источник абсолютной морали.

Такое лицемерие кругом, просто противно (

https://www.youtube.com/watch?v=oH4BhA2UY08
Forwarded from Генерал СВР
Дорогие подписчики и гости канала!
Идёт активная подготовка большой пресс-конференции и «прямой линии» с Владимиром «Путиным». Предполагается, что во время общения с народом и прессой человек, назначенный президентом, подведёт итоги за последние двадцать шесть лет. Он вспомнит и похвалит организаторов и столпов нынешней системы власти, расскажет о важности «СВО» и почтит участников боевых действий минутой молчания.

Отдельно будут отмечены прогресс и успехи нынешнего правительства, при этом прозвучит уверенность в том, что необходимо дать дорогу молодым — мол, время пришло. После этого должно прозвучать заявление о финальной части транзита с полным обновлением власти.

Разумеется, будет подчеркнуто, что он сам продолжит наблюдать и бдить за всем уже с высоты главы Конституционного суда — при условии, что ему окажут такое доверие. В тот же день правительство должно уйти в отставку, после чего будет объявлен преемник.
😁1🤔1
#trading #backtesting #bestpractices #tradinggems

Узнал сегодня что-то новое.

Пилю бэктест торговой стратегии, он показывает плюс на истории, я доволен. Вдруг думаю, дай-ка я последую собственному умному совету, который я даю, когда разбираю чужие решения:

do a system/backtesting framework sanity check. ensure:

1) random entry/exit signals produce very bad trading metrics (PnL, PF, Sharpe)
2) faked perfect entry/exit signals produce amazing trading metrics (PnL, PF, Sharpe)
3) your real trading policy on valid data is somewhere in the middle

если ваши сигналы завязаны на ML, тут можно добавить ещё правило, что повышение ML-метрик должно приводить к повышению лучших и средних торговых метрик

Конечно, это касается не только одного отдельно взятого бэктеста, эти же условия должны быть справедливы и для оптимизатора.

Если ваш оптимизатор торговой политики (основанный на бэктестере) находит "прибыльные политики" на случайных сигналах либо случайных рыночных данных, шерше ля ошибку в его реализации.

К моему удивлению, я получил прибыли на случайных сигналах. И залип разбираться, что же я наговновайбкодил.

Выяснилось следуюющее:

Стратегия на барах и лимитных ордерах (для контроля проскальзывания), решение об изменении позиции принимается в конце текущего бара.
Я хотел открывать/закрывать позицию в течение следующего бара по цене не сильно хуже чем цена close последнего известного бара.
Если же такая не была доступна на рынке, я предпочитал позицию не менять, до следующего сигнала.

Покажу проблему на примере закрытия позиции. ИИ транслировал мои пожелания вот в такой невинный код

expected_fill_price=prev_close*(1+slippage_pct*np.sign(current_position)) #  для реалистичности закладываем проскальзывание
close_ok= l<= expected_fill_price <=h

if close_ok:
#здесь закрываем позу
else:
# сохраняем позу


Получив плюсовой бэктест на случайности, я сразу подумал о какой-то утечке инфы из будущего, а т.к. эти проверки диапазонов были единственной инфой из будущего, с которой я работал, стал над ними думать серьёзнее.

Ну и действительно, такая небрежность в принятии решения, когда всё делается красивым универсальнынм однострочником close_ok= l<= expected_fill_price <=h, приводила к тому, что случайные позиции быстро закрывались с небольшими убытками, но оставались открытыми для "хороших баров", причём факт хорошести брался из будущего.

Вроде бы стремление быть оверконсервативным в оценках финрезультата похвальное, а приводило к такому провалу.
Я понял, что если консервативная цена не достижима, я ведь рад закрыть позицию по лучшей цене.

Вот какой код был правильным:

# close_ok= l<= expected_fill_price <=h leads to a fatal future leak, so that even random backtest becomes positive!

if pos_units[tk] > 0: # Closing long (sell limit)
close_ok = h >= expected_fill_price # Fill if market reaches limit or better (higher prices)
expected_fill_price = max(expected_fill_price, l) # Conservative: lowest price in range >= limit (worst PNL for seller)
else: # Closing short (buy limit)
close_ok = l <= expected_fill_price # Fill if market reaches limit or better (lower prices)
expected_fill_price = min(expected_fill_price, h) # Conservative: highest price in range <= limit (worst PNL for buyer)


С такими правками (симметрично для открытия позы) бэктесты на случайности пошли ожидаемо провальные.

Что интересно, ИИ (не платный) оказался не способен найти верное решение.
Будьте внимательны, калибруйтесь и делайте "защиту от дурака", в общем. От себя то есть ) Часто помогает.
🔥5
#trading #metrics

Замечательная иллюстрация Шарпа vs Сортино. Хотя, по идее, Калмар должен быть еще лучше.

По поводу "стабильности" и "будущей стабильности" показателей, лектор подчеркнул их суперважность, но не дал никаких подсказок, как их вообще оценить, особенно последнюю.

https://www.youtube.com/watch?v=K-aUu_M02-Y
2