Aspiring Data Science – Telegram
Aspiring Data Science
385 subscribers
465 photos
12 videos
12 files
2.15K links
Заметки экономиста о программировании, прогнозировании и принятии решений, научном методе познания.
Контакт: @fingoldo

I call myself a data scientist because I know just enough math, economics & programming to be dangerous.
Download Telegram
#excel #microsoft #commonsense

Давно не работал в Экселе, пришлось вот открыть табличку сегодня. И снова меня поразило, что богатейшая корпорация в мире не способна нанять нормальных программистов, тестеров и менеджеров, чтобы ссука не интерпретировать число как дату "01.01.6445". тем более что все остальные значения в этом столбце явно числовые. Реально, окажись я там менеджером, погнал бы всех ссаными тряпками. Понанимали индусов, [censored].
😁4🤡1
#masters #scaling #preprocessing #robustscaler #timeseries

Перечитываю Мастерса, у него очень интересный подход к нормироваке и шкалированию временных рядов. Вместо общепринятых среднего и скв. отклонения в формуле (val-mean)/std, он использует медиану и межквартильное расстояние iqr. Идея очень резонная в плане устойчивости к выбросам. Я вот что подумал, в sklearn, конечно, есть RobustScaler, который делает вроде бы то же самое, но фишка в том, что Мастерс нормирующие показатели вычисляет не по всему train set, как RobustScaler, а по скользящему окну из последних T наблюдений. Надо бы попробовать модифицировать RobustScaler с учётом этой идеи.
👍1
#apple #management #ai

"Последний квартал прошлого года для Apple станет пятым подряд периодом снижения выручки, если негативные прогнозы сбудутся, но текущий год таит для компании трудности, не только связанные с отсутствием явного прогресса в функциональных возможностях iPhone. Как поясняет Марк Гурман со страниц Bloomberg, компания из Купертино буквально на годы отстаёт от основных конкурентов в сфере внедрения искусственного интеллекта."

Я же говорил!

https://3dnews.ru/1098416/apple-pozge-bolshinstva-konkurentov-vipustit-resheniya-s-poddergkoy-iskusstvennogo-intellekta
#outliers #anomaly #novelty #pyod #advicewanted

Уважаемые подписчики, кто работал с детекторами новизны в sklearn/pyod, подскажите. Вот обучились мы на геоданных из Москвы и Питера, и используем крайне простой детектор: если широта/долгота входов не попадает в диапазон train set, прогноз не делается. То есть по, к примеру, Парижу или Баку прогноз даже делаться не будет. А вот для городов типа Твери, Коломны такая простая защита уже не срабатывает, т.к. по одиночке их координаты попадают в допустимый диапазон. Какие детекторы можете посоветовать из своей практики для такого случая? Желательно с поддержкой категориальных признаков.
#outliers #anomaly #novelty #pyod #suod

Интересным кажется подход Suod, где сначала строятся низкоразмерные случайные проекции исходных данных, потом к ним фиттятся модели, причём instance-based типа kNN аппроксимируются быстрыми параметрическими. И потом базовые детекторы над этими проекциями ансамблируются. Они ещё хвастаются эффективным шедулером.

https://www.andrew.cmu.edu/user/yuezhao2/papers/21-mlsys-suod.pdf

https://pyod.readthedocs.io/en/latest/fast_train.html
#masters #trading

В общем, не выдержал я, написал письмецо Тиму Мастерсу (у меня как раз была проблема с покупкой нескольких его книг). Оказался очень любезным товарищем, даже готов был лично выслать книжки почтой ) Дал мне пару крутых советов по поводу индикаторов для трейдинга!

Его книги считаю шедеврами. Рекомендую всем дата сайентистам и квантам.

Сильно смеялся с его рассказа
"If a company had a trading system that was failing they hired me to do statistical analyses to find out what was wrong. Most of the time I was able to demonstrate that their system was nearly worthless, and early results were just good luck."

Сейчас у него 2 внука, они с женой пенсионеры, играют в 3 (!) музыкальных группах. У него есть книга, как самому сделать рояль! И он играет на собственноручно сделанном, как я понимаю. Видимо, он ещё экспериментирует с видеомонтажом ) Что сказать, крутейший чел.
🔥6
#music #sistersofmercy #gothic #darkwave

мрак тлен я прошептала в трубку
а ты переспросил марк твен
да да марк твен конечно милый
том сойер гекельберри финн

https://www.youtube.com/watch?v=sZs0VDI-CxM
1
🎉 Результаты конкурса «Лучший частный инвестор — 2023»

Мероприятие проводилось с 5 октября по 21 декабря. Участники должны были достичь максимальной доходности, используя инструменты фондового и срочного рынков Московской биржи.

В карточках показываем факты о прошедшем ЛЧИ и его итоги. Доходности, стартовые суммы и сделки каждого участника размещены по ссылке.

Поздравляем победителей!

Пресс-релиз на сайте Московской биржи
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥1