Aspiring Data Science – Telegram
Aspiring Data Science
385 subscribers
465 photos
12 videos
12 files
2.15K links
Заметки экономиста о программировании, прогнозировании и принятии решений, научном методе познания.
Контакт: @fingoldo

I call myself a data scientist because I know just enough math, economics & programming to be dangerous.
Download Telegram
#music #poetry #allanpoe #soporaeternus

From childhood's hour I have not been
as others were; I have not seen
as others saw; I could not bring
my passions from a common spring.

From the same source I have not taken my sorrow,
I could not awaken my heart to joy at the same tone
and all I loved, I loved alone.

Then, in my childhood, in the dawn
of a most stormy life, was drawn
from every depth of good and ill
the mystery which binds me still.

From the torrent, or the fountain,
from the redcliff of the mountain,
from the sun that round me rolled
in its autumn tint of gold,

from the lightning in the sky
as it passed me flying by,
from the thunder and the storm,
and the cloud that took the form,
when the rest of Heaven was blue,
of a demon in my view.

https://www.youtube.com/watch?v=aZyDF49h_-Y
#prediction #forecast

The words predict and forecast are largely used interchangeably today, but in Shakespeare’s time, they meant different things. A prediction was what the soothsayer told you; a forecast was something more like Cassius’s idea. “Men at some time are masters of their fates,” says Cassius, hoping to persuade Brutus to partake in the conspiracy against Caesar.

The term forecast came from English’s Germanic roots, unlike predict, which is from Latin. Forecasting reflected the new Protestant worldliness rather than the otherworldliness of the Holy Roman Empire. Making a forecast typically implied planning under conditions of uncertainty. It suggested having prudence, wisdom, and industriousness, more like the way we now use the word foresight.
Говорят сейчас не модно подводить итоги года, но я это все же сделаю хотя бы по rusquant:

- очень много сделано в плане алготорговли на российском рынке - запустил аж 4 публичные стратегии на comon, которые полностью работают через мою библиотеку rusquant

https://www.comon.ru/users/arbuzov1989

- весь год пытался сообществу доказать, что R - это круто в инвестициях, а Python - это чаще всего оверфитинг. Как результат победа в хакатонах от

Финама
https://www.finam.ru/landings/hackathon-trade-api/

и Московской Биржи
https://goalgo.ru

- запустил свой авторский курс по алготорговле через R. Туда приходят самые крутые ученики и из них формируется классное закрытое сообщество
https://edu.rusquant.ru

- технологически очень прокачался за этот год, начиная от выгрузки библиотеки на кран и работы с гитхабом, до внедрения бессерверных вычисления на Яндекс.Облако и переезд на ClickHouse

- в декабре неожиданно для себя родился очень крутой проект GigaPack - это прорыв в том, что я до этого делал и сродни открытию какого-то важного закона физики. Даже сам еще до конца не осознал всей величины.
https://github.com/arbuzovv/GigaPack

- за этот очень сильно прокачал популяризацию библиотеки Rusquant - просто загуглите это название в поисковике☺️

Очень много всего не публиковал - ибо столкнулся с такой штукой как зависть. После определенных достижений - то машина ломается, то ребенок заболеет на 2 недели, то еще что-то. Я это подмечаю и чувствую (и часто даже догадываюсь от кого). Может кто оберег посоветует (смайлик там какой-нибудь или еще что-то).

А вообще всех с наступающим новый годом! А этот канал теперь решил сделать авторским, поэтому в 2024 ждите от меня здесь чаще личного контента.
👍1
#sport

Сегодня на качалке смотрю, интеллигентного вида мужчина лет под 50, в очках, чем-то похожий на шахматного чемпиона Крамника, качает веса побольше моих. Подошёл - мать честная, у него грудные мышцы как у быка, фигура квадратная. Думаю, подойдёшь к такому интеллигенту вечерком на остановочке, взять на гоп-стоп, он тебя самого до трусов разденет ))
#excel #microsoft #commonsense

Давно не работал в Экселе, пришлось вот открыть табличку сегодня. И снова меня поразило, что богатейшая корпорация в мире не способна нанять нормальных программистов, тестеров и менеджеров, чтобы ссука не интерпретировать число как дату "01.01.6445". тем более что все остальные значения в этом столбце явно числовые. Реально, окажись я там менеджером, погнал бы всех ссаными тряпками. Понанимали индусов, [censored].
😁4🤡1
#masters #scaling #preprocessing #robustscaler #timeseries

Перечитываю Мастерса, у него очень интересный подход к нормироваке и шкалированию временных рядов. Вместо общепринятых среднего и скв. отклонения в формуле (val-mean)/std, он использует медиану и межквартильное расстояние iqr. Идея очень резонная в плане устойчивости к выбросам. Я вот что подумал, в sklearn, конечно, есть RobustScaler, который делает вроде бы то же самое, но фишка в том, что Мастерс нормирующие показатели вычисляет не по всему train set, как RobustScaler, а по скользящему окну из последних T наблюдений. Надо бы попробовать модифицировать RobustScaler с учётом этой идеи.
👍1
#apple #management #ai

"Последний квартал прошлого года для Apple станет пятым подряд периодом снижения выручки, если негативные прогнозы сбудутся, но текущий год таит для компании трудности, не только связанные с отсутствием явного прогресса в функциональных возможностях iPhone. Как поясняет Марк Гурман со страниц Bloomberg, компания из Купертино буквально на годы отстаёт от основных конкурентов в сфере внедрения искусственного интеллекта."

Я же говорил!

https://3dnews.ru/1098416/apple-pozge-bolshinstva-konkurentov-vipustit-resheniya-s-poddergkoy-iskusstvennogo-intellekta
#outliers #anomaly #novelty #pyod #advicewanted

Уважаемые подписчики, кто работал с детекторами новизны в sklearn/pyod, подскажите. Вот обучились мы на геоданных из Москвы и Питера, и используем крайне простой детектор: если широта/долгота входов не попадает в диапазон train set, прогноз не делается. То есть по, к примеру, Парижу или Баку прогноз даже делаться не будет. А вот для городов типа Твери, Коломны такая простая защита уже не срабатывает, т.к. по одиночке их координаты попадают в допустимый диапазон. Какие детекторы можете посоветовать из своей практики для такого случая? Желательно с поддержкой категориальных признаков.
#outliers #anomaly #novelty #pyod #suod

Интересным кажется подход Suod, где сначала строятся низкоразмерные случайные проекции исходных данных, потом к ним фиттятся модели, причём instance-based типа kNN аппроксимируются быстрыми параметрическими. И потом базовые детекторы над этими проекциями ансамблируются. Они ещё хвастаются эффективным шедулером.

https://www.andrew.cmu.edu/user/yuezhao2/papers/21-mlsys-suod.pdf

https://pyod.readthedocs.io/en/latest/fast_train.html
#masters #trading

В общем, не выдержал я, написал письмецо Тиму Мастерсу (у меня как раз была проблема с покупкой нескольких его книг). Оказался очень любезным товарищем, даже готов был лично выслать книжки почтой ) Дал мне пару крутых советов по поводу индикаторов для трейдинга!

Его книги считаю шедеврами. Рекомендую всем дата сайентистам и квантам.

Сильно смеялся с его рассказа
"If a company had a trading system that was failing they hired me to do statistical analyses to find out what was wrong. Most of the time I was able to demonstrate that their system was nearly worthless, and early results were just good luck."

Сейчас у него 2 внука, они с женой пенсионеры, играют в 3 (!) музыкальных группах. У него есть книга, как самому сделать рояль! И он играет на собственноручно сделанном, как я понимаю. Видимо, он ещё экспериментирует с видеомонтажом ) Что сказать, крутейший чел.
🔥6
#music #sistersofmercy #gothic #darkwave

мрак тлен я прошептала в трубку
а ты переспросил марк твен
да да марк твен конечно милый
том сойер гекельберри финн

https://www.youtube.com/watch?v=sZs0VDI-CxM
1
🎉 Результаты конкурса «Лучший частный инвестор — 2023»

Мероприятие проводилось с 5 октября по 21 декабря. Участники должны были достичь максимальной доходности, используя инструменты фондового и срочного рынков Московской биржи.

В карточках показываем факты о прошедшем ЛЧИ и его итоги. Доходности, стартовые суммы и сделки каждого участника размещены по ссылке.

Поздравляем победителей!

Пресс-релиз на сайте Московской биржи
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥1