Aspiring Data Science – Telegram
Aspiring Data Science
385 subscribers
465 photos
12 videos
12 files
2.15K links
Заметки экономиста о программировании, прогнозировании и принятии решений, научном методе познания.
Контакт: @fingoldo

I call myself a data scientist because I know just enough math, economics & programming to be dangerous.
Download Telegram
#ml #recommenders

Frequently bought together
https://3dnews.ru/1084498/aerokosmicheskaya-kompaniya-virgin-orbit-milliardera-brensona-podala-zayavlenie-o-bankrotstve

"По состоянию на 30 сентября прошлого года Virgin Orbit располагала активами на общую сумму в $243 млн и имела долг в $153,5 млн. Компания была создана в 2017 году другим предприятием Брэнсона Virgin Galactic, работающим в сфере космического туризма. В 2021 году Virgin Orbit стала публичной, но привлечённые инвестиции оказались на $255 млн меньше, чем планировалось. К банкротству компанию подтолкнул неудачный пуск ракеты в январе этого года, проведённый с территории Великобритании. Ракета LauncherOne не смогла достигнуть расчётной орбиты и отправила полезную нагрузку в виде разведывательных спутников США и Великобритании в океан."
"Кандинский" пугает )
😁1👻1
#приёмы
На своих курсах я часто сообщаю такой приём: не выбрасывать плохие данные, а примерить их пусть не для моделирования, но для служебных задач. Например, у Вас есть кусок данных, где много неизвестных значений, а в целевых значениях много выбросов. Можно изъять его из обучения (допустим это повышает качество), но использовать, например, для mean target encoding категориальных признаков (и утечки не будет и кодирование будет вполне нормальным).
👍1🤯1
#visualisation #pristley #playfair #minard #nightingale #dubois

А Вы знали, что человек, открывший кислород, также придумал инфографику?
Что гистограмму и секторную диаграмму придумал 1 человек в 17 и 18 веках?
Что диаграмму Санки по сути нарисовали до официального открытия, при визуализации вторжения армии Наполеона в Российскую империю? Нет? Вам сюда:

https://github.com/Dyakonov/PZAD/blob/master/2020/PZAD2020_021vishistory_04.pdf
1
#visualisation

«The greatest value of a picture is when it forces us to notice what we never expected to see.»
John Tukey
#ml #tropicmean

Ты дата-сайентист, но никогда не слышал про тропическое среднее и зодиакальный скоринг? Тебе сюда:


https://github.com/Dyakonov/PZAD/blob/master/2020/PZAD2020_011probweights_07n.pdf
1
Внезапно

#youknownothing
#ml #applied #dyakonov

Как нетрудно догадаться, обнаружил очередной гениальный ПЗАД-курс Александра Дъяконова.

Рекомендую всем к изучению, и буду здесь выкладывать лекции с наиболее интересными тэгами по мере изучения материала.

https://github.com/Dyakonov/PZAD/

https://www.youtube.com/watch?v=FNDQYM0hjh0&list=PLaRUeIuewv8CMFox0oEjlyePUhUmo-x0h&ab_channel=AlexanderD%27yakonov
3
#math #stats

Для ценителей математической красоты, но не просто абстрактной, а на стыке с практикой и реальностью.

"А. М. Шурыгин, Нестандартные вариационные задачи в математической статистике, Труды МИАН, 2002, том 236, 378–385."

"Сорок лет очень активных поисков “робастных” оценок, которые должны быть устойчивыми к малым вариациям модельной плотности распределения, имеют скромные успехи. Оптимальная устойчивая оценка не была найдена даже для центра нормального распределения: оценки зависели от неоцениваемых параметров. Причиной являлось использование традиционных методов математической статистики в нестандартной задаче. Использование методов вариационного исчисления и функционального дифференцирования сводит задачу к нестандартной задаче вариационного исчисления и после ее решения делает проблему простой и дает возможность получить компактное оптимальное решение для произвольного параметра распределения."

https://www.mathnet.ru/links/52bfcb49243e547ab0fadf40df1054dc/tm309.pdf
1
#people

"Д-р техн. наук
Шурыгин Александр Михайлович (31.05.1931, город Москва — 20.01.2012, город Москва).

Окончил с золотой медалью среднюю школу № 554 города Москвы (1949). В том же году поступил на геологический факультет МГУ, а в 1954 года окончил его. Обучался в аспирантуре Института физики Земли (1954–1957). В 1965 году поступил на вечернее отделение механико-математического факультета МГУ, которое окончил в 1970 году.

Кандидат геолого-минералогических наук (1959), тема диссертации: «Условия формирования структур юго-восточного Кавказа» (научный руководитель В. В. Белоусов). Доктор технических наук (2002), тема диссертации: «Асимптотическая теория устойчивого оценивания». Учёное звание — старший научный сотрудник (1970).

Почётный работник высшего и среднего профессионального образования Российской Федерации (2006). Заслуженный научный сотрудник Московского университета (2007). Награждён медалью «В память 850-летия Москвы» (1997).

Член Международной Ассоциации по математической геологии, член Американского математического общества."

http://www.machinelearning.ru/wiki/index.php?noscript=%D0%A3%D1%87%D0%B0%D1%81%D1%82%D0%BD%D0%B8%D0%BA:A.shurygin

https://cs.msu.ru/persons/shurigin-a-m
Forwarded from Gamba
За кого будет Harvey, у того и победа, я так думаю

Даже немного поигравшись с сетками для юриспруденции, начинаешь понимать, что ВСЯ юридическая работа (я имею в виду legal research, а не общение/выступления, то не работа а чистый кайф) делается gpt быстро и настолько круто, что люди там и рядом не стояли

Найти прецеденты, статьи, регуляции, сделать comparative analysis по разным юрисдикциям, прикрутить к этому умные книжки, проверить все решения судьи у которой выступаешь и цитировать ей её саму и её любимые источники - это всё на английском делается настолько легко, что судя по всему к концу года в суд нужно будет посылать красивых людей, которые умеют читать с телепромптера
👀1
#trading

"Фондовый рынок для широкой публики выглядит как одна большая история успеха. Со стороны кажется, что на нем можно быстро достичь впечатляющих результатов, начав с относительно небольшой суммой денег, и что здесь все зависит от ваших способностей и мотивации.

Большой успех, большие доходности, большие деньги – все, что с этим связано, вызывает живой интерес. Людям нравится думать, что они могут быть причастны к этому великолепию. Все как будто находится на расстоянии вытянутой руки, достаточно открыть биржевой терминал.

Рынок как площадка для приложения сил выглядит потрясающе интересным для человека, готового активно погружаться в тему в надежде на неординарный результат. Все выглядит так, будто эта площадка дает такую грандиозную отдачу на вложенные усилия, какую вряд ли можно отыскать где-нибудь еще. Создается даже впечатление, что люди на бирже зарабатывает направо и налево. Как можно удержаться и не попробовать?

Люди идут на рынок, чтобы стать частью этой большой и красивой истории успеха. Они идут на свет больших возможностей, чтобы бросить в рынок свою энергию, свои надежды.

Однако реальность такова, что в массе своей ожидания неординарной отдачи на вложенные усилия терпят грандиозный провал. Конечно, процесс все же выбрасывает отдельные истории успеха, которые радостно подхватывает информационное пространство, и потому складывается впечатление, что все идет своим чередом. У кого-то получается, у кого-то не очень, как и в любом другом деле.

Масштаб провала ожиданий не виден сразу, он становится для человека более или менее понятным лишь со временем. Информационное поле продолжает тиражировать истории успеха, вы продолжаете видеть вокруг оптимистичных, уверенных в будущем людей, но постепенно начинаете догадываться о масштабах подводной части этого айсберга.

Картина происходящего на рынках оказывается для внешнего наблюдателя чересчур оптимистичной, и в целом понятно почему.

Во-первых, никто не любит говорить о своих неудачах – это не всегда полезно для публичного имиджа. Потерпев поражение, люди предпочтут отойти в сторону, прийти в себя и пойти другой дорогой, стараясь поменьше вспоминать о неприятном опыте.

Во-вторых, истории неудач не так востребованы публикой, как истории успеха. Да, конечно, история провала – это полезная, поучительная история, и, пожалуй, даже более полезная, чем история успеха.

Но в век соцсетей быстрее будет разлетаться информация, имеющая сильный эмоциональный заряд. Истории успеха вдохновляют и воодушевляют, а что делают истории провалов? Портят настроение тем, кто все еще пытается? Информационное поле не будет сильно стараться в распространении того, на что нет спроса.

Возникает перекос – вы видите много хороших историй и мало плохих.

Поэтому легко возникает иллюзия, будто бы на рынках отдача на усилия чрезвычайно велика, будто бы рынок – это пространство доступных возможностей, которыми грех не воспользоваться. Ведь вы приходите на рынок не с пустыми руками, вы несете туда свой капитал, и для большинства участников этот капитал – результат усилий на другом направлении, где они успешно реализовали какие-то свои таланты. Это лучшее доказательство, что они на что-то способны, что у них есть козыри в схватке с рынком. Поэтому нельзя сказать, что на рынке действует толпа недотеп. Активные, предприимчивые, способные люди приходят на рынок и пытаются реализовать свое мастерство в принятии правильных решений. И в массе своей терпят провал.

Даже если говорить только о доходности, этот провал выглядит удручающе. Но здесь нужно учитывать массу усилий, которые уходят на исследования, на разработки, на работу с информационными потоками и анализ ландшафта возможностей. Нужно учитывать упущенные возможности, которые эти люди могли бы иметь, если бы рынок не захватил их внимание обещанием исключительной отдачи. Наконец, нужно учитывать напряжение и уровень стресса, которые будут неизбежно сопровождать попытки активно взаимодействовать с рыночной стихией.
1👍1
Если учесть все это, то довольно печальный результат активного массового участника наводит на сравнение фондового рынка с черной дырой, которая крепко удерживает вас гравитацией больших надежд и пожирает ваши усилия, оставляя взамен только бесценный опыт ошибок и поражений.

Может быть, на рынке нет возможностей и это банальное казино, где выигрыш гарантирован только заведению? Но это очевидно не так. Рынок акций – по большому счету это место, где корпорации распределяют прибыли между акционерами. Процесс имеет положительную сумму, потому что корпорации в среднем зарабатывают деньги. Люди, которые вообще не вкладывают никаких усилий, держатели пассивных портфелей акций, стабильно оказываются в плюсе на многолетних горизонтах. А люди, которые пытаются достичь значительно большего своей активностью, в среднем не менее стабильно от них отстают.

Почему же активные, способные люди, доказавшие умение принимать адекватные решения и создавать прибыль, в массе своей терпят крах эпических масштабов в попытке превратить свои усилия и таланты в достойную доходность? Масштаб провала ожиданий порождает вопрос: не имеет ли рынок каких-то особенных свойств, которые этому провалу способствуют?"

https://mybook.ru/author/aleksandr-kurguzkin/labirint-illyuzij-v-pogone-za-uspehom-na-finansovy/read/
1
#astronomy

"Уран является седьмой планетой от Солнца, и он действительно уникален. Планета вращается «лежа на боку» — экватор повёрнут к плоскости орбиты почти на 98 градусов. Этим обусловлены экстремальные климатические условия, ведь полюса Урана в течение многих лет находятся под солнечным светом, а затем на столь же длительный период погружаются в полную темноту. Период обращения Урана вокруг Солнца занимает 84 года. В настоящее время на северном полюсе, который попал в объектив космической обсерватории, идёт поздняя весна, а лето наступит в 2028 году."

https://3dnews.ru/1084668/teleskop-dgeyms-uebb-zapechatlel-uran-s-koltsami-i-sputnikami
#pandas #bugs #bollocks

Только решил поработать с финансовыми данными, так на них обосрался pandas. Ну как так-то, а? Он же такой медленный, такой проверенный временем и сотнями тысяч кодеров.

https://github.com/pandas-dev/pandas/issues/52505
😁1