Aspiring Data Science – Telegram
Aspiring Data Science
385 subscribers
465 photos
12 videos
12 files
2.15K links
Заметки экономиста о программировании, прогнозировании и принятии решений, научном методе познания.
Контакт: @fingoldo

I call myself a data scientist because I know just enough math, economics & programming to be dangerous.
Download Telegram
Интересно иногда оглядываться назад

Вспоминаю себя в начале трейдерского пути:

• Огроменные розовые очки - грезил о доходностях «ну хотя бы 20% в месяц!»
• Жить на берегу моря и торговать с ноута.
• Анализировать уровни, плотности и новости 🫣
• Дружить и общаться с крутыми трейдерами.

Что из этого реализовал?

• Доходность 12% в квартал
• Живу в трех часах от моря и гор
• Придумываю стратегии и тестирую их своим софтом
• Дружу и общаюсь с КРУТЫМИ трейдерами

Еду выступать на конференцию с лучшими алготрейдерами страны!

Можно смеяться, но это реальные мои мечты🤗

Путь был долгий и не легкий.

Что бы я сейчас посоветовал себе тогда?

1. Много торговать! Но! На бумаге!
2. Изучить тестеры по типу Tslab и проверять как можно больше стратегий на истории, чтобы как можно быстрее отфильтровать то, что не работает.
3. Изучить количественный анализ - то, что торгуют проф-участники рынка. Да, сложно, долго и не понятно…
4. Тестировать, тестировать и тестировать
5. Учиться программировать! (подходит не для всех) или писать софт на заказ.

Какие ошибки я совершил?

1. Торговал сразу на больших реальных деньгах. 🫩
2. Очень долго не подходил к количественному анализу.
3. Думал, что торговая стратегия это самая важная тема, с которой нужно разобраться в трейдинге.
4. Торговал руками (что лично для меня было тяжело)

Поэтому мой путь растянулся на годы, но получил много опыта.

Что дальше? У меня еще много мечт и целей - работаю до результата!

Интересно, вы сейчас к чему идете?
👍1
#trading #go

https://polygon.io/blog/case-study-algorithmict-trading-with-go

"Creating an automated trading tool has been nothing short of an adventure that crosses multiple domains, from finance and programming to data analytics. Through this project, I have come to learn and appreciate the complexity of the stock market and how hundreds of billions of dollars change hands each day. There are countless trading strategies out there and having your own platform to play around with them is incredibly cool. Once you have a system like this you cannot easily go back to a normal broker since you feel blind. I wanted to share of the key lessons out of all this:

Understanding Abstractions: The stock market, and exchanges like NYSE are NASDAQ, are not monolithic entities but are actually large distributed systems built up from 19+ exchanges, each with its own quirks and features. Candlestick data is a massive abstraction built from raw trade or tick data, and understanding these abstractions at a deep level is essential. Then you have market trading times such as pre-market, regular market, or after-hours where different rules apply. Getting as close to the source data as possible and thoroughly understanding its origins and usage will significantly enhance your ability to leverage it.
Order Management: It is not as simple as sending buy and sell orders. Factors such as pre-computed position sizing (the number of shares to buy and your total money percentage), the ability to quickly buy and sell shares, having the ability to manage 25+ active positions and act on them instantly, tax and commission calculations, slippage management, and order state monitoring all contribute significantly to successful trading.

Edge Cases: Order execution, tracking, modifications, cancellations, partial orders, market halts and more, there are so many edge cases to consider and these cost you money if you miss something. It is absolutely essential to test these scenarios with simulated money, also known as paper trading, rather than real funds to minimize potential losses. I lost a lot of money when my system detected a trend in the pre-market and the stock jumped 40%, I bought at the absolute high, and then it quickly dropped, and my system did not adjust the sell order correctly. I basically lost 40% on that trade in minutes. You can make and lose money extremely fast in pre-market or after hours trading sessions since the normal market rules are different and you can see wild swings take place extremely quickly.

Embrace Randomness: Many of us might be tempted to think that the key to a successful trading bot lies in discovering some secret, all-powerful strategy. While strategies are undeniably important, they are not everything. One of the most valuable lessons I learned was the utility of random buying to test the core functionalities of the system. For example, try to make 1000 trades per day across random stocks for a week and you'll learn so much about your system. By introducing random buy orders into the system, you can effectively test your buying and selling logic, manage partial fills, test cancel logic, and critically evaluate the overall position tracking system. Does your system keep track of them as expected? Can you delve into the trade details? Do the positions exit based on the established criteria? Is the logging working as intended? I incorporated random stock buying using my paper trading account into my testing process, which turned out to be an incredibly efficient way to verify multiple aspects of the system simultaneously. Not to mention, it made testing a lot more unpredictable and fun."
#trading #go

https://polygon.io/blog/case-study-algorithmict-trading-with-go

"Tick Bars vs Time Bars: When you look at a candlestick bar offered by your broker, it will have an open, high, low, close, number of trades, volume, etc, this covers a known time frame, for example 30 seconds. However, the issue here is that there are times where the market is moving extremely quickly and not all bars are created equally, some might have 100 trades while others have 1,000s of trades in the same time span. So, I am taking the raw tick and quote data and building my own bars based off a set number of trades. This not only provides much better resolutions during times of increased trade activity, like market open and close, but also enables me to add in things like price spread, and other custom metrics. This is where really understanding the data you are using comes in and you can build your own abstractions rather than using someone else's.

Going In-Memory: In the early stages, I faced numerous challenges attempting to maintain state in a database because of the large spikes in activity around market open and close. Eventually, I decided to go entirely in-memory, utilizing a large map with mutex locking that virtually every component of my system interacts with. Although it was very challenging to construct and debug, this solution ultimately solved all my scalability issues. I configured the system to dump the struct that holds all data into a compressed gob file for storage, with a method to reload it in case I needed to restart the application. It can grow to be 40GB+ throughout the day and I needed to patch the Go build to support dumping gobs this large. This ensured no loss of my stateful data. Another lesson learned the hard way was the need for uninterruptible power supply. I found this out when a power outage occurred while my system was live. Without power, I lost all state data, leaving my positions unmonitored. A proper power backup system became a necessity to prevent such incidents from occurring in the future.

Complex and Lonely: This project proved much more challenging and time-consuming than initially anticipated. As I said, this has turned from a minor hobby into a full blown obsession. It can be lonely too. All you are basically doing is trying to increase the money in your account. This can be an extremely wild roller costing.

Using Go and Python: I have moved to a hybrid approach where my trading system is written in Go but I do most of my data exploring in Python just because it has extensive data science libraries, and it simplified certain aspects of looking at data or trying to find patterns.
Leveraging Personal Computers: Modern desktop PCs are extremely powerful and able to handle real-time monitoring of the entire stock market if you hack on it enough.

ChatGPT enters the Chat: ChatGPT has been a game-changer for me. With it, I can easily ask questions, use it for sanity checks, and even have it generate code. I went from not knowing how to solve a problem, blindly googling around and reading books, to just telling ChatGPT the problem, and then asking how it would solve it, then asking it to code the solution. This is absolutely insane and has easily 3x my productivity.
In retrospect, I would probably keep adding things here. For example, hunting down all types of market anomalies, things like the meme stock adventures, wild IPO events, market booms and busts, Fed news and interest rate hikes, all this just in the last few years. It’s pretty cool to have your own system to look at all this stuff, detect it, and then see it appear in the news. You definitely feel like you have a front row seat when market events are unfolding right in front of you."
1
#updates

Работает - НЕ ТРОГАЙ!!! ))

"На сегодняшний день многие контрольные центры и башни управления воздушным движением в США работают на оборудовании, которое выглядело бы уместно в конце XX века. Некоторые сотрудники до сих пор используют бумажные ленты-полоски для координации полётов, а данные между системами передаются с помощью дискет. При этом компьютеры продолжают использовать операционную систему Windows 95, выпущенную Microsoft в 1995 году. Однако, как пишет Ars Technica, несмотря на устаревшие технологии, система демонстрирует высокую надёжность. Тем не менее специалисты, включая профессора Университета Иллинойс Шелдона Джейкобсона (Sheldon Jacobson), который занимается анализом рисков в авиации, указывают, что обновление является необходимым.

Среди плюсов старых технологий отмечается их устойчивость к современным киберугрозам. Например, системы FAA не пострадали во время глобального сбоя, вызванного ошибкой CrowdStrike в 2024 году. Тем не менее, как признают в самом управлении, 51 из 138 систем FAA признаны непригодными к дальнейшей эксплуатации из-за устаревшего оборудования и отсутствия запчастей. При этом проблема не уникальна. Аналогичные трудности, связанные с отказом от дискет, испытывают, например, Япония и железнодорожная система Сан-Франциско, где обновление планируется лишь к 2030 году.

Подчёркивается, что модернизация системы управления воздушным движением является чрезвычайно сложной задачей. В отличие от обычных корпоративных IT-сетей, эти системы должны работать круглосуточно без остановок. Выключение даже на короткий срок может повлиять на безопасность полётов. Кроме того, новые системы должны быть устойчивы к кибератакам, поскольку взлом может парализовать всю авиационную инфраструктуру, затронув транспорт, торговлю и экстренные службы.

Однако не все эксперты уверены в успехе инициативы. Так, аналитик авиационной отрасли Роберт Мэн (Robert W. Mann Jr.) в интервью NPR отметил, что обещания модернизировать систему звучат уже более 30 лет, но реальных изменений так и не произошло. Поводом для беспокойства стали недавние сбои, включая остановку системы уведомлений для лётчиков NOTAM (Notice to Airmen) в январе 2023 года, которая привела к массовым задержкам рейсов по всей стране. Эксперты тогда связали это с устаревшей инфраструктурой и повреждёнными файлами баз данных."

https://3dnews.ru/1124188/ssha-vsyo-eshchyo-ispolzuyut-disketi-i-windows-95-dlya-upravleniya-aviareysami
#datasets #astronomy

"Это первый релиз каталога COSMOS по наблюдениям с телескопа «Уэбб». Исследование охватывает 0,54 градуса неба с помощью NIRCam (камеры для получения изображений в ближнем инфракрасном диапазоне) — это «примерно площадь трёх полных лун», и 0,2 квадратных градуса с помощью MIRI (камеры для получения изображений в среднем инфракрасном диапазоне)."

Зайдите. Это прекрасно.

https://3dnews.ru/1124250/vselennaya-bez-registratsii-i-sms-v-otkritiy-dostup-vilogeno-15-tbayt-fotografiy-kosmosa-ot-dgeymsa-uebba
#ai #gpt #llms

"Оказалось, что на базовом уровне ИИ похожим образом сортирует данные о предметах, как это происходит в соответствующих областях головного мозга человека. При этом текстовая модель оказалась «человечнее», чем мультимодальная. Но обе они демонстрировали хотя и не человеческую, но похожую в свей основе схему анализа и классификации объектов.

Между ИИ и человеком разумным больше общего, чем считалось, резюмируют учёные. Новая работа поможет точнее понимать логику, которой руководствуется ИИ, что позволит сделать его ещё лучше."

https://arxiv.org/abs/2407.01067
#astronomy

"BINGO — совместный проект Бразилии и Китая. Руководит коллаборацией ведущий бразильский астрофизик Карлос Александре Вуенше де Соуза (Carlos Alexandre Wuensche de Souza), старший научный сотрудник отдела астрофизики INPE (Национального института космических исследований в Бразилии). Непосредственно проектированием и изготовлением радиотелескопа занимались китайские учёные, которые во главу угла поставили простоту сборки конструкции на месте.

Радиотелескоп состоит из одной чашеобразной 40-метровой антенны и 28 «рупоров» — пакета из более мелких антенн. Система рассчитана на довольно широкий охват участка неба и одновременно на серию достаточно детализированных измерений в поле наблюдения. Прибор будет фиксировать барионные акустические колебания, полученные в результате комплексных наблюдений за нейтральным газом.

Барионные акустические колебания возникали примерно до 380 тыс. лет после Большого взрыва в процессе сжатия и расширения областей плазмы. Они по определённому закону распределили вещество в пространстве, и с тех пор это стало своего рода слепком колебаний, что нашло отражение, например, в распределении галактик. По сути — это своего рода космическая линейка для определения расстояний во Вселенной. Данные BINGO помогут с высокой точностью оценить скорость и степень расширения Вселенной и, следовательно, смогут подтолкнуть к получению более точного набора характеристик тёмной энергии.

К берегам Бразилии главная антенна радиотелескопа BINGO прибудет примерно через два месяца. Радиотелескоп будет построен в 2000 км от столицы страны. В строй его введут в 2026 году."

https://3dnews.ru/1124442/kitayskie-uchyonie-izgotovili-unikalniy-radioteleskop-dlya-issledovaniya-tyomnoy-energii
👍1
Forwarded from partially unsupervised
Когда-то давно я нахваливал Streamlit, в свое время наделал на нем пару десятков приложений, и пересадил на него кучу коллег. Но настало время двигаться дальше, и потому сегодня хочу порекомендовать читателям NiceGUI.

Вкатиться в NiceGUI немного сложнее, чем в Streamlit: невозможно просто прокатиться мордой по клавиатуре и получить работающее приложение. Но если повозиться чуть больше, то результат получается сильно более зрелым:
- настоящие отдельные фронтенд (Vue/Quasar + Tailwind) и бэкенд (Fastapi), в которые можно провалиться для доработки (а можно и не вникать и оставаться в высокоуровневом python коде);
- вебсокеты вместо перезапуска всего приложения на каждый чих;
- нормальная поддержка нескольких параллельных пользователей благодаря нескольким гранулярным видам хранения стейта вместо одного st.session_state;
- к этому можно писать тесты!

Вайбкодить на NiceGUI сложнее, чем на стримлите, но мы над этим работаем 👀

Этот пост не имеет никакого отношения к тому, что Streamlit уже давно часть Snowflake, а я сейчас работаю в Databricks.
#neuralink

"о словам Роба Грейнера (Rob Greiner), который получил мозговой имплант всего неделю назад, он уже научился управлять курсором на экране компьютера и освоил пару компьютерных игр, но рассчитывает на дальнейший быстрый прогресс в этой сфере. Шестой по счёту пациент Neuralink с мозговым имплантом утратил подвижность четырёх конечностей в декабре 2022 года в дорожно-транспортном происшествии.

Грейнер опубликовал в соцсети X два видео, на которых он играет в игры на ноутбуке «силой мысли», и поблагодарил команду компании, врачей и близких за поддержку. Также он отметил, что не использует никаких «вспомогательных технологий», кроме Neuralink.

Напомним, что среди шестерых пациентов Neuralink, переживших операцию по вживлению мозгового импланта, один страдает боковым амиотрофическим склерозом (ALS), что фактически лишает его возможности разговаривать, но при помощи импланта он смог набирать текст на смартфоне и компьютере, который затем удалось преобразовать в речевое сообщение с имитацией его голоса при помощи нейросети.

Кроме того, Neuralink уже испытывает имплант BlindSight, позволяющий вернуть зрение утратившим его людям, но пока на обезьяне, которая недавно, как предполагают авторы эксперимента, смогла увидеть с его помощью синтезированный на компьютере объект. В следующем году Neuralink надеется начать испытания данного импланта на людях. Примечательно, что в эксперименте готова принять участие одна из клиник ОАЭ."

https://3dnews.ru/1124694/shestoy-patsient-s-mozgovim-implantom-neuralink-poluchil-vozmognost-igrat-na-kompyutere