Aspiring Data Science – Telegram
Aspiring Data Science
386 subscribers
465 photos
12 videos
12 files
2.15K links
Заметки экономиста о программировании, прогнозировании и принятии решений, научном методе познания.
Контакт: @fingoldo

I call myself a data scientist because I know just enough math, economics & programming to be dangerous.
Download Telegram
#gpt #poetry

"Fields, three circles scorched by flame,
Radio towers silent, no voice to claim.
What lengths will you go, to stay alive?
What depths will you delve, to survive?
What sacrifices will you contrive?

Light gestures upon bed and frame,
I bind anew, wounds that bear no name,
Elbow strained, resisting the pain.
"The Battle for Pearlwort," a forgotten tale,
Lost to the pages, the stories frail.

What lengths will you go, to stay alive?

My brother's fever, three days aflame,
A trembling spoon, in his hand, a game.
Mother's shoulders quiver, like mist in fall,
Her eyes glisten, tears, like pearls, enthrall.
Embroidered sorrow, etched upon her soul,
Aching heartache, beyond her control.

What lengths will you go, to stay alive?

In countless tales of anguish and strife,
Brother's plea for father, the cries rife,
Breathing labored, in whispers, scarce and weak.
Mother places a plate, her voice does speak,
"Listen, dear Misha," her words impart,
"Our ceiling can't mend, our broken heart.
In the South, perhaps, solace will be found,
Take your father's Saiga, safe and sound.
Pearlwort awaits, and secret refuge we'll share,"
Yet in her falsehood, a desperate snare.

Her voice, a crescendo, filled with dread,
What lengths will you go, to stay ahead?"

оригинал:

"Поля на три круга выжжены.
Молчание радиовышек.
На что ты пойдёшь, чтоб выжить?
На что ты пойдёшь, чтоб выжить?
На что ты готов, чтоб выжить?

Жестит свет кровать и рамы.
По новой бинтую рану,
с трудом разгибая локоть.
«Сражение за перловку»
не станет листами книжек.

На что ты пойдёшь, чтоб выжить?

У брата – жар третьи сутки.
Дрожит в руке ложка супа.
И плечи дрожат у мамы
осенней грядой тумана.
В глазах – бисер слёз.
Как вышивка.

На что ты пойдёшь, чтоб выжить?

Как в сотнях плохих историй
брат папу зовёт и стонет,
дыша тяжело и редко.
Мать ставит на стол тарелку
и шепчет мне:

- Слушай, Миша...

На что ты пойдёшь, чтоб выжить?

- …родной потолок не лечит.
На Юге должно быть легче.
Возьми вон «сайгу» отцову.
Перловка же есть, засовы.
Протянем, -

лжёт.

Голос выше.

На что ты пойдёшь, чтоб выжить?
На что ты пойдёшь, чтоб выжить?
На что ты пойдёшь, чтоб выжить?

К. Вернер"
#poetry #gpt

"At midnight's hour, through vale I strayed,
With another's wife, my path was laid,
In innocence I hoped she'd dwell,
Beneath the moonlit Santiago's spell.

Agreeing lights in district's night,
Faded away, as if taking flight,
Fireflies shimmered, their dance so grand,
As secrets whispered in enchanted land.

Her bosom, drowsy, I gently grazed,
Along the lane, our steps retraced,
Passion bloomed, like jasmine fair,
In the heat of night, a clandestine affair.

Her starched skirt rustled, a melodic sound,
Echoing ears as it brushed the ground,
A silken web, 'neath daggers' glare,
Enveloped secrets we were bound to share.

Within the moonless realm, trees murmured low,
While distant dogs pursued our shadowed glow,
We sought solace by the sleepy thorn,
Where reeds caressed, a clandestine morn.

Her fragrant tresses, like resin's embrace,
In ivory sands, their imprint we trace,
I untied the cravat, a silk so fine,
She shed her attire, a lover's design.

No plum or silk could rival the hue,
Of that cerulean moonlit view,
Her trembling thighs, like captive trout,
Bathed in coolness, then blazed without doubt.

On the finest road, 'til the morning's bird,
We embarked on a journey, fervently stirred,
Like an atlas mare, she carried me free,
Through realms of passion, a clandestine decree.

A man must guard the secrets shared,
Whispered vows in the midnight air,
In grains of sand, in kisses sweet,
She bid farewell as sunrise did greet.

The wind chased us, with trefoil's blade,
As treacherous lilies wilted, betrayed,
In the misty vale, deception's shroud,
She, a married soul, with innocence vowed."

оригинал:

""И в полночь на край долины
увел я жену чужую,
а думал - она невина..

То было ночью Сант-Яго,
и, словно сговору рады,
в округе огни погасли
и замерцали цикады.
Я сонных грудей коснулся,
последний проулок минув,
и жарко они раскрылись
кистями ночных жасминов.

А юбка, шурша крахмалом,
в ушах звенела, дрожала,
как полог тугого шелка
под сталью пяти кинжалов.
Врастая в безлунный сумрак,
ворчали деревья глухо,
и дальнем собачьим лаем
за нами гналась округа...

За ежевикою сонной
у тростникового плеса
я в белый песок впечатал
ее смоляные косы.
Я сдернул шелковый галстук.
Она наряд разбросала.
Я снял ремень с кобурою,
Она - четыре корсажа.
Такой белизны не ведать
шелкам и цветущим сливам;
стеклу под луной не вспыхнуть
таким голубым отливом.

Испуганно бедра бились,
как пойманные форели,
то лунным холодом стыли,
то белым огнем горели.
И лучшей в мире дорогой
до первой утренней птицы
меня этой ночью мчала
атласная кобылица...

Мужчине чужие тайны
рассказывать не пристало.
И я повторять не стану
слова, что она шептала.
В песчинках и поцелуях
она ушла на рассвете.
Кинжалы трефовых лилий
вдогонку рубили ветер.

Я вел себя так, как должно, -
цыган до смертного часа.
Я дал ей ларец на память
и больше не стал встречаться,
запомнив обман той ночи
в туманах речной долины, -
она ведь была замужней,
а мне клялась, что невинна.

Ф. Г. Лорка"
#poetry #gpt

"Clouds shall sail away, beyond our sight,
Melt into the distant blue's fading light,
And so, perchance, we too shall venture free,
Drifting together, into the void, you and me.

Further and further, our souls take flight,
Away from earthly bounds, from mortal plight,
Yet in the depths of my heart, you'll remain,
As it dissolves, love's eternal refrain.

A hand that holds me now, so dear,
Shall turn to a wisp, evanescent and sheer,
"They transformed into clouds," love shall proclaim,
A testament to our journey, adorned with its flame."

оригинал:

"Уплывут облака навсегда
И растают в дали голубой,
Так, быть может, и мы в никуда
День за днём уплываем с тобой.

И всё дальше и дальше плывём,
Улетая навек от земли.
Ты останешься в сердце моём,
Хоть оно и растает вдали.

Станет белою дымкой рука,
Что меня обнимает сейчас.
"Превратились они в облака!"-
Кто-то скажет с любовью о нас.

М. Гуськов"
#poetry #gpt

"Why, heedless coachman, pray thee confess,
Why bring me hither, in such distress?
Austere faces loom, scattered around,
Concealed knives, danger unbound.

And why, upon this once resplendent ride,
Has gilding faded, tarnished with pride,
Now black as soot, devoid of gleam,
While empty words weave a hollow theme?

As slumber claimed me, changes took flight,
Around and within, a shifting sight.
Tell me, coachman, unravel the rhyme,
Of my happy fate, now lost in time.

For I am bound to a playful ballroom soiree,
With fervor and vigor, my spirit at bay,
In joy and mirth, a lively pursuit,
Toward my betrothed, my soul's tribute!

"You, good sir, have forgotten, it seems,
That you've already danced in those gleams,
Through ballrooms, swirling with a noble fair,
Then vanished, like smoke, into the night air.

A sudden duel, in an instant untamed,
A bold officer, marksman acclaimed...
Now I bear you towards a different scheme,
To seek new joys in celestial dream."

"You lie, my servant!" I roared, aghast,
Yet the bullet's truth struck me fast,
"Indeed, you're right, too late, alas,
To find the path back from this vast impasse!"

оригинал:

"Зачем, возница бестолковый,
Завез меня сюда, скажи?
Повсюду здесь народ суровый,
За голенищами ножи.

И почему на экипаже
Вдруг позолоту кто-то стер,
И стал он черным будто сажа,
И мелешь ты какой-то вздор?

Пока я спал, все изменилось,
Вокруг меня, да и со мной.
Скажи, возница, что случилось
С моей счастливою судьбой?

Ведь еду я на бал игривый,
Мне силы распирают грудь,
И я, веселый и счастливый,
Держу к своей невесте путь!

- Вы, барин, верно, позабыли,
Что уже были на балу,
По залам там с княжной кружили,
И с пулей выпали во мглу.

Дуэль случилась в одночасье,
Был меток дерзкий офицер…
Я вас везу другое счастье
Теперь искать средь звездных сфер.

- Ты лжешь, мой раб! - я крикнул грозно.
Но пуля не лгала в груди.
- Ты прав, холоп, мне слишком поздно
Искать обратного пути...

М. Гуськов"
#poetry #gpt #deutsch

"My heart does not beat for the good fairy, no,
I prefer the wicked one, she's got the right flow.
It's worth mentioning, I am no handsome fellow,
Rather frightfully ugly, a visage so mellow.

No woman, no soul, cares for my dreadful face,
But I don't seek pity or hide in disgrace.
The golden plate is reserved for my embrace,
Today I dance with the fairy, a splendid space.

Tomorrow, I'll be the prince of the royal kin,
Born in a golden cradle, arrogance within.
I'll extract the tooth, this plan I've devised,
When I charm her close, by her side I'll reside.

For at the kiss before the wedding's grand stage,
The truth shall be revealed, the true gauge.
Before her, the fool on whom they once bashed,
I, the hopping frog, with secrets stashed.

You might also like to know,
I'll be gone in no time, on the go.
Schandmaul's "Vagabonds," a fitting song,
Captures my spirit, where I belong.

Charming and eloquent, my words so grand,
I'll flatter her narcissistic demand,
Until I win her heart, a charming feat,
Unaware of her impending fate so sweet.

Today I dance with the fairy, divine,
Tomorrow, the king's child shall be mine.
For after the enchantment, here I stand,
As a handsome prince, swift and grand.

The kitchen maid, the true love I've found,
Like me, she too has suffered a profound.
With the wealth of marriage, our currency paid,
We'll escape together, in love's serenade.

The kitchen maid, you might have guessed,
Is my beloved, the wicked fairy, so blessed.
The princess weeps, oh dear, what a sight,
Today I dance with the fairy, with all my might.

Tomorrow, I'll be the prince of the royal kin,
Born in a golden cradle, arrogance within.
For after the enchantment, here I stand,
As a handsome prince, swift and grand."

оригинал:

"Mitnichten schlägt mein Herz der guten Fee, ne
Die Böse ist mir lieber, hat die richtige Idee
Erwähnenswert, dass ich kein Schönling
Eher grässlich hässlich
Drum ist ein aufgeweckter Geist oft unerlässlich
Keine Frau, keine Sau
Niemand interessiert mein schreckliches Gesicht
Doch nicht nach Sack und Asche streb' ich
Der goldene Teller ist für mich

Heute tanz' ich mit der Fee
Morgen mein des Königskind
Denn nach dem Zauber ich hier steh'
Als wunderschöner Prinz geschwind

Sie wurd' geboren in goldener Wiege
Sie ist 'ne arrogante Ziege
Diesen Zahn werde ich ihr ziehen
Wenn ich mich an sie schmiege
Denn beim Kuss vor'm Traualtar wird offenbar
Was wirklich war
Vor ihr dann der Narr, auf den man eindrosch
Ich der Hopp-Frosch
Bin galant, wortgewandt
Umschmeichle ihr narzisstisches Gemüt
Bis ich ihr Herz gewinn'
Charmant, sie ahnt nicht, was ihr blüht

Heute tanz' ich mit der Fee
Morgen mein des Königskind
Denn nach dem Zauber ich hier steh'
Als wunderschöner Prinz geschwind

Die Küchenmagd, die wahre Liebe
Wie auch ich kassiert sie Hiebe
Mit dem Zaster der Vermählung
Zahlen wir in harter Währung
Machen uns auf und davon
Die Küchenmagd, ihr ahnt es schon
Ist meine liebe, böse Fee
Prinzessin weint, oh je

Heute tanz' ich mit der Fee
Morgen mein des Königs Kind
Denn nach dem Zauber ich hier steh'
Als wunderschöner Prinz geschwind."

https://www.youtube.com/watch?v=oO0OFHTOdu8
#poetry #gpt

"Amid laurel's leaves, two doves did mourn,
Their sorrow cast upon me, forlorn.
One was the sun, radiant and bright,
The other, the moon, gentle in night.

To the moon, I inquired, sister dear,
"Where lies my body, buried, I fear?"
"Above my heart," she whispered, so clear,
While the sun spread its wings, no need to veer.

In the distance, a vision did unfold,
Half-buried in earth, a tale untold.
Two snowy doves soared on ethereal wings,
As a maiden walked, unclothed, nature sings.

To them, I posed the question anew,
"Where is my body, hidden from view?"
"Above the heart," the moon softly cried,
While the sun folded its wings, side by side.

Two naked doves in the eagle's shade,
Uniquely entwined, their spirits displayed,
One yet separate, in union they reside,
Not a trace of me left, nowhere to hide."

оригинал:

"Две горлицы в листьях лавра
печалились надо мною.
Одна из них была солнцем,
другая была луною.
Спросил я луну: "Сестрица,
где тело мое зарыли?" -
"Над сердцем моим", - сказала,
а солнце раскрыло крылья.
И я вдалеке увидел,
по пояс в земле шагая,-
две снежных орлицы взмыли,
И девушка шла нагая.
Спросил я у них: "Сестрицы,
где тело мое зарыли?" -
"Над сердцем", - луна сказала,
а солнце сложило крылья.
И я двух нагих голубок
увидел в тени орлиной -
и были одна другою,
и не было ни единой.

Ф.Г. Лорка"
Так, кто узнал произведение? )

"The window grew dim as night drew its breath,
Around the kitchen table, men bantered till death.
Rain pounded the rooftop, an unyielding choir,
While thunder's dread echoed by the river's attire.

Yet within the house, joy danced in the air,
Unaware of the moment, the impending affair.
Some local, the hunter, his slumber disrupted,
Aged and withered, his countenance corrupted.

The storm waned its fury, the rain ceased to pour,
A full moon emerged, its radiance to adore.
In the courtyard, drunk revelers stumbled and played,
Laughter and shouts, sleep's call they betrayed.

But from the shadows, a roar pierced the night,
A door swung on hinges, a chilling sight.
Through the clamor emerged a fearsome beast,
Bounding with fury, its presence unleashed.

With the break of dawn, the roosters sang,
And the pine forest rustled, nature's harp twanged.
In the field by the river, a grisly sight,
Five lifeless bodies lay, bathed in crimson light.

Awakening at home, his mind still in haze,
The hunter saw mirror, lost in a daze.
"Oh, how sweetly I slumbered!" he chuckled with glee,
For the truth of that night, only he could foresee."
🔥3
#trading #erema #tradingpolicy

Допилил бэктестер, выяснилось, что полученной предсказуемости на акциях едва достаточно, чтобы побить комиссию. Но это я построил 1 модель без тюнинга на первом попавшемся таргете, относительно небольшом датасете. Торговая политика тоже была недостаточно проработанной: к примеру, даже если ей подавать истинные вероятности изменения цены вместо прогноза (читерство), торгуя 1 лотом Магнита (~5 т.р.), за день можно заработать чистыми 500р., при этом комиссия брокера составит 300р. Наверняка это можно улучшить. Осознал, что ML и торговую части можно прорабатывать почти независимо, если у моделек сохранять предсказания на всех OOS днях.
❤‍🔥11👍1
#trading #erema #planning

Собрал воедино рой мыслей по поводу дальнейших шагов. Вырисовывается план из 3 фаз. 1ю попробую сделать в течение июля и на домашнем компе. Дальше посмотрим.
❤‍🔥2
Forwarded from Борис опять
#лабораторный_журнал

Как начался ML так сразу стало меньше интересного для постов. ML во время рутины довольно скучная штука: слегка меняешь модели, запускаешь долгие эксперименты, много ждешь и правишь баги.

Последний раз мы запустили в теневом режиме простую бейзлайн модель классификации проблем: CLIP фичи + логрегрессия. С тех пор были обучены несколько ConvNext и тоже запущены в теневом режиме. Все они принесли небольшие инкрементальные изменения.

Последняя модель очень даже ничего, попадает под критерии успешной модели для команды агро. Ждем от фронта отображение предсказаний и посмотрим как она в бою.

Из интересного: я научился красиво делать fusion категориальной информации с фичами изображений. Можно конкатить эмбеддинг к последнему слою перед классификатором, но эффективнее решейпить в BxWxHxC и суммировать с feature map перед последним residual block.

Далее на инкрементальных изменениях много не добьешься, поэтому надо раскачать обстановку. Будем делать большую self-supervised pretrained backbone. Выбирали между SSL и разметкой. Пришли к выводу, что профит от лейблов ограничен и не масштабируется, а self-supervised с нашим объёмом данных может дать настоящий прорыв. К тому же модель на лейблах будет затачиваться под одну задачу, а SSL откроет доступ к разным новым проектам.

Из других новостей: ведем поиск нового ML инженера в мою команду. Сейчас ищем только внутри Португалии (разнарядка сверху), поэтому я сюда даже не постил. Теперь я немного HR: скриню резюме, проверяю тестовые, скоро первые собеседования. Скоро напишу о том, как выглядят воронка и процесс поиска со стороны нанимателя.
#astronomy #lifeorigin #jameswebb

"Анализ спектральных данных, собранных обсерваторией «Джеймс Уэбб», обнаружил невиданные ранее линии спектра. В течение четырёх недель занятые в работе учёные смогли идентифицировать сигналы до определения источника — молекулы метил-катиона (CH3+). Это стало первым подтверждённым обнаружением данного соединения за пределами Земли.

Ещё в 70-х годах прошлого века появилась теория, что для зарождения биологической жизни на Земле и в космосе важным этапом должно стать образование такого соединения углерода, как метил-катион. Это своего рода катализатор или посредник для запуска множества химических реакций, которые в итоге могут привести к образованию соединений, породивших органическую химию. Чтобы подтвердить эту гипотезу метил-катион должен обнаруживаться в космосе, но радиотелескопы не способны его уловить из-за особенностей строения молекулы, а инфракрасные телескопы с Земли банально не работают.

Прорыв произошёл благодаря инфракрасной космической обсерватории «Джеймс Уэбб» с её революционной спектральной и инфракрасной чувствительностью, а также высочайшим на сегодня пространственным разрешением.

Молекула метил-катиона обнаружена в протопланетном диске небольшого красного карлика d203-506 в туманности Ориона. Особенность данного объекта в том, что протопланетный диск подвергается сильной бомбардировке ультрафиолетом от близлежащих молодых и более массивных звёзд. Сам красный карлик на такое не способен. Ультрафиолет, как ни странно для нас это звучит, не разрушает метил-катион, а даёт энергию для запуска процесса его синтеза. Такое, вероятно, происходит на ранних стадиях зарождения органической химии и не вредит ей, а даёт толчок к развитию."

https://3dnews.ru/1089005/dgeyms-uebb-vpervie-obnarugil-vagnuyu-dlya-zarogdeniya-gizni-molekulu-eyo-iskali-bolee-50-let
#pandas #bollocks

Самая раздражающая штука в пандас - реализация проверки на пустой объект. Какой идиот принял такое решение, ломающее совместимость со всем остальным питоном? Постоянно на этом спотыкаюсь.

if features:
File "C:\ProgramData\Anaconda3\lib\site-packages\pandas\core\generic.py", line 1466, in __nonzero__
raise ValueError(
ValueError: The truth value of a DataFrame is ambiguous. Use a.empty, a.bool(), a.item(), a.any() or a.all().

P.S.:
То же самое в np.array, к сожалению
И ещё bool(np.nan)=bool(
pd.NA)=True
🥴2😈2
#trading #deprado

Книжка Де Прадо "Advances in financial machine learning", разобранная на конспекты. Для скорости можно просто листать слайды. У меня ощущение, что во всём мире только Маркос Де Прадо и Эрни Чан знают, как эффективно применять ML в финансах )

https://www.youtube.com/playlist?list=PL_ljXO3JR1NJXt9wD7IrwinYMP8-RCcii
🔥2
#python #codegems

Как передать питоновскому скрипту список в качестве параметра:

parser.add_argument('-l','--list', nargs='+', help='<Required> Set flag', required=True)
# Use like:
# python arg.py -l 1234 2345 3456 4567
#ml #featureselection #featureengineering #mrmr #sulov

Наткнулся на новую библиотечку по созданию и отбору признаков. Гордятся реализацией MRMR (Minimum Redundancy Maximum Relevance) и SULOV (Searching for Uncorrelated List of Variables).

https://github.com/AutoViML/featurewiz
❤‍🔥1👍1