Aspiring Data Science – Telegram
Aspiring Data Science
386 subscribers
465 photos
12 videos
12 files
2.15K links
Заметки экономиста о программировании, прогнозировании и принятии решений, научном методе познания.
Контакт: @fingoldo

I call myself a data scientist because I know just enough math, economics & programming to be dangerous.
Download Telegram
#hardware

"Тот факт, что Micron решила показать свои модули памяти MCRDIMM объёмом 256 Гбайт именно на конференции Nvidia GTC 2024, посвящённой ИИ, может говорить о том, что компания рассматривает этот продукт в качестве решения для ИИ-серверов нового поколения, например, на базе процессоров Intel Xeon Scalable Granite Rapids. Системы на их основе будут использовать огромные объёмы памяти для обучения ИИ-моделей, поэтому указанные модули ОЗУ придутся как нельзя кстати. Сами чипы Intel Xeon Scalable Granite Rapids будут поддерживать 12-канальный режим работы памяти по два модуля на канал. Таким образом, на основе модулей Micron можно будет создавать серверы с 3 Тбайт ОЗУ при использовании 12 слотов памяти и до 6 Тбайт ОЗУ при использовании 24 слотов памяти."

https://3dnews.ru/1102149/micron-pokazala-ogromnie-moduli-ozu-mcrdimm-ddr58800-obyomom-256-gbayt-dlya-serverov
Forwarded from asisakov
Рашифровка аудио с Whisper

Всех приветствую! Возможно, каждый из вас сталкивался с небольшой проблемой, когда хочется сделать транскрибацию часового аудио или видео и перенести все это в текст и не хочется тратить много времени на прослушивание даже на x2 и конспектировании.

К счастью, все придумано уже до нас. Нам остается лишь правильно это применить.
Расчехляем гугл colab и подгружаем GPU.

В первую ячейку вписываем небольшой костыль:

import locale
def getpreferredencoding(do_setlocale = True):
return "UTF-8"
locale.getpreferredencoding = getpreferredencoding


Далее подгружаем Whisper и ставим ffmpeg
!pip install git+https://github.com/openai/whisper.git
!sudo apt update && sudo apt install ffmpeg


В файлы загружаем необходимую для расшифровки аудиодорожку и далее просто запускаем модель
!whisper "audio1891746601.m4a" --model large-v2


После --model мы видим, что в принципе можно применять разные модели. По желанию вы можете даже попробовать версию v3 или применить другие модели, например tiny, base, small, medium. Подробнее тут.

Если вы хотите загрузить аудио из интернетов, то допустим это можно сделать следующим образом (может меняться от кейса к кейсу, поэтому просто погуглите)
!wget -c -A '*.mp3' -r -l 1 -nd http://example.org/musics/


Либо если вы хотите расшифровать это видео, грузим его вот так, а потом снова применяем whisper

pip install yt-dlp
yt-dlp -x --audio-format mp3 -o use_whisper.mp3 -- 8SQV-B83tPU

!whisper "use_whisper.mp3" --model large-v3


Результат расшифровки сохранится у вас в той же папочке.
Несколько минут - и вам не нужно слушать весь текст. А если файл большой, то можно другой сеточкой сделать суммаризацию (ну и вообще это сейчас можно делать прямо в браузере).

Надеюсь, было полезно. Кидайте в коменты модели (с кодом!), которые можно было бы применить для решения этой задачи.
Подробнее тут, тут и тут.

#dl #audio
#hardware

посмотрел цены, полноценная RTX 4090 $2200, 512Gb DDR5 4800MHz $2100, Threadripper 7970X 32-Core, 64-Thread $2500.
за $8k можно гораздо мощнее сервер собрать, чем этот ноутбук, пусть даже и Титан.

старший Threadripper PRO 7995WX 96-Core, 192-Thread без вариантов, $10k стоит один проц, блин.

А есть у кого новый Threadripper/Ryzen? И, кстати, новый Intel 14900? Хочу прогнать один бенчмарк.
😱2
#rl #trading

Посмотрел открытое занятие школы Отус по RL в трейдинге, дай, думаю, гляну, что ж там за библиотека волшебная FinRL. Многое стало понятно после просмотра примеров. Вот они выкладывают линию капитала от применения своего торгового RL агента. И никого не смущает, что просадка блять до 60% счёта доходит. Как и лектора Отус, кстати, который говорит - ну, там фильтров побольше добавить, и будет +.


https://github.com/AI4Finance-Foundation/FinRL/blob/master/examples/FinRL_PortfolioOptimizationEnv_Demo.ipynb
#politics #security

По поводу того, что наши спецслужбы не смогли предотвратить теракт в Крокус-Холле, хотя американцы предупреждали за две недели, что нечто подобное готовится: так а как они могли предотвратить, если они только трусы да дверные ручки ядом мазать обучены? Возможно, они сами и причастны к организации, я особо не удивлюсь, если так окажется. И поймал себя на мысли, что ужасные цифры количества погибших и раненых в теракте после 2 лет необъявленной войны с почти ежедневными сообщения о гражданских жертвах уже не вызывают почти никаких чувств. Очередные цифры, которые стараешься побыстрее забыть и больше не думать про них.
4👎4
#trading #balch #course

Вот хороший ютуб-курс для новичков по питону, пандас, нампай, ML с прицелом на трейдинг и другие финансовые приложения. Лучший, что я знаю. Читает небезызвестный Tucker Balch.

https://www.youtube.com/playlist?list=PLAwxTw4SYaPnIRwl6rad_mYwEk4Gmj7Mx
1
#fun

По фану надо попробовать поставить везде своим жизненным кредом "To overcharge and to underdeliver", несложно догадаться, что получится )
#wisdom

It is better to be roughly right than precisely wrong.
#wisdom

In a market meltdown, nothing rises except correlations.
👍1
Forwarded from Генерал СВР
Дорогие подписчики и гости канала!
Нынешнее российское руководство, под предводительством Секретаря Совета Безопасности РФ Николая Патрушева, пытается извлечь максимум из теракта в Крокус Сити Холле. Во-первых, возвращение "смертной казни" - уже практически решенный вопрос. Придётся пройти ряд процедур, но террористы, осуществившие кровавый расстрел мирного населения, должны быть казнены. Это решение уже обговорено и дано распоряжение готовиться к реализации. Смертную казнь планируют применять не только в отношении террористов, но и за государственную измену, в этом случае, применительная практика грозит обернуться катастрофой. Закручивание гаек - излюбленный метод взаимодействия с обществом нынешней власти в России. Напрасны коментарии аналитиков, что, дескать, возврат смертной казни и, тем более, применение её, в отношении устроивших теракт в Крокус Сити Холле - невозможны. В России возможно всё, стоит только представителям верховной власти захотеть. 


 Нелепые обвинения руководства Украины в подготовее и организации теракта должны стать прологом к новому витку мобилизации. Во время совещания с представителями руководства силового и военного блоков Патрушеву было предложено использовать следующий нарратив: "все мужчины от 18 до 50 лет уроженцы Средней Азии получившие гражданство России в последние пятнадцать лет не прошедшие СВО, будут считаться пособниками террористов". Не имеющие российского гражданства проживающие на территории России граждане Узбекистана, Кыргызстана, Таджикистана и Туркменистана призывного возраста также будут склоняться к участию в СВО с угрозой быть записанным в террористы. Считается, что такие меры будут широко поддержаны населением России.
🤮3🆒1
#english #learning

Недавно читал книжку, выписал ~20 незнакомых слов. Через пару дней просмотрел словарик - 80% из них уже забыл. Эх, а была же идея приложухи на ML, которая будет тебе показывать слова, которые ты скорей всего забыл... Как бы себя заставить её сделать. Там можно б реализовать изучение и семантических связей ( определи, с какими словами связано такое-то слово), и мультиязычности (выбери связанные слова на разных языках). Ну и важно её сделать не раздражающей, чтоб понимала, в какие моменты можно вылезти, а в какие лучше не беспокоить.
#wisdom

"Нет ТЗ - результат ХЗ." Программистская мудрость.
1
Предлагаю вашему вниманию новый набор из 5-и курсов по автоторговле. Объем материала в них настолько большой, что только на то, чтобы собрать все воедино, пришлось потратить почти 4 месяца.

Вводную часть, которая, обычно, занимает минут 20 пришлось рассказывать в 17-и видео более 2-х часов. Зато получилась понятная логическая схема по построению и контролю современной системы автоторговли. От "купи дешевле, продай дороже" до механизмов контроля торговых систем. Убедитесь в этом сами, просмотрев вводную часть (курс) "Автоторговля 2024" бесплатно здесь >>>

По схеме можно сделать систему автоторговли "с нуля" самому. На это потребуется годы, квалификация неплохого разработчика и многолетняя практика трейдинга. А можно пройти мои 5 курсов. Разобраться во всех нюансах на готовом и хорошо документированном коде с моими пояснениями в видеоуроках. Так вы, точно, избежите самых больших ошибок, тупиков и изобретений велосипедов. Вы запустите свою автоматическую торговлю гораздо быстрее.

Курсы напоминают наборы конструкторов Lego. Прямо из коробки по инструкции можно запустить автоторговлю. Можно что-то улучшить или изменить под себя. А можно разобрать все, и собрать свою систему автоторговли.

Эти курсы - не игрушка-забава на вечер. С ними придется повозиться. Но, уверен, у вас все получится. Иначе, зачем вам автоторговля?

Курсы можно приобрести в виде набора (1 большой курс) здесь>>> до 29.03.2024 23:55 МСК. После этой даты существенно повышу цену.
This media is not supported in your browser
VIEW IN TELEGRAM
Немного развлеку вас. В разговорах с сотрудниками биржи и брокеров часто задаю вопрос: "Вы знаете, сколько сейчас средств на всех Ваших брокерских счетах?". Никто не знает. В ответ я нажимаю 1 кнопку, и получаю ответ. Прямо как в этом видео.

Хотите также? Заказывайте набор из 5-и новых курсов по автоторговле здесь >>>
#trading #investing #deposit #buyandhold

Посмотрел текущие ставки депозита. Если положить 1 млн в Сбербанк (под 10% годовых), через 4 года можно забрать примерно 1.5 млн, т.е. 0,5 млн прибыли.
Отматываем 4 года назад, вкладываем этот лям поровну во все акции российского фондового рынка площадки TQBR (на тот момент 243 эмитента).

206 из 243 доживает до сегодняшнего дня с неизменными тикерами. Остальные прекращают обращение на площадке биржи по той или иной причине (слияния, поглощения, смена организационно-правовой формы бизнеса, переход на площадки более низкой капитализации (лень проверять), наверняка иногда банкротство). На самом деле это не происходило резко, и наверняка при некотором контроле можно было относительно плавно по ним закрыться, но для простоты предположим, что это 100% потеря вложений.

Всё равно 206 оставшихся на текущий момент дают 1.7 млн чистой прибыли (37 оказались убыточными, 169 прибыльными). (на самом деле убыточных меньше, я поленился учитывать сплиты.) Это эквивалентно ставке депозита 40% годовых. Так что при наличии свободного времени предпочитайте портфельное инвестирование банковскому депозиту ;-)

А мне интересно, можно ли этот результат улучшить с помощью сами знаете чего. Кстати, недавно один известный опционщик-алготрейдер на вебинаре Алор сказал, что его стратегии приносят в среднем 40% в год. Тогда это показалось большой цифрой, но, получается, он не побивает buy & hold, хотя многое знает и многое перепробовал.

https://www.youtube.com/watch?v=mogjvSST2H0
1