Aspiring Data Science – Telegram
Aspiring Data Science
385 subscribers
465 photos
12 videos
12 files
2.15K links
Заметки экономиста о программировании, прогнозировании и принятии решений, научном методе познания.
Контакт: @fingoldo

I call myself a data scientist because I know just enough math, economics & programming to be dangerous.
Download Telegram
#security

"ИИ создал 10 000 разновидностей кода, который не смогли обнаружить такие средства, как Innocent Until Proven Guilty (IUPG) и PhishingJS. Более того, вредоносный код оказался более естественным и на вид безобидным, чем тот, что модифицировался с помощью стандартного механизма obfuscator.io. При этом способность кода наносить вред после обфускации с помощью ИИ не уменьшилась.

ИИ не оригинален в своих методах запутывания следов. Он использует множество стандартных приёмов: переименование переменных, разделение строк, вставку лишнего кода, удаление ненужных пробелов и даже полное переопределение кода. И так 10 000 раз подряд, что заставляет антивирусное ПО считать новые версии безвредными. Это действительно вызывает тревогу, отмечают исследователи. Однако такой механизм может быть полезен для обучения алгоритмов, способных находить неизвестные ранее модификации вредоносного кода. Усиление атак стимулирует развитие защиты. Один ИИ создаёт вирусы, другой их ловит. Человеку в этой схеме, похоже, остаётся лишь «подносить снаряды» то одной стороне, то другой."

https://3dnews.ru/1115942/ii-moget-generirovat-tisyachi-versiy-vredonosnogo-koda-kotoriy-legko-obmanet-antivirusi
#llm #ai

"DeepSeek V3 была обучена за два месяца в центре обработки данных на ускорителях Nvidia H800 — сейчас их поставки в Китай запрещены американскими санкциями. Стоимость обучения модели, утверждает разработчик, составила $5,5 млн, что значительно ниже расходов OpenAI на те же цели. При этом DeepSeek V3 политически выверена — она отказывается отвечать на вопросы, которые официальный Пекин считает щекотливыми.

В ноябре тот же разработчик представил модель DeepSeek-R1 — аналог «рассуждающей» OpenAI o1. Одним из инвесторов DeepSeek является китайский хедж-фонд High-Flyer Capital Management, который принимает решения с использованием ИИ. В его распоряжении есть несколько собственных кластеров для обучения моделей. Один из последних, по некоторым сведениям, содержит 10 000 ускорителей Nvidia A100, а его стоимость составила 1 млрд юаней ($138 млн). High-Flyer стремится помочь DeepSeek в разработке «сверхразумного» ИИ, который превзойдёт человека."

https://3dnews.ru/1116020/kitayskiy-razrabotchik-predstavil-otkrituyu-iimodel-deepseek-v3-kotoraya-prevzoshla-liderov-rinka
#news #yearsummary

Наверное, надо написать несколько слов о моих "достижениях" в 2024-м году. По сути, их нет. Начал несколько интересных проектов, но ничего не довёл до конца.

Написал несколько статей по ML, для публикации пока недостаточно хороши, скорее всего, пойдут в стол.

Проект с расшифровкой и суммаризацией трейдерских интервью силами LLM остановился на неплохой отметке, но заброшен.

Библиотека отбора признаков на реальных проектах пока себя показывает плохо, а нормального сравнения алгоритмов я так пока и не сделал, так что неясно, почему это происхоит.

Моя будущая супер классная библиотека HPT пока на стадии самого зарождения.

В трейдинге на истории получены перспективные результаты, но в прод ничего не запущено.

Со спортом тоже история слабая, но что-то пытаюсь сделать.

С обучением плохо, ничему системно не обучался.

Надеюсь, в 2025-м смогу работать более сфокусировано, и результаты будут лучше.
5
#noml

Классно расписан подход "от простого к сложному". У меня всегда с этим сложности, хочется сразу сделать круто. А не надо круто, надо для начала "достаточно хорошо".


https://medium.com/@arthurgassner/swiss-energy-forecast-ml-solution-from-the-ground-up-modelling-4-6-4a6093abbadb
👍2
#ai #llms #openai #o3

“Several years,” said the Fields medalist. “Hold my beer,” said the artificial intelligence.

"I’m not sure what to think. The variance in intelligence across tasks is still high or o3 wouldn’t fail a single ARC-AGI task while striding through FrontierMath, but the last bastions resisting the unstoppable advance of AI seem to be falling one by one. "


https://albertoromgar.medium.com/openai-o3-model-is-a-message-from-the-future-update-all-you-think-you-know-about-ai-7cdb3a5df199
#pricing #mabs

Очень понравились статьи этого товарища о применении многоруких бандитов (в т.ч. контекстных) в ценообразовании. Классные симуляции для каждого случая, прямо образец, как нужно тестировать систему принятия решений (да-да, на синтетике).


https://towardsdatascience.com/dynamic-pricing-with-multi-armed-bandit-learning-by-doing-3e4550ed02ac

https://towardsdatascience.com/dynamic-pricing-with-contextual-bandits-learning-by-doing-b88e49f55894
1
#pit #calibration #metrics

Как-то я совсем пропустил эту идею с PIT. Диаграммы рассеяния я постоянно использую, надо бы и PIT графики заценить.

The Probability Integral Transform (PIT) and binned reliability diagrams (e.g., plotting binned probabilities vs. real hit frequencies) are both tools for evaluating the calibration of probabilistic predictions, but they have distinct advantages and limitations:


Advantages of PIT over Binned Probabilities:

Continuous Assessment:

PIT uses the entire predicted distribution for each observation, providing a continuous view of calibration rather than relying on discretized bins.
This avoids issues with arbitrarily choosing bin edges or having too few samples per bin, which can bias binned reliability diagrams.
Higher Resolution:

PIT evaluates the full shape of the calibration, capturing subtle patterns in miscalibration that might be lost in coarse binning.
Better for Continuous Variables:

PIT is particularly advantageous for continuous outcomes (e.g., temperature, stock prices) where using bins can be challenging or lead to overly smoothed results.
Works Naturally for CDF Predictions:

If your model directly predicts cumulative probabilities (e.g., quantile regression or distributional models), PIT aligns naturally with this representation. Binned probabilities may not integrate smoothly with these types of predictions.
Uniform Distribution Diagnostic:

PIT values being uniformly distributed under perfect calibration provide a statistically robust test of calibration, allowing for formal hypothesis testing (e.g., Kolmogorov-Smirnov test or histogram-based goodness-of-fit tests).

Advantages of Binned Probabilities:

Intuitive Visualization:

Binned reliability diagrams are easier for non-experts to understand, as they directly show how predicted probabilities correspond to observed frequencies.
Focused on Predicted Probabilities:

These diagrams emphasize the calibration of specific probability ranges (e.g., "Does a predicted 70% chance event happen 70% of the time?"), which is useful for discrete probabilistic predictions like classification.
Handles Classification Tasks Well:

For binary classification tasks, binned probabilities are more direct and interpretable, especially when dealing with predicted probabilities rather than full distributions.

PS. Попробовал я эти PIT диаграммы, для классификаторов это вообще не подходит (


https://medium.com/@maltetichy/demystifying-the-probability-integral-transform-77b7de3a3af9
#openai #chatgpt #llms

"Анонсированный в конце прошлого года тарифный план ChatGPT Pro стоимостью $200 в месяц оказался слишком популярным, что негативно сказывается на компании. Из-за того, что пользователи используют эту подписку гораздо активнее, чем ожидалось, компания несёт убытки, сообщил генеральный директор OpenAI Сэм Альтман (Sam Altman).

«Я лично выбрал цену, и подумал, что мы заработаем немного денег», — цитирует ресурс TechCrunch сообщение Альтман на платформе X.

Тарифный план ChatGPT Pro включает неограниченный доступ ко всем моделям OpenAI, включая мощнейшую o1 pro — улучшенную версию модели o1, которая выделяется способностью к рассуждению и умением логически решать задачи. Также подписка предоставляет доступ к голосовому режиму Advanced Voice Mode, позволяющему вести беседу, максимально приближенную к человеческой. Для пользователей ChatGPT Plus установлен дневной лимит на использование этих функций, в то время как бесплатные пользователи могут воспользоваться только их ограниченным превью.

OpenAI всё ещё не приносит прибыли, что вызывает сомнения в окупаемости вложений инвесторов, которые составили около $20 млрд. Ранее компания сообщила, что ожидает в 2024 году убытки в размере около $5 млрд при выручке в $3,7 млрд. Это связано со значительными расходами на персонал, аренду офисов и инфраструктуру для обучения ИИ. По сообщениям, только поддержка ChatGPT в определённый момент обходилась OpenAI примерно в $700 тыс. в день."

https://3dnews.ru/1116301/openai-teryaet-dengi-na-podpiske-chatgpt-pro-stoimostyu-200-v-mesyats-izza-eyo-visokoy-populyarnosti
#stocks

Жесть )

"«Если бы вы сказали [что осталось ждать] 15 лет до появления полезных квантовых компьютеров, это, вероятно, было бы преуменьшением. Если бы вы сказали 30 лет, то, вероятно преувеличили бы. Но если бы вы выбрали 20 лет, я думаю, многие из нас поверили бы в это», — заявил Хуанг во время беседы с журналистами, отвечая на вопрос о перспективах дальнейшего роста технологий квантовых вычислений.

На этом фоне акции компаний, связанных с квантовыми вычислениями, обвалились. Так ценные бумаги Rigetti Computing подешевели на 40 %, акции IonQ потеряли в цене 37 %, а D-Wave Quantum — более 30 %. Компания Quantum Computing, которая недавно объявила о размещении акций для привлечения $100 млн, подешевела на 37 %."

https://3dnews.ru/1116474/dgense-huang-schitaet-chto-do-poyavleniya-kvantovogo-kompyutera-eshchyo-1530-let
😁1
#security

Нормально так Бен насадегипурил, молодца.

"Анализируя систему показа рекламы, Садегипур нашёл брешь, которая позволила ему выполнить команду в закрытой части серверной инфраструктуры Facebook, фактически получив над сервером полный контроль.

Как сообщает TechCrunch, уязвимость была связана с одним из серверов, используемых Facebook для создания и показа рекламы. Этот сервер оказался подвержен ранее известной и исправленной ошибке в браузере Chrome, который Facebook использует в своей рекламной системе. Садегипур объяснил, что с помощью облегчённой версии браузера Chrome, запускаемой через терминал, он смог взаимодействовать с внутренними серверами компании и получить доступ к управлению ими в качестве администратора."

https://3dnews.ru/1116529/meta-zaplatila-100-000-nezavisimomu-testirovshchiku-za-obnarugenie-uyazvimosti-v-facebook
#politics #ai #llms

"Джо Байден (Joe Biden) перед уходом с поста намерен ввести дополнительные ограничения на экспорт чипов искусственного интеллекта (ИИ), производимых, в частности, компанией Nvidia. Эти меры направлены на усиление контроля над передовыми технологиями и предотвращение их попадания в руки Китая и ряд других стран, включая Россию. Экспорт обученных ИИ-моделей также будет прекращён."

Получается, могут и онлайн доступ к ИИ нам закрыть?

https://3dnews.ru/1116530/administratsiya-baydena-naposledok-eshchyo-bolshe-ugestochaet-eksportnie-ogranicheniya-na-iichipi
#spacex

"Среди изменений Starship Version 2 значатся:

вакуумная оболочка линий подачи топлива;
новая система подачи топлива вакуумных двигателей Raptor на корабле;
улучшенный модуль авионики с управлением клапанами корабля и чтением датчиков;
переработанные датчики навигации и позиционирования по звёздам;
встроенные умные батареи и блоки питания, распределяющие 2,7 МВт мощности по системам корабля;
число камер на борту корабля выросло до 30.

Система авионики нового поколения потребуется при реализации будущих миссий — она поможет доказать, что Starship можно заправлять на орбите, и что корабль способен возвращаться на стартовую площадку. Starship получил более мощный бортовой компьютер и новые антенны — корабль сможет связаться со спутниками Starlink и GPS, что поможет ему транслировать видео высокой чёткости по каналу шириной 120 Мбит/с и телеметрию. Усовершенствована конструкция обшивки Starship — теперь она включает резервный слой на случай повреждения внешних плиток.

В ходе трёх последних запусков космические корабли благополучно производили посадку в Индийском океане, но при входе в атмосферу от их обшивки отрывались теплопоглощающие плитки, с трудом выдерживая воздействие температур до 1430 °C. Для предстоящего полёта с некоторых участков корабля инженеры вообще сняли плитку, чтобы «испытать на прочность» эти части; они также сгладили и сузили линию края плитки, где керамический теплозащитный экран переходит в обшивку корабля из нержавеющей стали — это должно помочь устранить проблемные «горячие точки», обнаруженные во время входа в атмосферу при последнем испытательном полёте. Будут испытаны несколько обновлённых вариантов плитки, в том числе с активным охлаждением. Наконец, во время спуска Starship будет лететь по более сложной траектории, что поможет выявить структурные ограничения закрылков нового образца в точке максимального давления при входе в атмосферу."

https://3dnews.ru/1116599/dlya-sedmogo-ispitatelnogo-polyota-spacex-podgotovila-bolee-visokuyu-i-tyagyoluyu-versiyu-starship
#wisdom

"A computer should make both
calculations and graphs. Both sorts of
output should be studied; each will
contribute to understanding."

Anscombe (1973)