Aspiring Data Science – Telegram
Aspiring Data Science
386 subscribers
465 photos
12 videos
12 files
2.15K links
Заметки экономиста о программировании, прогнозировании и принятии решений, научном методе познания.
Контакт: @fingoldo

I call myself a data scientist because I know just enough math, economics & programming to be dangerous.
Download Telegram
Forwarded from Data notes
RM_DS_position.pdf
87.4 KB
Ищем в наш нигерийский банк DS с уклоном в риск-аналитику.

Задачи - развивать риск-движок, "пополнять" его новыми моделями, интегрировать новые истоники данных и многое другое.
Подойдет тем, кто хочет в перспективе выйти на международный рынок труда, освоить "мировые" облачные технологии (AWS) и при этом работать на удаленке из РФ. Год назад здесь не было буквально ничего, так что работать еще есть над чем, многое предстоит сделать с нуля.
Точно не подойдет, если вы привыкли, что все данные разложены по полочкам, все процессы выстроены и каждый занимается только своими задачами. Плюс много общения с нигерийцами, что требует много усилий и терпения.

Писать в личку.
#chemistry #nobelprize

"Шведская королевская академия наук разделила Нобелевскую премию по химии за 2024 год между Дэвидом Бейкером (David Baker) из Университета Вашингтона и Демисом Хассабисом (Demis Hassabis) и Джоном Джампером (John Jumper) из Google Deep Mind за создание машинных алгоритмов по предсказанию структуры белков. Поскольку оба достижения направлены на изучение белков — кирпичиков биологической жизни на Земле — эта работа учёных бесценна.

Демис Хассабис и Джон Джампер с коллегами из Deep Mind представили платформу AlphaFold широкой общественности в 2018 году. С тех пор вышло несколько версий программы вплоть до третьей в мае этого года. До появления AlphaFold биологи и химики фактически вручную прогнозировали объёмные структуры белков. Все они состоят примерно из двух десятков аминокислот. В зависимости от последовательностей соединений итоговый белок примет в пространстве ту или иную уникальную конфигурацию.

Белок будет полезным, если его форма подойдёт как ключ к замку к тому или иному соединению, живой клетке или её элементу. Тогда он сможет присоединиться и прореагировать. Это позволяет открывать новые лекарства, ферменты и многое другое в биологии и химии. Но предсказать 3D-форму новых белков среди сотен миллионов вариантов — это непосильная для человеческого ума задача. Программа AlphaFold играючи предсказала пространственную форму всех уже известных науке 200 млн белков и готова предсказывать форму не существующих в природе соединения аминокислот.

Дэвид Бейкер делал эту работу за многие годы до появления AlphaFold. Он создал абсолютно новый и ни на что не похожий белок ещё в 2003 году, чем также заслужил признание со стороны Комитета нобелевской премии. В этом году награда нашла героев."

https://3dnews.ru/1112209/nobelevskuyu-premiyu-po-himii-razdelili-uchyoniy-po-sintezu-nevozmognih-belkov-i-sozdateli-neyroseti-dlya-predskazaniya-strukturi-belkov
👍2
#lmul #transformers #floats

"Новый метод может сократить использование энергии вплоть до 95 %. Команда называет своё открытие «Умножением линейной сложности» (Linear-Complexity Multiplication) или сокращённо L-Mul. Как пишет TechSpot, этот вычислительный процесс основан на сложении целых чисел и требует значительно меньше энергии и операций по сравнению с умножением чисел с плавающей запятой, которое широко применяется в задачах, связанных с ИИ.

На сегодняшний день числа с плавающей запятой активно используются в ИИ для обработки очень больших или очень малых чисел. Они напоминают запись в бинарной форме, что позволяет алгоритмам точно выполнять сложные вычисления. Однако такая точность требует крайне больших ресурсов и уже вызывает определённые опасения, так как некоторым ИИ-моделям нужны огромные объёмы электроэнергии. Например, для работы ChatGPT требуется столько электроэнергии, сколько потребляют 18 000 домохозяйств в США — 564 МВт·ч ежедневно. По оценкам аналитиков из Кембриджского центра альтернативных финансов, к 2027 году ИИ-индустрия может потреблять от 85 до 134 ТВт·ч ежегодно.

Алгоритм L-Mul решает эту проблему за счёт замены сложных операций умножения с плавающей запятой на более простые сложения целых чисел. В ходе тестирования ИИ-модели сохранили точность, при этом энергопотребление для операций с тензорами сократилось на 95 %, а для скалярных операций на 80 %.

L-Mul также улучшает и производительность. Оказалось, что алгоритм превосходит текущие стандарты вычислений с 8-битной точностью, обеспечивая более высокую точность с меньшим количеством операций на уровне битов. В ходе тестов, охватывающих различные задачи ИИ, включая обработку естественного языка и машинное зрение, снижение производительности составило всего 0,07 %, что специалисты сочли незначительной потерей на фоне огромной экономии энергии.

При этом модели на основе трансформеров, такие как GPT, могут получить наибольшую выгоду от использования L-Mul, поскольку алгоритм легко интегрируется во все ключевые компоненты этих систем. А тесты на популярных моделях ИИ, таких как Llama и Mistral, показали даже улучшение точности в некоторых задачах."
https://3dnews.ru/1112241/noviy-algoritm-lmul-pomoget-snizit-energopotreblenie-ii-na-95-no-nvidia-eto-ne-ponravitsya
#sports #tennis #cv

"Всеанглийский клуб лаун-тенниса и крокета объявил о революционных изменениях в судействе старейшего теннисного турнира серии Большого шлема — Уимблдона. По сообщению AP News, с 2025 года на Уимблдоне будет использоваться искусственный интеллект для вынесения решений об аутах и ошибках подачи. Линейных судей, которые прежде отвечали за фиксацию этих событий, поблагодарили за значительный вклад и преданную службу."

https://3dnews.ru/1112240/uimbldon-zamenit-v-2025-godu-lineynih-sudey-na-iskusstvenniy-intellekt
#stocks #nvidia

Шо, опять вставать в лонг по ним?!

"За последний месяц акции Nvidia выросли на 25 % и приблизились к рекордным значениям. Это произошло на фоне ожиданий инвесторами отчётности крупнейших технологических компаний, таких как Meta, Microsoft и Alphabet, которые вскоре расскажут о своём развитии в области ИИ. Эти данные могут оказать значительное влияние на позиции Nvidia, учитывая её ключевую роль на рынке графических процессоров (GPU), применяемых для обучения и работы ИИ."

https://3dnews.ru/1112255/aktsii-nvidia-vzleteli-na-25-pered-otchyotnostyu-krupnih-tehnologicheskih-gigantov
#physics #dune #neutrino

Вот за подобные экспериментальные работы нужно давать нобелевки по физике, а не за абстрактный матаппарат нейросетей, при всём уважении.

"Чуть больше месяца назад завершились масштабные земляные работы, в ходе которых было извлечено 800 тыс. тонн породы. На очереди подготовка помещений к развёртыванию оборудования, на что уйдут годы.

Эксперимент Deep Underground Neutrino Experiment (DUNE) будет включать два детектора нейтрино: ближний и дальний. База между источником мюонных нейтрино в Фермилаб и дальним детектором составит 1300 км. Ближний детектор будет размещён недалеко от источника, а дальний — в Южной Дакоте под Сэнфордской лабораторией. В августе рабочие закончили извлекать грунт под Сэнфордской лабораторией, создав, в том числе под землёй пространство для детектора высотой с 7-этажный дом.

Впечатляющий объём грунта между лабораторным источником нейтрино и дальним детектором, а также специальные камеры для них, содержащие по 17 тыс. т жидкого аргона, нужны для отсеивания нейтрино из других источников (космические и, особенно, солнечные), а также для фильтрации иных элементарных частиц. Нейтрино очень слабо взаимодействуют с веществом. Им нужны хорошие фильтры и особые детекторы. Например, чтобы повысить вероятность столкновения нейтрино с веществом до 50 % необходимо направить его сквозь сплошную стену свинца толщиной в один световой год. "


https://3dnews.ru/1112261/v-ssha-otrili-gigantskie-podzemnie-tonneli-dlya-novogo-pokoleniya-eksperimentov-s-neytrino
🔥2
#asr #nlp #finetuning #t5

Лектор обалденный. Чистое золото!

Сколько он техник применил для решения реальной задачи, просто жесть. Могу подтвердить, что так всё на практике и бывает, всплывает много мелких проблем, каждую из которых приходится решать творчески.
Я не знал, что моделька t5 так хороша, в эпоху больших-то моделей.

https://youtu.be/blE2Dm9SORE?si=LzGeMhrApdLkqq1R
Practitioners guide to MLOps: A framework for continuous delivery and automation of machine learning by Google Cloud

Across industries, DevOps and DataOps have been widely adopted as methodologies to improve quality and reduce the time to market of software engineering and data engineering initiatives. With the rapid growth in machine learning (ML) systems, similar approaches need to be developed in the context of ML engineering, which handle the unique complexities of the practical applications of ML. This is the domain of MLOps. MLOps is a set of standardized processes and technology capabilities for building, deploying, and operationalizing ML systems rapidly and reliably.

The document is in two parts. The first part, an overview of the MLOps lifecycle, is for all readers. It introduces MLOps processes and capabilities and why they’re important for successful adoption of ML-based systems.

The second part is a deep dive on the MLOps processes and capabilities. This part is for readers who want to understand the concrete details of tasks like running a continuous training pipeline, deploying a model, and monitoring predictive performance of an ML model.

Link: Book

Navigational hashtags: #armknowledgesharing #armbooks
General hashtags: #mlops
#fun #bobr

Bobr kurwa! Это видео "сделало мой день" )

Ночь, встретил бобра
В тиши, на дороге пустой.
Он
вдруг заметил меня
И стал
удивленный такой.

Его к речке я захотел прогнать
И кричал ему, чтобы напугать:

Pierwszy raz w życiu widzę bobra!
Ale jesteś, kurwa, duży ty!
Pierdolę, ja patrzcie co spotkałem!
Jakie bydlę, bobr kurwa!

"Впервые в жизни вижу бобра!
Ты такой, блин, здоровый!
Офигеть, посмотрите, кого я встретил!
Какое животное, бобр, черт возьми!" (польск.)


https://www.youtube.com/watch?v=-RTVlPINyQ8
#spacex #starship

Обалденные результаты, 1-ю ступень успешно поймали. Теперь она официально пригодна для многократного использования.
Пока диктаторские режимы, ведомые людьми с сознанием питекантропа, воюют с соседями, пытаясь захватить их территории, продвинутые режимы делают шаги к колонизации других планет и открытию тайн Вселенной.

https://www.youtube.com/watch?v=CiJ7MBRc5ec
👍1
#security #auth #telegram

Возможно, просто решил отбить судебный штраф ))
Шучу, конечно, на самом деле инициатива отличная.

"Павел Дуров представил новый инструмент для бизнеса под названием Telegram Gateway, который позволит компаниям верифицировать номера телефонов своих пользователей по самой низкой на сегодня цене — всего $0,01 за одно сообщение с кодом подтверждения, независимо от страны.

Индустрия проверки номеров телефонов — это рынок с оборотом в миллиарды долларов. Telegram, который тратит около $10 миллионов ежемесячно на аутентификацию пользователей, предлагает компаниям избежать этих затрат, гарантируя мгновенную доставку, в отличие от СМС-сообщений, ожидание которых может составлять несколько минут.

Компании получат доступ к подробной статистике, с помощью которой можно отслеживать объём сообщений и управлять бюджетом, а также анализировать конверсии и рост числа пользователей.

Как отмечает Дуров, Telegram Gateway не станет существенным источником дохода мессенджера, однако «эта инициатива сделает мир более эффективным, снизив издержки и цены на эти услуги по всему миру». Что касается безопасности, то здесь предлагается проверенный протокол шифрования с открытым исходным кодом, который, в отличие от SMS, невозможно подделать или подменить с помощью SIM-карты."

https://3dnews.ru/1112453/telegram-zapustil-dlya-kompaniy-uslugu-sverhdeshyovoy-verifikatsii-telefonov-klientov-za-1-tsent
#security

"Собеседник представился и сообщил, что на аккаунте зафиксирована подозрительная активность и спросил, не находится ли Митрович в поездке? После отрицательного ответа задал ещё пару уточняющих вопросов. В процессе разговора сотрудник Microsoft решил проверить номер, используя данные Google. К его удивлению, официальная документация Google подтвердила, что некоторые звонки действительно могут поступать из Австралии, при этом номер казался подлинным. Однако, зная о возможной подмене номеров, Митрович продолжил проверку, попросив звонившего отправить ему электронное письмо.

Тот согласился. При этом на линии во время ожидания были слышны звуки клавиатуры и шумы, характерные для колл-центра, что не должно было вызвать сомнений в подлинности разговора. Однако всё раскрылось в тот момент, когда звонивший повторил «Алло» несколько раз. Митрович понял, что разговаривает с ИИ, так как «произношение и паузы были слишком идеальными».

Бросив трубку, он попытался перезвонить на номер, однако услышал автоматическое сообщение: «Это Google Maps, мы не можем принять ваш звонок». Далее он проверил активность входа в свой аккаунт Gmail (это можно сделать, нажав на фото профиля в правом верхнем углу, выбрав «Управление аккаунтом Google», затем перейдя в раздел «Безопасность» и проверив «Недавнюю активность безопасности»). Все входы в систему, к счастью, оказались его собственными.

Далее Митрович изучил заголовки полученного письма и обнаружил, что мошенник подделал адрес отправителя с помощью системы Salesforce CRM, которая позволяет пользователям устанавливать любой адрес и отправлять письма через серверы Google Gmail. Итог истории в том, что мошенники с помощью ИИ и поддельного Email могут быть настолько убедительны в своих действиях, что даже опытные пользователи могут быть подвергнуты обману. С учётом технологических реалий сегодняшнего дня, единственной защитой является бдительность."

https://3dnews.ru/1112460/noviy-vid-moshennichestva-s-ispolzovaniem-ii-natselen-na-zahvat-millionov-akkauntov-gmail
#religion

Обычно в диспуте учёного-атеиста и служителя церкви-верующего бледно выглядит именно верующий. Отсутствие логики, непримиримость к чужому мнению, иногда даже агрессия.
Даже был забавный коммент, мол, это как играть с голубем в шахматы, батюшка и фигуры смахивал, и на доску срал.

Но в данном случае, к сожалению, всё наоборот. Да еще у уважаемого антрополога не хватает банальной воспитанности не перебивать собеседника и постараться понять его слова (

https://www.youtube.com/watch?v=X9HhjOynhvQ
#astronomy #clipper #europe #lifesearch

Ура!

"Станция Europa Clipper стала самым крупным межпланетным зондом в истории NASA. Её масса в заправленном состоянии приближается к 6 тоннам (5900 кг). Почти половину массы станции приходится на топливо. Но даже вооружённая 24 двигателями станция совершит два гравитационных манёвра, чтобы прибыть к месту назначения: один через четыре месяца будет совершён у Марса, а в 2026 году станция произведёт манёвр у Земли. К Юпитеру Europa Clipper доберётся в апреле 2030 года, а к научной работе приступит примерно год спустя, когда её орбита будет установлена для близких пролётов с его спутником — Европой.

Европа — один из четырёх крупнейших спутников Юпитера. Но это небесное тело, по размеру сопоставимое с нашей Луной, особенное. По ряду признаков, под ледяной бронёй на её поверхности может скрываться тёплый и солёный глобальный океан с объёмом воды больше, чем во всех земных океанах вместе взятых. Такое сочетание делает Европу потенциально пригодной для зарождения той биологической жизни, которую мы знаем по нашей родной планете. Поиски признаков такой жизни станут главной целью миссии.

В тусклом свете Солнца на орбите Юпитера энергию для питания бортовых приборов станции будут собирать две огромные пятисегментные солнечные батареи: их размах достигает 30 метров. Научное оборудование состоит из девяти приборов: оптические и инфракрасные камеры, инфракрасный спектрометр, ультрафиолетовый спектрограф, магнитометр, подповерхностный радар, прибор для исследования ионосферы (плазмы), масс-спектрометр, датчик пыли и отдельный прибор для исследования гравитационного поля Европы.

Научная миссия по изучению Европы рассчитана на чуть больше чем сто дней с возможностью продления. Станция совершит 49 близких пролётов рядом со спутником, собирая информацию о разломах, выбросах вещества из гейзеров и изучая её ледяной щит толщиной от 20 до 50 км. Максимальное сближение с Европой составит 25 км, что позволит собрать наиболее полные данные не только о внешних оболочках спутника, но также о его внутренней структуре."

https://3dnews.ru/1112471/raketa-spacex-falcon-heavy-otpravila-megplanetnuyu-stantsiyu-nasa-europa-clipper-na-poiski-gizni-v-glubinah-podlyodnogo-okeana-evropi