Aspiring Data Science – Telegram
Aspiring Data Science
385 subscribers
465 photos
12 videos
12 files
2.15K links
Заметки экономиста о программировании, прогнозировании и принятии решений, научном методе познания.
Контакт: @fingoldo

I call myself a data scientist because I know just enough math, economics & programming to be dangerous.
Download Telegram
#pyhon #conda

Хотел потестить сохранение в hdf. Пандас попросил установить через conda pytables. Уже часов 6 конда мне устанавливает. И такое не впервые. Я что-то делаю не так, или оно всегда такое?
#gcp #cloud #tpu #hardware

"Сегодня Google объявила о запуске новой большой языковой модели Gemini. Вместе с ней компания представила свой новый ИИ-ускоритель Cloud TPU v5e (Tensor processing unit — тензорный процессор). Кластер на базе новых TPU состоит из 8960 чипов v5p и оснащён самым быстрым интерконнектом Google — скорость передачи данных может достигать 4800 Гбит/с на чип.

Cloud TPU v5e оснащён 95 Гбайт памяти HBM3 с пропускной способностью 2765 Гбайт/с. Производительность в целочисленных операциях INT8 составляет 918 TOPS (триллионов операций в секунду), тогда как производительность в вычислениях на числах с плавающей запятой BF16 составляет 459 Тфлопс.

Google утверждает, что новые чипы значительно быстрее, чем образец предыдущего поколения TPU v4. Новый Cloud TPU v5p предложит двукратное увеличение производительности в операциях с плавающей запятой (FLOPS) и трёхкратное увеличение объёма памяти с высокой пропускной способностью.

Что интересно, по производительности на доллар v5p слегка проигрывает представленным недавно ускорителям TPU v5e. Однако последние можно собирать в кластеры лишь до 256 чипов, а один чип обеспечит лишь 197 Тфлопс в BF16 против 275 Тфлопс у TPU v4 и 459 Тфлопс у TPU v5p."

https://3dnews.ru/1097088/google-anonsirovala-svoy-samiy-bistriy-uskoritel-iskusstvennogo-intellekta-cloud-v5p
Forwarded from New Yorko Times (Yury Kashnitsky)
Фэйлы на собесах: 2023 edition
#career #interviews

Тут в описании канала говорится, про фэйлы. Так что надо поддерживать темп фэйлов.

Картинка – авторства Бори Зубарева (placement: проверьте его X-LLM для файнтюнинга LLM, вдруг зайдет), которую он мне скинул после поста про неудачные собесы в 2022.

Погнали:

- Uber, Senior Applied Scientist – прошел один собес, сказали, закрыли саму вакансию (и правда, звучало подозрительно, что это синьор без подчиненных);

- eBay, Principal Applied Scientist (Gen AI) – прошел HM, а вот миддл решил меня погонять по своей боевой задаче – всякие bi-encoders, cross-encoders в задаче предсказания ключевых слов для объявлений. Причем копал глубоко. Я в теме про семантический поиск, слежу за проектом коллег, но тут прям реально глубоко... если сам не ковырял, не ответишь. Ну да, и хотел production-опыт RLHF 😳 Удачи! Надеюсь, нашли такого.

- LLM researcher в устоявшийся стартап – команда крутая, много GM-ов, все прошел, услышал много комплиментов, а дальше отмазу, что “мне у них будет не интересно”, расстался с довольно странным ощущением, как будто не знают, что хотят (еще один сильный чел то же самое от них услышал)

- 2 хардкорных HFT-фонда - в одном домашка на дебаггинг PyTorch-кода не зашла, в другом почти идеально решил алгоритмическую задачу, но к концу 4-го часа начал тупить с ML-ной задачей. Денег там, конечно, море, но и work-life balance хромает, и C++… В-общем, тут я сам не дотягиваю.

- наконец, Amazon, да в Амстере, прошел снова всю хурмомятню из 7 собесов. В этот раз, в отличие от 2022 года, до матча с командой не дошло, услышал стандартный минимальный фидбек, что bar raiser-у что-то не понравилось в одном из ответов.

Ну, как Би-2 поет, “Я двигаюсь дальше”, благо текущие задачи очень интересные, да что-то из сторонних проектов тоже заходит. По собесам из “успехов” на данный момент только отклик другого бигтеха на мой холодный заброс резюме, готовимся к еще одной мясорубке из семи собесов.

Жду ехидные комментарии с отсылками к этому посту про менторство. Делаю шаг на опережение: у моих менти дела идут отлично, лучше, чем у меня 🙂 Один менти устроился так, что сам меня собеседовал 😂, второй, мой друг, скоро переезжает в Нидерланды, третий – на финальных этапах с тем же Амазоном, четвертый получил оффер в долине. Еще четверо в процессе. А сапожник пока без сапог, беру откровенностью (а новых менти все равно пока не ищу).

Хороших вам фэйлов, таких чтоб с градиентами. Ну и любая череда фэйлов когла-то заканчивается, чего всем и желаю. Если очень упорно подкидывать монетку, она таки упадет нужной стороной.
Please open Telegram to view this post
VIEW IN TELEGRAM
#china

"В Китае начала работать самая глубокая лаборатория в мире, сообщает информагентство «Синьхуа». Рабочее помещение объёмом 300 тыс. м3 создано на глубине 2400 м под горным массивом Цзиньпин. На такую глубину проникает чрезвычайно мало частиц из космоса, что позволит ставить там уникальные физические эксперименты и даже искать неуловимую тёмную материю."

Я, кажется, знаю, какая страна совершит научный прорыв, а какая скатится в 19 век.

https://3dnews.ru/1097169/v-kitae-nachala-rabotat-samaya-glubokaya-laboratoriya-v-mire-tam-budut-iskat-tyomnuyu-materiyu-i-ne-tolko
1
#openai #salaries

"В OpenAI базовая зарплата начинается с $300 000, а пакет акций на сумму в $2 млн выдаётся за четыре года работы, хотя некоторые сотрудники получают ещё больше. Несмотря на то, что Microsoft согласилась нанять всех сотрудников OpenAI на тех же условиях, это обещание было лишь устным и не имело юридической силы. Один из сотрудников OpenAI выразил сомнения в том, что Microsoft выплатила бы компенсацию за потерянные акции OpenAI."

https://3dnews.ru/1097173/perspektiva-poteri-finansovih-vigod-udergala-sotrudnikov-openai-ot-perehoda-v-microsoft
#timeseries #anomalydetection #nabscore #autoencoders

Странноватое сравнение, либо не так что-то я понял. Но я не верю, что детектор ЛИШЬ на текущих точках (пусть и тысячи сенсоров) может отработать на порядок лучше рекуррентного, который располагает ДОПОЛНИТЕЛЬНО окном данных. И непонятно, почему наличие окна должно как-то снижать оперативность детекции. Закрадывается подозрение, что ряд нарубили неперекрывающимися окнами вместо перекрывающихся, и это искусственно уменьшило скорость реакции и, соответственно, nab score.

https://www.youtube.com/watch?v=B6r20LBrvYw
#gpt #agi #lazyrobot #raiseofmachines

О-оу. Something wicked this way comes.

"В ответ на просьбу предоставить фрагмент кода, он мог просто дать небольшой фрагмент и предложить пользователю доделать остальное самостоятельно. Причём, по словам некоторых пользователей, это делалось самым дерзким образом, например, иногда бот просто заявлял, что они вполне могли бы выполнить всю работу самостоятельно — без обращения к ИИ.

В многочисленных постах на сайте Reddit и сообщениях на форумах разработчиков OpenAI, начавших появляться ещё в конце ноября, пользователи жаловались, что система становится менее полезной.

В OpenAI сообщили, что осведомлены о жалобах на ИИ-бот и отметили, что никаких изменений в модель не вносили. «Мы просмотрели все ваши отзывы о том, что GPT4 становится более ленивым! — написала компания в соцсети X. — Мы не обновляли модель с 11 ноября, и это определённо не намеренно. Поведение модели может быть непредсказуемым, и мы пытаемся это исправить»."

https://3dnews.ru/1097245/openai-rassleduet-galobi-na-to-chto-iibot-chatgpt-oblenilsya
#biology #neuralnetworks

"С помощью стволовых клеток учёные вырастили так называемый органоид мозга — объёмную колонию клеток, повторяющих структуру нейронов и их связей в мозге. Это не первый и наверняка не последний эксперимент с живыми клетками, позаимствованными у человека. Ранее органоид мозга, например, научили игре в «Понг», с чем он успешно справился. В таких исследованиях самым сложным бывает донести информацию до «мозга» и считать её.

Группа профессора Го Фэня из Университета штата Индиана в Блумингтоне (США) предложила достаточно простое решение — они вырастили органоид на высокоплотном массиве электродов. Электроды, а это, по сути, компьютерный интерфейс, вносили данные в клетки «мозга» и считывали результат его последующей активности. Тем самым на практике была реализована такая архитектура спайковой (импульсной) нейросети, как резервуарная. Что происходило в массиве нейронов, учёным было неизвестно, но условно живая модель показала способность к быстрому обучению и расчётам.

Свою нейросеть учёные назвали Brainoware. Система прошла двухдневное обучение на наборе из 240 аудиозаписей речи восьми японских мужчин, произносящих гласные звуки. После этого она смогла распознавать конкретный голос с точностью до 78 %. Также система смогла решать уравнения по отображениям Эно примерно с такой же точностью. На это ушло ещё четыре дня обучения. Более того, решение дифференциальных уравнений проходило с большей точностью, чем в случае искусственной нейронной сети без блока длинной цепи элементов краткосрочной памяти."

https://3dnews.ru/1097341/iz-tkaney-chelovecheskogo-mozga-uchyonie-sozdali-neyronniy-kompyuter-on-reshal-uravneniya-i-raspoznaval-na-sluh-yapontsev
🆒1
#biology #vr

"Технологии виртуальной реальности уже много лет используются исследователями для изучения мозговой активности лабораторных мышей. Раньше для этого грызунов окружали плоскими дисплеями, но с ними не так просто выстроить реалистичное пространство. Теперь же мышей решили перенести в полноценную виртуальную среду, разработав для них VR-гарнитуру — она надевается на мордочку животного и охватывает значительную часть его тела. Шлем виртуальной реальности позволяет моделировать угрозы сверху и помогает непрерывно фиксировать показатели мозговой активности мыши.

Мыши быстрее освоились в новой среде виртуальной реальности, чем в предыдущих установках. Для моделирования угрозы с воздуха, например, нападения хищной птицы, учёные выводят на верхнюю часть дисплеев тёмные пятна. Исследователи уже установили, что реакция грызунов на угрозу является врождённой, а не приобретённой. Учёным удалось зафиксировать образцы мозговой активности в условиях угрозы и описать физические реакции мышей — ускорение или замирание. В перспективе планируется внедрение нового сценария — охоты на насекомых, где мыши будут уже не добычей, а хищниками."

https://3dnews.ru/1097339/uchyonie-razrabotali-vrgarnituru-dlya-mishey-chtobi-izuchat-ih-reaktsiyu-na-hishchnikov
#trading #crypto #dash

Вдруг кому интересно, для клиента развернули временный сервер с предсказанием перспективных для лонга криптомонеток. Моделька простейшая, звёзд с неба не хватает в силу ограниченности фичей и бюджета. Но всё же.

http://176.223.109.114/
👍2
#amd #hardware #rocm

Подробный разбор новых ускорителей от AMD.

Судя по картинке, ROCm совместима с pytorch, onnx, tf. Как-то я всё это пропустил. Кто в этих либах работал на AMD?



https://servernews.ru/1097348
Forwarded from kyrillic
Про выбор места жительства, исходя из личных критериев. В постах я подходил к этому вопросу с разных сторон - и опросы устраивал, и неочевидные методы оценки городов описывал (в 12-ти частях), и приватно комментировал детали ваших кейсов с непубличными подробностями (700+ кейсов). Очень многое в решении о пмж зависит от исходных данных - дохода, состава семьи, предпочтений и т.д.

Дисклеймер: описанное - на основе личного опыта и детального знания ваших кейсов. Речь только про варианты с удаленным доходом, потому что с работой на месте понятно - где возможности, туда и ехать. На каждое утверждение у меня масса аргументов, но это собирательный пост, поэтому если нужны детали, могу в других постах пояснить каждое.

Ниже - топ конкретных мест, куда бы сам поехал в выбранных обстоятельствах, если речь про жизнь на пару лет. ВСЕ СУБЪЕКТИВНО! Есть релевантный пост про идеальный год номадизма.

1️⃣ Главный критерий - доход на человека. Указано на одного, после налогов. На двоих взрослых умножаем на 1.3-1.5, Двое с ребенком - x2-2.5 (в зависимости от возраста).

До $1k/мес: список мест ограничен! Выбрал бы провинции развивающихся стран - 🇹🇷 Турции, 🇰🇭 Камбоджи (и других стран ЮВА). 🇹🇭 Чиангмай наверное один из лучших вариантов, из городов покрупнее. Точно не поехал бы: страны СНГ.

$1-2k/мес: выбор богат! Но моими фаворитами были бы: 🇪🇸 Аликанте и особенно окрестности, 🇮🇩 нетуристический Бали, 🇦🇷 Буэнос Айрес. Точно нет: 🇬🇪 Тбилиси, 🇹🇷 Турция, 🇷🇸 Белград и др.

$2-4k/мес: уровень европейца среднего класса. Поэтому выбрал бы мои любимые 🇪🇸 Барселона, 🇩🇪 Берлин, 🇮🇹 Турин. Точно нет: 🇵🇹 Лиссабон, 🇨🇾 Кипр, 🇪🇸 Валенсия.

$4-6k/мес: в целом почти любой город мира, за исключением самых дорогих вроде 🇺🇸 Нью-Йорка. $6k+/мес: вообще куда угодно!

2️⃣ Эстетика, в широком смысле - от мелочей до архитектуры: если она важна, то человеку почти физически больно жить в каком-нибудь 🇦🇪 Дубае, 🇮🇱 Тель Авиве или 🇹🇭 Паттайе. А например в 🇬🇧 Западном Лондоне даже объявление о потере кота будет набрано с хорошей типографикой - ну кайф просто. Для всех, кому важна эстетика/изысканность, любой выбор кроме Франции и Западного Лондона будет скорее всего компромиссом!

Так что тут конечно 🇫🇷 Париж и города поменьше. Отдельно стоит отметить небольшие города 🇮🇹 Лигурии. В том числе потому, что можно часто ездить во Францию! Второй эшелон, приемлего уровня: 🇪🇸 Барселона, 🇳🇱 Амстердам, вся 🇯🇵 Япония.

3️⃣ Приветливость людей (с поправкой на ru-релокантов): многие невосприимчивы или просто не замечают этот фактор. Но для тех, кто это чувствует, особенно пассивно-агрессивную версию неприветливости, как например в 🇬🇪 Грузии, - тяжело в некоторых местах! Например 🇻🇳 Вьетнам - однозначно худший среди всей ЮВА. Просто кайф в 🇯🇵 Японии и 🇰🇷 Корее, вряд ли есть страны с более вежливыми/приветливыми людьми (не путать с интеграцией в общество!)

4️⃣ Культурный код (я его отделяю от менталитета, пост): близкие для ru-релокантов - 🇷🇸 Белград, 🇬🇷 Греция, 🇨🇾 Кипр. Постсоветские страны не учитываю, потому что считаю их культурный код тем же постсоветским, что и у нас. Если про менталитет, то выбрал бы 🇨🇿 Прагу.

5️⃣ Климат - тут проще, есть объекивные факторы (пост)! Считаю лучшими местами для жизни по этому критерию - 🇺🇸 Калифорнию и юга 🇫🇷 Франции и 🇪🇸 Испании.

6️⃣ В моих рейтингах мало ЛатАма, потому что в контексте ru-релокации считаю эти страны ухудшенной версией 🇪🇸 Испании / 🇵🇹 Португалии, за редким исключением. А например 🇨🇦 Канаду и 🇦🇺 Австралию - плохой версией уклада Северной Европы. Еще можно сказать, что эти страны - "Англия без Лондона", но с нелепыми попытками быть нормальными левыми. А как ими быть без Лондона!

Вообще это хорошо работающая методология для личной оценки мест мира: "то же самое, только хуже". Применяю ее постоянно! В следующих постах напишу подробнее, stay tuned!

@kyrillic
1❤‍🔥1💯1
#fun

Прослезился
4
#intel

Чиво?! Статью переводили Промптом из 2000-х, или руководители Интел реально так думают?

"Отвечая на вопросы представителей NASDAQ, Гелсингер предположил, что доминирование NVIDIA в области обучения нейросетей на базе технологий CUDA не будет длиться вечно. «Вы знаете, вся индустрия мотивирована на ликвидацию рынка CUDA», — сетует Гелсингер. Он привёл в пример таких разработчиков, как MLIR, Google и OpenAI, предположив, что они переходят на «программирование в стиле Pythonic» (без правил), чтобы сделать обучение ИИ более открытым. «Мы считаем ров CUDA неглубоким и небольшим, — продолжил Гелсингер. — Потому что индустрия мотивирована на внедрение более широкого набора технологий для обучения, инноваций, науки о данных и т. д.»

При этом Intel считает, что разработчикам ускорителей вычислений не стоит полагаться только на обучение нейросетей — нужно ещё создавать продукты для работы уже обученных нейросетей (инференса). «Как только вы обучили модель, происходит её вывод... Нет никакой зависимости от CUDA, — продолжает Гелсингер. — Всё дело в том, можете ли вы хорошо запустить эту модель?» Глава Intel предположил, что с представленным вчера ускорителем вычислений Gaudi 3, а также с чипами Xeon и обычными процессорами для пользовательских компьютеров, Intel справится с задачей запуска модели. Не то чтобы Intel не будет конкурировать в области обучения, но «по сути, рынок инференса — это то, где будет проходить игра», считает Гелсингер.

Сандра Ривера (Sandra Rivera), исполнительный вице-президент и генеральный менеджер подразделения Data Center and AI Group в Intel, добавила, что масштабы Intel от центра обработки данных до ПК могут сделать её предпочтительным партнёром для разработчиков ИИ, поскольку она может производить продукцию в больших объёмах."

https://3dnews.ru/1097498/generalniy-direktor-intel-raskritikoval-tehnologiyu-cuda-ot-nvidia