#nvidia

"Ценные бумаги компании на прошлой неделе резко пошли в рост после квартального финансового отчёта, ключевые показатели которого оказались выше прогнозов аналитиков. Подорожали акции и других производителей чипов, досадным исключением стала лишь Intel. Примечательно, что во II квартале 2024 финансового года NVIDIA прогнозирует продажи на уровне $11 млрд — это на 50 % выше, чем прогнозируемые аналитиками $7,15 млрд."

https://3dnews.ru/1087606/kapitalizatsiya-nvidia-previsila-1-trillion

"You must dedicate at least a year to something before you see big results."

https://medium.com/the-post-grad-survival-guide/your-dreams-will-need-5x-more-time-than-you-think-and-thats-good-984e51549e23

#trading #fun

#gpt #alice

"YandexGPT встроена в виртуального помощника — в «Алису» и активируется по запросу «Алиса, давай придумаем». ИИ-модель запоминает реплики и отвечает на уточняющие вопросы. Это позволяет общаться с ней, как с человеком, который следит за нитью разговора.

По словам разработчиков, включение в YandexGPT поддержки контекста потребовало решения ряда технически сложных задач. «Нужно было научить нейросеть понимать, когда следует учитывать предыдущие реплики, а когда нет. Для этого её дообучили на эталонных примерах обезличенных диалогов. Менее чем за три недели пользователи задали «Алисе» десятки тысяч вопросов, требующих контекстного ответа, а AI-тренеры научили модель давать на такие запросы максимально релевантный ответ. Также были использованы диалоги из Open Source датасета Open Assistant», — поясняют специалисты компании.

YandexGPT была представлена широкой публике 17 мая 2023 года. Языковая ИИ-модель нового поколения доступна в «Яндекс.Браузере», мобильном приложении «Яндекса», в линейке умных колонок и телевизоров компании, а также на главной странице «Яндекса» (ya.ru). В планах разработчика — обучение нейросети новым знаниям и её внедрение в другие сервисы и продукты компании, прежде всего в поиск."

https://3dnews.ru/1087897/neyroset-yandexgpt-nauchilas-poddergivat-kontekst-besedi

#tesla

"Версия Model S Plaid с так называемым пакетом «Track Package» смогла обновить рекорд Нюрбургринга для серийно выпускаемого электромобиля, пройдя «северную петлю» за 7 минут 25,231 секунды. Тем самым, Porsche с предыдущим результатом оказалась на втором месте и проиграла около 8 секунд. Напомним, что опциональный пакет, который был установлен на Tesla Model S Plaid, участвовавшую в заезде, включает керамические элементы тормозных механизмов и особые диски с шинами, которые в совокупности стоят $20 000 и будут доступны всем желающим. Опция также подразумевает использование специальной прошивки, которая открывает доступ к скоростям до 322 км/ч, плюс наличие тормозной жидкости, приспособленной для эффективной работы в условиях гоночной трассы. Установить комплект можно на все седаны Tesla Model S, выпущенные после 2021 года включительно."

https://3dnews.ru/1087883/tesla-model-s-plaid-udalos-uluchshit-rekord-porsche-na-koltse-nyurburgringa-na-vosem-sekund

#hardware #intel

"Intel заявила, что её перспективная технология, названная PowerVia, обеспечивает 6-процентный прирост частоты на тестовых чипах уже сейчас. Также на 30 % уменьшается падение напряжения и снижаются рабочие температуры. Кроме того, благодаря вынесению питания на другую сторону чипа, разработчики получают возможность проектировать более плотные микросхемы.

В Arrow Lake, преемнике процессора Meteor Lake, который выйдет в 2024 году, Intel отделит линии напряжения от сигнальных линий, перенеся их на противоположную сторону чипа. Именно это решение Intel и называет именем PowerVia. «PowerVia это революционное изменение для межсоединений на кристалле, которое улучшает мощность, производительность, площадь и стоимость, то есть все важные параметры транзисторного дизайна», — сказал Бен Селл (Ben Sell), вице-президент Intel, работавший над технологией."

https://3dnews.ru/1087917/intel-povisit-chastoti-protsessorov-arrow-lake-za-schyot-tehnologii-powervia-eyo-uspeshno-proverili

#business

Мне кажется, с финансированием в $1M я бы мог сделать несколько успешных стартапов, нанимая разработчиков. Так много хороших идей и так мало времени. Ни у кого нет лишнего ляма? Что характерно, несколько месяцев тому я написал письмо с подобным содержанием 5 моим лучшим клиентам, мол, не хотят ли проинвестировать в такое? Ни один не ответил. ) В сотрудничество/партнёрство я уже не верю, так как все "слишком заняты", чтобы начать работать и что-то полезное сделать. Только найм, или своими силами.

#circleoflife #fun #jobs

#astronomy #lifeorigin #jameswebb

"Спектральные приборы «Уэбба» позволили выделить в свете галактики SPT0418-47 сложные органические молекулы, которые на Земле обычно находятся в нефти. Обнаружить подобное в открытом космосе всего через 1,5 млрд лет после Большого взрыва — это было удивительно. Это указывает на то, что химические преобразования во Вселенной шли гораздо быстрее, чем это себе представляла земная наука. На тот момент Вселенная прошла только 10 % своего развития, а органики там не меньше чем в нашей галактике. Подобные вещества должны были быть в ней в следовых количествах и недоступны для определения земными приборами."

https://3dnews.ru/1087960/dgeyms-uebb-obnarugil-slognuyu-organiku-v-dalyokoy-galaktike-v-period-detstva-vselennoy

Исследования MIT, о том как изменяется производительность труда с и без LLM.

А пока мы тут трындим за хайп и LLM. Ребята из MIT проделали мега соц.эксперимент. Они заперли 444 белых воротничка в офисе и заставили их делать ту же работу с и без ChatGPT.

Те лошадки, что были под допингом ChatGPT. Справились с работой на 37% быстрее, при той же оценке качества результата. Кстати, для этого они придумали специальную, репрезентативную систему оценки и выбрали экспертов. Пахать нужно было по 20-30 мин, в рамках типичных для этих людей задач. Но в целом ни одна "лошадка" не пострадала.

Далее, господа погонщики из MIT провели эксперимент по динамике роста качества, оно естественно, чем больше люди осваивались с ChatGPT росло. Потом ещё и попросили ребяток сделать за фиксированное время как можно больше задач. И снова ставка сыграла в бегах на лошадках с майками ChatGPT.

Ну и на последок. Так сказать для закрепления результатов. Подопытные повторили свою работу ещё разок. Повторенье мать ученья! В итоге, double elimination подтвердил всё указанное выше.

Далее, в статье указан предполагаемый экономический эффект. Анализируется мотивация участников эксперимента, запрашивается обратная связь.

По обратной связи:

Команда также спросила людей, “для чего они использовали ChatGPT”, и выяснила следующее. LLM сокращает время мозгового штурма, значительно сокращает время создания черновика, но затем проактивно используется в процессе окончательного редактирования.
Другими словами, это система, которая значительно ускоряет “первый набросок” и “первоначальные выводы” части работы, которые затем будут использоваться чуть более интенсивно для итогового эскиза. И это становится еще лучше. Когда они спросили респондентов, как они сами оценивают свои навыки письма, оказалось, что “готовность платить” и “полученная ценность” почти идентичны у “плохих писателей” и “хороших писателей”. Другими словами, ChatGPT помогает “плохим писателям” становиться хорошими, а “хорошим писателям” продвигаться быстрее и, возможно, становиться лучше! - Это что получается, что для кожаных мешков ChatGPT, как RETRO или Retrieval augmented для LLM!? 😜

Материальный вопрос:

На мой взгляд следующая мякотка вот тут. Респонденты, использовавшие ChatGPT, сообщили исследователям, что они готовы платить ежемесячную плату в размере 0,5% от своей зарплаты за доступ к этому инструменту! Для работника, зарабатывающего 100 000 долларов в год, это эквивалентно почти 500 долларам в год за пользование этой системой.

Выводы:
Воротнички, что не хотят оседлать прогресс и раскошелиться на api'шечку, рискуют утратить свою конкурентоспособность, проиграв в продуктивности на треть. 😱

Всем желаю быть в ресурсе и осваивать новые технологии!

#ml #slicediscovery

Насчёт "программируемых датасетов" показалось бредом, экспертные эвристики должны по итогам беседы с DS идти в признаки, а не заменять экспертную разметку. Confident learning неизбежно, coreset selection интересно. Slice discovery - не знал, что оно так называется. А кто знает, чем выбросы "отличаются" от аномалий? ))

https://www.youtube.com/watch?v=xR5mLxwNFR0

#tarantool #языкэзопа

Доклад интересен тем, что вместо тарантула на слайды можно подставить практически любую СУБД или те же redis/memcached. Бизнеса такие бизнеса...

https://www.youtube.com/watch?v=pObC9y-8dLI

#advicewanted

Как назвать проект по торговле роботом на бирже? ) Пишите варианты в комментах.

https://www.youtube.com/watch?v=4x5YDCj-wiE

#trading #openinterest

Лучшее объяснение концепции открытого интереса.

https://www.youtube.com/watch?v=3yGva6ECoRA

#ml #featureselection #featureimportance

Интересный доклад
Ben Fowler: Traditional & Novel Feature Selection Approaches | PyData LA 2019

Упомянули пару инструментов, которыми я еще не пользовался

1 https://github.com/abhayspawar/featexp - визуализация, вроде dependency plots

2 https://github.com/limexp/xgbfir - нахождение двух- и трех-признаковых интеракций для xgboost-а (должно быть полезно)

Сказал, что weight of evidence - стандартная фича в риск менеджменте, тоже ее не пробовал.

В конце он сравнивает отбор фичей по стандартному бустинговому gain-у, по shap-у, но на единственном датасете, для задачи классификации. Поэтому неизвестно, насколько подход обобщается (хотя он добавил, что и на работе его применял). В целом здраво повествует.

#music #daskollektivnet #deutsch

Веками (ну уж декадами точно) философские вопросы AI интересовали людей. Не остались в строне и музыканты электро-синти-поп направления DasKollektiv.net )

"Ist mein Denken selbstgerecht,
Wenn Du mich am Leben lässt?
Wenn ich sage: ich war Der, der gab dir das Elexier
Dass Dich glauben lässt, du seist wertvoll und ein kluger Geist...
Ich bin Gott, der Leben schafft - oder treibt mich tiefster Hass?"

https://www.youtube.com/watch?v=mMAZdBFNGZI

#selfdriving

Первые испытания роботакси «Яндекс» провёл в 2018 году в Иннополисе, после чего они были перенесены в Москву. За прошедшее время беспилотные машины «Яндекса» наездили 24 млн км, а жители Иннополиса заказали более 60 тыс. поездок. Публичное тестирование роботакси станет новым этапом в развитии технологии беспилотной навигации."

https://3dnews.ru/1088043/v-moskve-poyavilis-robotaksi-ot-yandeksa

Прочитал неплохую статью про новую систему левелов в Shopify - Inside Shopify's Leveling Split: Exclusive

Если кратко - и что видно на картинке превью, добавили еще одну ось - Mastery
Например ты можешь быть Staff Engineer и быть крутым на этом уровне и дальше перед тобой стоит выбор, идти на уровень выше, но тогда ты там уже не крутой, а просто обычный типан или расти и становиться гуру, но на своем уровне.

Идея интересная и разумная, потому что действительно, есть ряд людей, которых вроде как и повысить можно, а вроде как и не нужно. Ведь тогда вместо пользы в виде своей глубокой экспертизы на текущем уровне, они вынуждены будут становиться клеем для абстракции более высокого уровня, а нужны и те и те. Поэтому хочется им денег накинуть, а как это сделать без промо, не всегда понятно - поэтому и повышают бедолаг. Теперь можно повышать по деньгам, но не по уровню, за мастерство.

Тонко - интересно будет посмотреть - основную сложность вижу в еще одной калибровке, теперь по мастерству - а калибровка это всегда большой оверхэд

Из интересного - в компании появляются волшебники (впрочем в какой большой компании их нет?)

The concept of “wizards” is interesting. Mastery scores do not stop at 50; individuals can be assigned a mastery score that exceeds 50. Getting a score above this level makes someone a “wizard,” and needs exceptional justification. The general expectation is that wizards will be incredibly rare.

Остальное по мелочи - подрезали менеджеров (кто же против?) и рассказывают про компенсацию ( у шопифай интересная тема - что можно самому выбирать сколько стоков и сколько кэша получать - менять пропорцию в рамках своего компа)

В целом - интересно

#business #opticloud

А между тем, наконец-то полностью организован сбор ценовых данных и оценок доступности для AWS. Потрачен месяц вместо недели.
Работаю над API. Напоминаю, основная цель сервиса - быстро найти самые дешёвые сервера для облачных вычислений в достаточном количестве.

Раздумываю, как этим сервисом будут пользоваться вообще. Вот взять ML. Обычно мои задачи сводились к поиску серверов с достаточным объёмом RAM/VRAM на машину (чтобы хотя бы загрузился датасет), ядер чтоб побольше, и затем выбору инстанса с наименьшей спот-ценой. Ну, может, при обработке картинок еще был важен размер и тип локального диска.

Понятно, что в серьёзных кластерных вычислениях помимо цены надо ориентироваться ещё и на производительность на ядро CPU или GPU (+- с учетом архитектуры) для нагрузки конкретного типа.

Пока вырисовывается основной метод API:

find_best_servers(
workload="ml|finance|physics|rendering|integer|floating",
capacity={vcores,gpus,tpus},
hardware_requirements={cpu,gpu,tpu,ram,hdd,network},
schedule_requirements={start_time, duration_hours},
optimize_for="efficiency|price|performance|availability",
cloud_providers="any|aws|gcp|azure|ali|sber|etc",
lease_type="any|spot|ondemand"
) ,
который находит, скажем, топ-3 комбинации инстанса/облака/региона/зоны, удовлетворяющих критериям клиента по железу, доступности, и имеющих самое лучшее отношение производительность/цена для указанного типа нагрузки.

Пример вызова, чтобы подешевле посчитать тюнинг катбуста на табличке в миллион примеров с 300 фичами, на процессоре нового поколения, чтоб каждый сервер имел как минимум 20Gb RAM для открытия датасета, считать думаем на 500 ядрах около 2 часов, начать хотим сейчас:

find_best_servers(
    workload={"type":"ml","framework":"catboost","dataset":{"nrows":1e6,"ncols":300},"hpt":True},
    capacity={"vcores":500},
    hardware_requirements={"ram":{"node_min_size":"20GB"},"cpu":{"features":"avx2"}},    
    schedule_requirements={"start_time":"now", "duration_hours":2},
    optimize_for="efficiency",
    cloud_providers="any",
    lease_type="spot"
) 

Пример ответа:

{'n_suitable_servers': 158,
 'best_servers': [{'cloud_provider': 'aws',
   'region': 'us-east-2',
   'zone': 'az3',
   'instance_type': 'r6idn.4xlarge',
   'lease_type': 'spot',
   'hardware_info': {...},
   'n_required_instances': 62,
   'expected_runtime_hours': 2,
   'fulfillment_probability': 0.85,
   'interruption_probability': 0.07,
   'expected_instance_hourly_price': {'usd':0.3569},
   'expected_workload_total_cost': {'usd':44.26},
   'expected_average_savings': {'usd':7.11},
   'workload_performance_rating':"15/1000",
}, ... ]}

Возможно, что данные будут грузиться из хранилища S3 некоторого региона, и будет удобно дать возможность указать, откуда и сколько данных потребуется загружать. Это позволит автоматически учесть стоимость трансфера в сервера "других регионов", чтобы потом не оказалось, что самый дешевый по железу сервер обошелся дорого из-за копирования данных.

Что ещё нужно учесть? Пишите в комменты советы и пожелания.