Forwarded from Kali Novskaya (Tatiana Shavrina)
#nlp #про_nlp
"Во-первых, это красиво..."
Все постят этот восхитительный гайд по архитектурам LLM. Очень люблю такие майндмэпы — легко запомнить, систематизировать, использовать в лекциях
"Во-первых, это красиво..."
Все постят этот восхитительный гайд по архитектурам LLM. Очень люблю такие майндмэпы — легко запомнить, систематизировать, использовать в лекциях
❤1
#games
Забавная идея )
https://3dnews.ru/1085881/datskiy-internet-provayder-zapustil-servis-love-squad-on-pozvolyaet-nanyat-virtualnogo-killera-dlya-zaigravsheysya-vtoroy-polovinki
Забавная идея )
https://3dnews.ru/1085881/datskiy-internet-provayder-zapustil-servis-love-squad-on-pozvolyaet-nanyat-virtualnogo-killera-dlya-zaigravsheysya-vtoroy-polovinki
3DNews - Daily Digital Digest
Датский интернет-провайдер запустил сервис Love Squad — он позволяет нанять виртуального киллера для заигравшейся второй половинки
Вторая половинка проводит больше времени за онлайн-играми, чем с вами, и огонь в отношениях начинает угасать? В Дании нашли решение — сервис Love Squad необычным способом отобьёт у заядлого геймера желание садиться за компьютер.
#astronomy
"Рождение квазара ведёт к фатальным последствиям для галактики-хозяина. Его активность выталкивает пыль и газ за пределы галактики и развеивает внутри неё. Это снижает активность звезообразования и может совсем остановить процесс появления новых звёзд в галактике. Нашу галактику Млечный Путь ждёт похожая судьба. Примерно через 5 млрд лет она столкнётся с галактикой Андромеда. Учёные не считали это угрозой для жизни на Земле, например, всё-таки звёзды находятся достаточно далеко друг от друга, но если в центре нашей галактики вспыхнет квазар, для чего теперь найдены все основания, всё может повернуться иначе."
https://3dnews.ru/1085918/nasha-galaktika-mlechniy-put-imeet-vse-shansi-porodit-kvazar-chemu-polucheni-ubeditelnie-dokazatelstva
"Рождение квазара ведёт к фатальным последствиям для галактики-хозяина. Его активность выталкивает пыль и газ за пределы галактики и развеивает внутри неё. Это снижает активность звезообразования и может совсем остановить процесс появления новых звёзд в галактике. Нашу галактику Млечный Путь ждёт похожая судьба. Примерно через 5 млрд лет она столкнётся с галактикой Андромеда. Учёные не считали это угрозой для жизни на Земле, например, всё-таки звёзды находятся достаточно далеко друг от друга, но если в центре нашей галактики вспыхнет квазар, для чего теперь найдены все основания, всё может повернуться иначе."
https://3dnews.ru/1085918/nasha-galaktika-mlechniy-put-imeet-vse-shansi-porodit-kvazar-chemu-polucheni-ubeditelnie-dokazatelstva
3DNews - Daily Digital Digest
Наша галактика Млечный Путь имеет все шансы породить квазар, чему получены убедительные доказательства
Около 60 лет назад астрономы обнаружили ярчайшие объекты во Вселенной, которые назвали квазарами.
#cloudcomputing #dask #business #opticloud
Облачные вычисления с Dask требуют знания цен (особенно на спотовые инстансы), думаю начать регулярный сбор цен основных провайдеров (AWS, GCP, Azure) в базу. Возможно, в последующем сделаю какой-то сервис поиска лучшей площадки и инстансов для заданной нагрузки (с учётом прогнозной доступности и цены на заданную длительность вычислений). Например, клиент делает сабмит 1 блока своей задачи, сервис прогоняет его на нескольких инстансах, с помощью ML рассчитывает время выполнения на всех возможных инстансах всех облачных провайдеров (они же отличаются по железу). Согласно указанному клиентом объёму блоков в день, датам начала/завершения работ, система рассчитывает, в каких именно облаках и на каких конкретно инстансах нужно создавать кластер, чтобы минимизировать стоимость/время расчётов.
Производительность железа распадается на несколько блоков: CPU, GPU, RAM, Storage (HDD/SSD), Network.
Также у клиента могут быть задачи разного типа: ML Training, ML inference, Finance/Physics/Bio simulations, Video Encoding.
В голове крутится прогон подобных бенчмарков на каждом уникальном по соответствующему железу типу инстанса (например: модель процессора, тип и частота памяти, тип СХД, пропускная способность сети).
Тогда пользователь сервиса (в первом приближении) говорит: мне надо обучать sklearn-овскую модель. минимум памяти на ядро 8Гб, где сейчас это лучше сделать? Сервис отвечает: в AWS, регион us-west-2, зона 2b, инстанс такой-то, спот цена такая-то., индекс производительности такой-то. А если клиент указывает фреймворк tensorflow, в сравнении участвуют уже и GPU, TPU, Trainium инстансы, и получается другой ответ, к примеру, GCP, регион такой-то, TPU v3 spot, цена такая-то, индекс производительности такой-то.
В идеале можно будет свою задачу на минималках отправить на тестирование, и тогда уже система точно рассчитает производительность на каждом инстансе. Но для начала можно будет ориентироваться хотя бы на какие-то общие бенчмарки.
Облачные вычисления с Dask требуют знания цен (особенно на спотовые инстансы), думаю начать регулярный сбор цен основных провайдеров (AWS, GCP, Azure) в базу. Возможно, в последующем сделаю какой-то сервис поиска лучшей площадки и инстансов для заданной нагрузки (с учётом прогнозной доступности и цены на заданную длительность вычислений). Например, клиент делает сабмит 1 блока своей задачи, сервис прогоняет его на нескольких инстансах, с помощью ML рассчитывает время выполнения на всех возможных инстансах всех облачных провайдеров (они же отличаются по железу). Согласно указанному клиентом объёму блоков в день, датам начала/завершения работ, система рассчитывает, в каких именно облаках и на каких конкретно инстансах нужно создавать кластер, чтобы минимизировать стоимость/время расчётов.
Производительность железа распадается на несколько блоков: CPU, GPU, RAM, Storage (HDD/SSD), Network.
Также у клиента могут быть задачи разного типа: ML Training, ML inference, Finance/Physics/Bio simulations, Video Encoding.
В голове крутится прогон подобных бенчмарков на каждом уникальном по соответствующему железу типу инстанса (например: модель процессора, тип и частота памяти, тип СХД, пропускная способность сети).
Тогда пользователь сервиса (в первом приближении) говорит: мне надо обучать sklearn-овскую модель. минимум памяти на ядро 8Гб, где сейчас это лучше сделать? Сервис отвечает: в AWS, регион us-west-2, зона 2b, инстанс такой-то, спот цена такая-то., индекс производительности такой-то. А если клиент указывает фреймворк tensorflow, в сравнении участвуют уже и GPU, TPU, Trainium инстансы, и получается другой ответ, к примеру, GCP, регион такой-то, TPU v3 spot, цена такая-то, индекс производительности такой-то.
В идеале можно будет свою задачу на минималках отправить на тестирование, и тогда уже система точно рассчитает производительность на каждом инстансе. Но для начала можно будет ориентироваться хотя бы на какие-то общие бенчмарки.
#saas #startup
Find unsolved problems, poor customer experience, land & expand, build on your network, ride a fast growing ecosystem, build on existing user base, find where do you spend your money on a day job.
https://www.youtube.com/watch?v=z_EMDtbB2tA
Find unsolved problems, poor customer experience, land & expand, build on your network, ride a fast growing ecosystem, build on existing user base, find where do you spend your money on a day job.
https://www.youtube.com/watch?v=z_EMDtbB2tA
YouTube
7 Proven Ways to Create Profitable SaaS Ideas EVERY Time
Creating profitable SaaS ideas can be a challenging task. These 7 proven ways to validate your SaaS ideas will help ensure your SaaS business will be successful! In this video I discuss 7 ways to create profitable SaaS ideas every time...
Watch more videos…
Watch more videos…
#python #hettingner #pep #codegems #refactoring #codewrappers
P vs NP ) And the gorilla in the room.
https://www.youtube.com/watch?v=wf-BqAjZb8M
P vs NP ) And the gorilla in the room.
https://www.youtube.com/watch?v=wf-BqAjZb8M
YouTube
Raymond Hettinger - Beyond PEP 8 -- Best practices for beautiful intelligible code - PyCon 2015
"Speaker: Raymond Hettinger
Distillation of knowledge gained from a decade of Python consulting, Python training, code reviews, and serving as a core developer. Learn to avoid some of the hazards of the PEP 8 style guide and learn what really matters for…
Distillation of knowledge gained from a decade of Python consulting, Python training, code reviews, and serving as a core developer. Learn to avoid some of the hazards of the PEP 8 style guide and learn what really matters for…
#opticloud
Итак, первый шаг к сервису поиска оптимального облака под коротко- и среднесрочные расчёты сделан. Пока только для AWS, начат сбор спотовых цен на EC2 с высокой гранулярностью и для всех 27 публичных регионов. Уже, кстати, видно, что некоторые регионы проводят активное ценообразование, другие же спотовые цены почти не меняют. Сегодня добавляю сбор цен ondemand и заполнение таблицы "железных" характеристик инстансов. В будущем эта информация дополнится унифицированными листингами железа, снятыми непосредственно агентом внутри ВМ, и целым набором бенчмарков из разных областей. В течение недели поиск TOP N регионов/инстансов по соотношению производительность/цена на 1 vCore/Гб RAM/Тб HDD станет доступен в виде платного API.
Ещё планируются:
1) включение GCP и Azure
2) на более дорогом уровне: выдача не просто инстансов оптимальных СЕЙЧАС, а (с помощью ML) оптимальных в течение времени, нужного клиенту для вычислений. Например, банк проводит вычисления длительностью в 3 часа в 15-00 каждый день, где ему лучше запускаться сегодня, чтобы суммарная ожидаемая стоимость была минимальной? А завтра?
О ценообразовании:
Логичным кажется получение % от экономии, достигнутой с помощью сервиса, на какой-то стандартной нагрузке. Скажем, под фильтр клиента попадают N валидных комбинаций инстансов/регионов/зон. Тогда экономия составит mean(SportPrices(N))-min(SportPrices(N)) на инстанс в час.
Итак, первый шаг к сервису поиска оптимального облака под коротко- и среднесрочные расчёты сделан. Пока только для AWS, начат сбор спотовых цен на EC2 с высокой гранулярностью и для всех 27 публичных регионов. Уже, кстати, видно, что некоторые регионы проводят активное ценообразование, другие же спотовые цены почти не меняют. Сегодня добавляю сбор цен ondemand и заполнение таблицы "железных" характеристик инстансов. В будущем эта информация дополнится унифицированными листингами железа, снятыми непосредственно агентом внутри ВМ, и целым набором бенчмарков из разных областей. В течение недели поиск TOP N регионов/инстансов по соотношению производительность/цена на 1 vCore/Гб RAM/Тб HDD станет доступен в виде платного API.
Ещё планируются:
1) включение GCP и Azure
2) на более дорогом уровне: выдача не просто инстансов оптимальных СЕЙЧАС, а (с помощью ML) оптимальных в течение времени, нужного клиенту для вычислений. Например, банк проводит вычисления длительностью в 3 часа в 15-00 каждый день, где ему лучше запускаться сегодня, чтобы суммарная ожидаемая стоимость была минимальной? А завтра?
О ценообразовании:
Логичным кажется получение % от экономии, достигнутой с помощью сервиса, на какой-то стандартной нагрузке. Скажем, под фильтр клиента попадают N валидных комбинаций инстансов/регионов/зон. Тогда экономия составит mean(SportPrices(N))-min(SportPrices(N)) на инстанс в час.
👍2
#gpt
"Акаш Нигам (Akash Nigam) оформил для всех 120 работников стартапа Genies подписку на платную версию ИИ-бота ChatGPT Plus, и уже спустя месяц это заметно ускорило работу. Стартап Genies с рыночной стоимостью $1 млрд занимается созданием виртуальных аватаров, которые используют, в том числе, звёзды Джастин Бибер и Карди Би . Эксперимент с ИИ-ботом обходится компании в $2400 в месяц. ChatGPT оказался полезным при разработке плана компании с изложением её стратегии в отношении выпуска нового продукта. По словам Нигам, процесс составления плана «обычно требует много часов» мозгового штурма, но вместо этого ИИ-боту предоставили всю необходимую информацию, и попросили организовать её в виде диаграммы с делегированием задач соответствующим командам специалистов. ИИ-бот помог решить этот вопрос в кратчайшие сроки."
https://3dnews.ru/1085986/glava-startapaedinoroga-genies-oplatil-podpisku-chatgpt-plus-vsem-sotrudnikam-dlya-prirosta-proizvoditelnosti
"Акаш Нигам (Akash Nigam) оформил для всех 120 работников стартапа Genies подписку на платную версию ИИ-бота ChatGPT Plus, и уже спустя месяц это заметно ускорило работу. Стартап Genies с рыночной стоимостью $1 млрд занимается созданием виртуальных аватаров, которые используют, в том числе, звёзды Джастин Бибер и Карди Би . Эксперимент с ИИ-ботом обходится компании в $2400 в месяц. ChatGPT оказался полезным при разработке плана компании с изложением её стратегии в отношении выпуска нового продукта. По словам Нигам, процесс составления плана «обычно требует много часов» мозгового штурма, но вместо этого ИИ-боту предоставили всю необходимую информацию, и попросили организовать её в виде диаграммы с делегированием задач соответствующим командам специалистов. ИИ-бот помог решить этот вопрос в кратчайшие сроки."
https://3dnews.ru/1085986/glava-startapaedinoroga-genies-oplatil-podpisku-chatgpt-plus-vsem-sotrudnikam-dlya-prirosta-proizvoditelnosti
3DNews - Daily Digital Digest
Глава стартапа Genies ускорил работу сотрудников с помощью ИИ — всем купили подписку ChatGPT Plus
Акаш Нигам (Akash Nigam) оформил для всех 120 работников стартапа Genies подписку на платную версию ИИ-бота ChatGPT Plus, и уже спустя месяц это заметно ускорило работу.
✍2
#starship
"В ходе пуска многое пошло не по плану. Хотя Маск ещё до старта сообщал о том, что вероятность полного успеха относительно невелика, оказалось, что неудачи начались с самого начала. Ракета практически полностью уничтожила бетонную стартовую площадку, соседний город накрыло облаком пыли, а после пуска не все двигатели сработали и на четвёртой минуте полёта ракета потеряла управление, а одна ступень не смогла отделиться от другой. Наконец, какое-то время Starship падала, уже получив сигнал о взрыве.
Даже после задержки взрыва неприятности продолжали множиться. Так, после того как ракета, наконец, взорвалась, обломки разлетелись на площади в несколько сотен гектар над космодромом SpaceX и экопарком Boca Chica State Park.
Федеральное управление гражданской авиации США (FAA) уже сообщило, что расследует события и новый Starship не взлетит, пока ведомство не решит, что «любые система, процесс или процедура, связанные с происшествием, не влияют на общественную безопасность». Даже с учётом всех предшествовавших событий Маск назвал запуск «успешным» и «возможно, слегка превзошедшим его ожидания».
По его словам, «целью этих миссий является информация. У нас нет полезной нагрузки или чего-то ещё — это делается просто для того, чтобы узнать как можно больше»."
https://3dnews.ru/1085990/raketa-starship-samolikvidirovalas-lish-cherez-40-sekund-posle-signala-spacex
"В ходе пуска многое пошло не по плану. Хотя Маск ещё до старта сообщал о том, что вероятность полного успеха относительно невелика, оказалось, что неудачи начались с самого начала. Ракета практически полностью уничтожила бетонную стартовую площадку, соседний город накрыло облаком пыли, а после пуска не все двигатели сработали и на четвёртой минуте полёта ракета потеряла управление, а одна ступень не смогла отделиться от другой. Наконец, какое-то время Starship падала, уже получив сигнал о взрыве.
Даже после задержки взрыва неприятности продолжали множиться. Так, после того как ракета, наконец, взорвалась, обломки разлетелись на площади в несколько сотен гектар над космодромом SpaceX и экопарком Boca Chica State Park.
Федеральное управление гражданской авиации США (FAA) уже сообщило, что расследует события и новый Starship не взлетит, пока ведомство не решит, что «любые система, процесс или процедура, связанные с происшествием, не влияют на общественную безопасность». Даже с учётом всех предшествовавших событий Маск назвал запуск «успешным» и «возможно, слегка превзошедшим его ожидания».
По его словам, «целью этих миссий является информация. У нас нет полезной нагрузки или чего-то ещё — это делается просто для того, чтобы узнать как можно больше»."
https://3dnews.ru/1085990/raketa-starship-samolikvidirovalas-lish-cherez-40-sekund-posle-signala-spacex
3DNews - Daily Digital Digest
Ракета Starship не желала самоликвидироваться — взрыв произошёл лишь через 40 секунд после отправки команды
Глава SpaceX Илон Маск (Elon Musk) подробнее рассказал о том, как проходил первый полёт огромной ракеты Starship, состоявшийся в конце апреля и закончившийся взрывом.
❤1
#opticloud
В общем, всё оказалось не так просто. И наличие инстансов в определённом облачном регионе/зоне надо как-то оценивать (цена не имеет смысла, если мало или совсем нет товара), и об экономном расходовании места в базе думать, и код отрефакторить, чтоб был красивым, и мониторинг задач настроить.
В общем, всё оказалось не так просто. И наличие инстансов в определённом облачном регионе/зоне надо как-то оценивать (цена не имеет смысла, если мало или совсем нет товара), и об экономном расходовании места в базе думать, и код отрефакторить, чтоб был красивым, и мониторинг задач настроить.
👀2
#algorithms
Так, кто готовился к собесам, что за алгоритм решает следующую задачу:
есть N авторов с произвольным количеством книг у каждого (не более 10).
Нужно упаковать книги в наименьшее число рюкзаков (вместимость рюкзака не более 10 книг), при этом книги одного автора не должны находиться в разных рюкзаках.
Так, кто готовился к собесам, что за алгоритм решает следующую задачу:
есть N авторов с произвольным количеством книг у каждого (не более 10).
Нужно упаковать книги в наименьшее число рюкзаков (вместимость рюкзака не более 10 книг), при этом книги одного автора не должны находиться в разных рюкзаках.
❤1
#algorithms
Вам требуется оценить наличие книг автора A в магазинах книжной сети. На Ваш запрос в стороннюю АСУ, есть ли на складе магазинов сети определённое число книг N, система учёта по странной причине выдаёт по всем магазинам не точный остаток книг, а нормированную по всей сети и затем разбитую по 10%-ным бинам вероятность того, что в данном магазине есть как минимум N книг. Например, если в сети 3 магазина с 2, 15, 40 книг автора на складе, и Вы запрашиваете, есть ли в магазинах 50 книг, АСУ рассчитает вероятности как [2/50, 15/50, 40/50]=[0.04, 0.3, 0.8], применит насыщение до 1 (останутся те же числа т.к. у нас числа не превышают 1), нормирует на максимальное число 0,8 получит [0.05 , 0.375, 1. ], разобъёт на 10% бины и вернёт ответ [10%, 40%, 100%], Каждый запрос в систему платный, и Вы хотите выяснить если не точное количество книг автора во всех магазинах (так как система округляет бин в правую сторону), то хотя бы их помагазинное соотношение, но при этом минимизировать стоимость получения этой информации. Система ограничивает параметр N до N_MAX=100, то есть наличие больше ста книг проверить не получится. Изменить систему учёта нельзя, можно манипулировать только параметром N и числом отправленных запросов. Как будете действовать?
Вам требуется оценить наличие книг автора A в магазинах книжной сети. На Ваш запрос в стороннюю АСУ, есть ли на складе магазинов сети определённое число книг N, система учёта по странной причине выдаёт по всем магазинам не точный остаток книг, а нормированную по всей сети и затем разбитую по 10%-ным бинам вероятность того, что в данном магазине есть как минимум N книг. Например, если в сети 3 магазина с 2, 15, 40 книг автора на складе, и Вы запрашиваете, есть ли в магазинах 50 книг, АСУ рассчитает вероятности как [2/50, 15/50, 40/50]=[0.04, 0.3, 0.8], применит насыщение до 1 (останутся те же числа т.к. у нас числа не превышают 1), нормирует на максимальное число 0,8 получит [0.05 , 0.375, 1. ], разобъёт на 10% бины и вернёт ответ [10%, 40%, 100%], Каждый запрос в систему платный, и Вы хотите выяснить если не точное количество книг автора во всех магазинах (так как система округляет бин в правую сторону), то хотя бы их помагазинное соотношение, но при этом минимизировать стоимость получения этой информации. Система ограничивает параметр N до N_MAX=100, то есть наличие больше ста книг проверить не получится. Изменить систему учёта нельзя, можно манипулировать только параметром N и числом отправленных запросов. Как будете действовать?
#amd #gpu #ai
"AMD назвала ИИ стратегическим приоритетом № 1, а завоевать рынок компании помогут ускорители Instinct MI300"
Ну ни хера себе, в 2023-м они наконец-то поняли важность ИИ. А Nvidia пилила Куду с 2006-го и завоевала весь рынок, тем временем.
https://3dnews.ru/1086111/publikatsiya-1086111
"AMD назвала ИИ стратегическим приоритетом № 1, а завоевать рынок компании помогут ускорители Instinct MI300"
Ну ни хера себе, в 2023-м они наконец-то поняли важность ИИ. А Nvidia пилила Куду с 2006-го и завоевала весь рынок, тем временем.
https://3dnews.ru/1086111/publikatsiya-1086111
3DNews - Daily Digital Digest
AMD назвала ИИ стратегическим приоритетом № 1, а завоевать рынок компании помогут ускорители Instinct MI300
AMD делает ставку на ИИ, как отметила генеральный директор доктор Лиза Су (Lisa Su) во время отчётной конференции по результатам деятельности в первом квартале 2023 года, и ускоритель вычислений Instinct MI300 возглавит это направление.