#astronomy
"Даже калибровочные снимки поразили учёных своей детализацией и возможностями. В процессе настройки бортовых систем и приборов обсерватория «Зонд Эйнштейна» обнаружила 19 февраля 2024 года первый переходный процесс и, позже, ещё 14 временных источников рентгеновского излучения, а также 127 вспышек звёзд. Можно только представить, какой поток ранее недоступной информации пойдёт с началом работы обсерватории через полтора месяца!"
https://3dnews.ru/1104048/kitayskiy-rentgenovskiy-teleskop-zond-eynshteyna-prislal-pervie-snimki-neba-i-evropeyskiy-pribor-na-bortu-toge-ne-podvyol
"Даже калибровочные снимки поразили учёных своей детализацией и возможностями. В процессе настройки бортовых систем и приборов обсерватория «Зонд Эйнштейна» обнаружила 19 февраля 2024 года первый переходный процесс и, позже, ещё 14 временных источников рентгеновского излучения, а также 127 вспышек звёзд. Можно только представить, какой поток ранее недоступной информации пойдёт с началом работы обсерватории через полтора месяца!"
https://3dnews.ru/1104048/kitayskiy-rentgenovskiy-teleskop-zond-eynshteyna-prislal-pervie-snimki-neba-i-evropeyskiy-pribor-na-bortu-toge-ne-podvyol
3DNews - Daily Digital Digest
Китайский телескоп «Зонд Эйнштейна» прислал первые пробные снимки —они впечатлили ученых деталями и находками
На 7-м семинаре консорциума Einstein Probe consortium в Пекине были представлены первые снимки неба в рентгеновском диапазоне, сделанные китайским рентгеновским телескопом «Зонд Эйнштейна» (Einstein Probe).
#fun #survival #bushcraft
Немного бушкрафта вам в ленту )
https://youtu.be/Y0E296PtAcM?si=5fHvs-l4ae8vjFW8
Немного бушкрафта вам в ленту )
https://youtu.be/Y0E296PtAcM?si=5fHvs-l4ae8vjFW8
YouTube
Женский Бушкрафт - тренд Выживания. Вызов женскому полу.
Женский Бушкрафт - тренд Выживания. Вызов женскому полу.
Новинки видео без цензуры и ограничений ютуба в телеграмм https://news.1rj.ru/str/+L89GsCyQgM0yMTgy
Новинки видео без цензуры и ограничений ютуба в телеграмм https://news.1rj.ru/str/+L89GsCyQgM0yMTgy
#pytorch #lightning #raschka
Знакомство с Pytorch Lightning от Себастиана Рашки (Units 1-10). Классный парень, автор известных книг по ML, автор либы mlxtend.
https://www.youtube.com/@PyTorchLightning/playlists
Знакомство с Pytorch Lightning от Себастиана Рашки (Units 1-10). Классный парень, автор известных книг по ML, автор либы mlxtend.
https://www.youtube.com/@PyTorchLightning/playlists
Forwarded from воспоминания математиков
Не знаю, кем мир видит меня; в своих же собственных глазах я просто мальчик, играющий на берегу, отвлекающий себя от забот жизни поиском самых гладких галек и красивых ракушек, выброшенных из простирающегося передо мной величественного и неизведанного океана истины.
размышления сэра Исаака Ньютона
размышления сэра Исаака Ньютона
❤3
#pytorch #lightning
Понравился пример из доки Monte Carlo Dropout for predictions
Статья Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning.
Понравился пример из доки Monte Carlo Dropout for predictions
class LitMCdropoutModel(L.LightningModule):
def __init__(self, model, mc_iteration):
super().__init__()
self.model = model
self.dropout = nn.Dropout()
self.mc_iteration = mc_iteration
def predict_step(self, batch, batch_idx):
# enable Monte Carlo Dropout
self.dropout.train()
# take average of `self.mc_iteration` iterations
pred = [self.dropout(self.model(x)).unsqueeze(0) for _ in range(self.mc_iteration)]
pred = torch.vstack(pred).mean(dim=0)
return predСтатья Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning.
👍1
#pytorch #lightning
В Лайтнинге обнаружился параметр тренера Trainer(benchmark=True)
Дока туманно намекает, что это некая оптимизация алгоритмов Куды. Удалось найти, каких именно:
static const algo_t algos[] = {
CUDNN_CONVOLUTION_FWD_ALGO_GEMM,
CUDNN_CONVOLUTION_FWD_ALGO_FFT,
CUDNN_CONVOLUTION_FWD_ALGO_FFT_TILING,
CUDNN_CONVOLUTION_FWD_ALGO_IMPLICIT_GEMM,
CUDNN_CONVOLUTION_FWD_ALGO_IMPLICIT_PRECOMP_GEMM,
CUDNN_CONVOLUTION_FWD_ALGO_DIRECT,
CUDNN_CONVOLUTION_FWD_ALGO_WINOGRAD,
CUDNN_CONVOLUTION_FWD_ALGO_WINOGRAD_NONFUSED,
}
Говорят, иногда хорошо ускоряет:
Oli
Olof Harrysson
Apr 2019
I find that torch.backends.cudnn.benchmark increases the speed for my YOLOv3 model by a lot, like 30-40%. Furthermore, it lowers the memory footprint after it completes the benchmark.
It even works when my input images vary in size between each batch, neat! I was thinking about having the network optimize on a few smaller torch.randn(...) to benchmark on, and then start the training. I hope that this could allow me to increase the batch size since the memory footprint is lower after the bechmark. What do you guys thing?
https://github.com/pytorch/pytorch/blob/1848cad10802db9fa0aa066d9de195958120d863/aten/src/ATen/native/cudnn/Conv.cpp#L486-L494
В Лайтнинге обнаружился параметр тренера Trainer(benchmark=True)
Дока туманно намекает, что это некая оптимизация алгоритмов Куды. Удалось найти, каких именно:
static const algo_t algos[] = {
CUDNN_CONVOLUTION_FWD_ALGO_GEMM,
CUDNN_CONVOLUTION_FWD_ALGO_FFT,
CUDNN_CONVOLUTION_FWD_ALGO_FFT_TILING,
CUDNN_CONVOLUTION_FWD_ALGO_IMPLICIT_GEMM,
CUDNN_CONVOLUTION_FWD_ALGO_IMPLICIT_PRECOMP_GEMM,
CUDNN_CONVOLUTION_FWD_ALGO_DIRECT,
CUDNN_CONVOLUTION_FWD_ALGO_WINOGRAD,
CUDNN_CONVOLUTION_FWD_ALGO_WINOGRAD_NONFUSED,
}
Говорят, иногда хорошо ускоряет:
Oli
Olof Harrysson
Apr 2019
I find that torch.backends.cudnn.benchmark increases the speed for my YOLOv3 model by a lot, like 30-40%. Furthermore, it lowers the memory footprint after it completes the benchmark.
It even works when my input images vary in size between each batch, neat! I was thinking about having the network optimize on a few smaller torch.randn(...) to benchmark on, and then start the training. I hope that this could allow me to increase the batch size since the memory footprint is lower after the bechmark. What do you guys thing?
https://github.com/pytorch/pytorch/blob/1848cad10802db9fa0aa066d9de195958120d863/aten/src/ATen/native/cudnn/Conv.cpp#L486-L494
GitHub
pytorch/aten/src/ATen/native/cudnn/Conv.cpp at 1848cad10802db9fa0aa066d9de195958120d863 · pytorch/pytorch
Tensors and Dynamic neural networks in Python with strong GPU acceleration - pytorch/pytorch
👍1
#pytorch #lightning #swa
А кто пробовал SWA?
Stochastic Weight Averaging (SWA) can make your models generalize better at virtually no additional cost. This can be used with both non-trained and trained models. The SWA procedure smooths the loss landscape thus making it harder to end up in a local minimum during optimization.
For a more detailed explanation of SWA and how it works, read this post by the PyTorch team.
А кто пробовал SWA?
Stochastic Weight Averaging (SWA) can make your models generalize better at virtually no additional cost. This can be used with both non-trained and trained models. The SWA procedure smooths the loss landscape thus making it harder to end up in a local minimum during optimization.
For a more detailed explanation of SWA and how it works, read this post by the PyTorch team.
#dl #gpu #hpu
Прикольно, Intel Gaudi1 заруливают NVIDIA A100 по цена/производительность. Вот бы ещё для IPU (Graphcore Intelligence Processing Unit ) такое сравнение найти.
8 NVIDIA A100 --> $0.98 / COCO epoch
8 Intel Gaudi1 HPU --> $0.73 / COCO epoch
Намекают, что Gaudi2 (уже вышли) вчетверо быстрее Gaudi1.
https://blog.roboflow.com/gpu-vs-hpu/
Прикольно, Intel Gaudi1 заруливают NVIDIA A100 по цена/производительность. Вот бы ещё для IPU (Graphcore Intelligence Processing Unit ) такое сравнение найти.
8 NVIDIA A100 --> $0.98 / COCO epoch
8 Intel Gaudi1 HPU --> $0.73 / COCO epoch
Намекают, что Gaudi2 (уже вышли) вчетверо быстрее Gaudi1.
https://blog.roboflow.com/gpu-vs-hpu/
Roboflow Blog
HPU vs GPU - Benchmarking the Frontier of AI Hardware
When you are training machine learning models, it is essential to pick hardware that optimizes your models performance relative to cost. In training, the name of the game is speed per epoch – how fast can your hardware run the calculations it needs to train…
#series #fallout
Посмотрел 1 серию Фоллаута, он шикарен, а, судя по тизерам, дальше будет ещё круче.
https://www.youtube.com/watch?v=K8z0rRPzNlE
Посмотрел 1 серию Фоллаута, он шикарен, а, судя по тизерам, дальше будет ещё круче.
https://www.youtube.com/watch?v=K8z0rRPzNlE
YouTube
Фоллаут (1 сезон) — Русский трейлер #2 (2024)
Русский трейлер сериала «Фоллаут» 2024 года
Официальные русские трейлеры к фильмам, трейлеры к сериалам, трейлеры к мультфильмам, топ фильмов и дополнительные материалы.
Друзья, не забудьте подписаться на наш канал, поставить лайк и колокольчик🔔
►htt…
Официальные русские трейлеры к фильмам, трейлеры к сериалам, трейлеры к мультфильмам, топ фильмов и дополнительные материалы.
Друзья, не забудьте подписаться на наш канал, поставить лайк и колокольчик🔔
►htt…
#hpt #nas
Понравилась идея попарной binary classification вместо regression для architecture search.
https://youtu.be/Ij7oqAwLPOk?si=6a5CoGx-J0H4PAtL
Понравилась идея попарной binary classification вместо regression для architecture search.
https://youtu.be/Ij7oqAwLPOk?si=6a5CoGx-J0H4PAtL
YouTube
Mohamed Abdelfattah | "Fast and Hardware-Aware Neural Architecture Search"
Title:
Fast and Hardware-Aware Neural Architecture Search
Abstract:
This talk will go over different AutoML methods that share the common themes of efficiency and hardware-awareness. We will present (1) a fast predictor-based search algorithm, (2) zero…
Fast and Hardware-Aware Neural Architecture Search
Abstract:
This talk will go over different AutoML methods that share the common themes of efficiency and hardware-awareness. We will present (1) a fast predictor-based search algorithm, (2) zero…