🔉WAV Preview🎧

Если вы часто работаете со звуком по своей работе, рекомендую установить плагин WAV Preview для vscode. Он позволяет прослушивать аудио на удаленном сервере, а с недавних пор показывает аудиодорожку и спектрограмму

https://marketplace.visualstudio.com/items?itemName=sukumo28.wav-preview

1️⃣ Calculator 2️⃣

Как ни странно хочу вам порекомендовать калькулятор для мака которым сам пользуюсь - numi.app

Штука достаточно умная, умеет работать с разными системами счисления, конвертитровать различные величины, причем достаточно интуитивно.

Интересно что, такую приятную штуку сделал рускоязычный разработчик

Часто вижу в русском твиттере самолюбование некоторых разработчиков на тему того какие они крутые, а простые людишки ничего не понимают и получают копейки.

На самом деле большинство таких людей, вовсе не инженеры (я себя тоже инженером назвать не могу), а люди с достаточно простыми рабочими обязанностями по перекладыванию данных из одного места в другое, с некоторыми аггрегациями (в сущности это то, что выполняет большая часть того, что делают программы).

Если представить computer science как церковь, а Джон Кармак - батюшка, то твиттеровские-прогеры - дети пришедшие освятить куличик.

Чтобы не быть как они, а присоединиться к движению Computer Church вот вам пару линков:

https://news.1rj.ru/str/experimentalchill - Канал про плюсы и то как делать высоконагруженные сервисы ( очень хорош, чтобы почувствовать себя глупым)

https://news.1rj.ru/str/brainfuckpc - Чел собрал компьютер на реле, а сейчас собирает компьютер на лампах

https://hackaday.com - Хабр каким он должен быть

https://free-van-ec5.notion.site/Reading-List-c9665d42914841f69ad63e7c41e84896 - ноушен где я по мере возможности собираю прикольные ссылки ( это не много, но это честная работа)

Если есть интересные линки по теме, можете постить их в комменты

🐂 GNU Parallel 🛠

Если вы активный пользователь Linux, вы наверняка пользуетесь кучей инструментов GNU, такие как ls, cat, emacs, tar и прочее

Каждый из этих инструментов обладает большим функционалом, который не используется и зачастую то, что можно было бы сделать с помощью встроенных утилит я делаю на питончике.
Так было и с GNU Parallel, утилитка которая позволяет вам запустить работу скриптов в параллели. Обычно при обработке разных данных я просто использую питон + joblib. Но тут мне понадобилось обработать 300гб аудио. Делать это питоном - глупо, слишком маленький перформанс. Нужен FFmpeg!

Но запускать его в из питона тоже как-то не по канону, тут я и вспомнил про GNU Parallel, двухстрочный код на баше + строчка запуска параллели и вот наши данные обрабатываются во всю мощь.

Там кстати можно передать флажок и смотреть прогресс бар, советую изучить!

https://www.gnu.org/software/parallel/parallel_tutorial.html

📹 Computer Vision Math🎞

Нашел очень интересный канал с лекциями по математике применительно к обработке фотографий.
Это лекции не про привычный вам машин лернинг и сверточки, а скорее разбор математических моделей камеры, как работают различные преобразования координат, некоторная математика применительная к self driving и прочее.

Например очень интересно послушать подноготную фотограметрии!
https://www.youtube.com/c/CyrillStachniss/videos

🤔 Инженерная задача 🧠

Есть у меня чисто инженерная задача, над которой я думаю в последнее время, может в комментариях предложите интересные решения.
Представим что мы гугл, который собирает огромную базу разметки с Re-Capcha и мы хотим обучить классификатор на этих данных.
Предположим что данных за все время набралось порядка 10тб, как же нам обучаться в таких объемах?

Основные проблемы здесь это:
* Хранить копию данных на каждой машине кластера на котором мы учимся - расточительно, особенно при условии, что датасет может регулярно обновляться
* Любая работа по декодированию картинки в float32 тензор и последующие аугментации занимают много процессорного времени, от чего наши гпушки могут простаивать
* Хочется делать максимально скелбл пайплан

Мое решение:

Скорее всего мы не захотим хранить картинки где-то на локальном диске, т.к. на нем просто не будет хватать места, давайте будем делать это в неком s3 подобном облаке.
Поскольку выгрузка и декодирование картинки с аугментациями это сильно CPU bound задача, то мы разделим наш кластер на две части.
1 - GPU тачки с кучей видеокарт
2 - Мощные CPU воркеры с десятком процессорных ядер

Вторые будут молотить картинки для первых и если гпушки будут простаивать, мы просто будем добавлять CPU воркеров до оптимума.

Но как теперь доставлять данные от первых ко вторым? Можно поднять базу по типу кафки и пусть CPU воркеры кладут в нее сразу готовые батчи в виде последовательности байт.
Тогда GPU машины вообще не будут тратить время на формирование батча, а будут копировать набор байт по сети и сразу класть их в сегмент памяти на видеокарте.


Проведя некоторые расчеты с заданными размерами картинок, батча и то, сколько батчей в секунду может обработать одна машина, получается что скорость доступа до данных по сети должна быть как минимум 32 гигабита в секунду.

И тут мне уже не понятно на сколько сложно добиться таких скоростей 🤔

🦇 BAT 👍

Вот бы cat но с подсветкой синтаксиса и номерами строк.
А такой есть - bat

🥷 Secutiry and Hacking ☠️

Нашел крутой канал про кибер безопасность, полезно посмотреть и мльщикам как через ваши веб апишки серверов у вас могут утянуть то, что не хотелось бы отдавать.

Объясняется все коротко, интересно и самое главное - доступно, с приятным видеорядом.

https://www.youtube.com/channel/UCW6MNdOsqv2E9AjQkv9we7A

Обычно здесь только технические посты, но сегодня особенный случай.

Переезд? А может лучше бегство?
⠀
С момента моего более менее осознанного возраста я задавался вопросом переезда в другую страну, на этот счет у меня формировалось какое-то мнение.
Каждый раз когда меня спрашивали хочу ли я свалить, я отвечал:
Свалить - нет, все таки не смотря на все минусы политической обстановки, Россия - мой дом, где я родился и вырос, здесь моя семья и друзья, но я был бы не против переехать в другой город, скажем Лондон, или ближнюю Европу, чтобы понять как это жить в другом государстве и временами приезжать в Россию, чтобы любоваться красотами Петербурга и видеться с родственниками на Урале.
⠀
Но жизнь расставила свои приоритеты.
Пока по городам идут митинги с лозунгами “НЕТ ВОЙНЕ”, в России представления кремля все не так, людей не скручивают в автозак за желания чистого неба над головой, в России кремля люди счастливы и выходят на митинги за “Освобождение Донбасса”, а происходящее в Украине ни в коем случае не война, а “ряд действий обеспечивающий сохранения безопасности на территории Л/ДНР”, именно такую картинку транслируют по ТВ, и будьте уверены, именно такую картинку вбивают в голову большинства школьников прямо сейчас. Я помню как у нас были такие же лекции про Крым и почему он “наш”.

⠀
Я Россиянин, я гражданин, мне не нужен Крым, Донбас, Украина и даже Аляска, мне нужны перспективы развития, нужна свободная экономическая среда, без дряхлых генсеков, я хочу строить технологии, которые будут менять жизни людей. К сожалению Россия настоящего не дает мне такой возможности.
⠀
Я пишу этот текст в большом смятении и переодически перехожу на слезы, но возможно это моя последняя фотография в России настоящего. Увидимся в России будущего.
⠀
Всем мир ✌️

Если вы дата-аналатик, дата-инженер, мл-инженер или, прости господи, дата саентист из Украины и хотите уехать, напишите мне @venheads, попробуем вас быстро прособеседовать и увезти в Лондон, сходу вышлем вам дз или тест, чтобы запустить процесс, без скринов и прочего.

Да и в целом, если понимаете что терпеть уже не можете, можно попробовать. Правда пропускная способность у меня весьма ограничена

Валера крутой, если есть кто-то из знакомых или вы и есть тот самый знакомый — пишите Валере.

Мы ВР компания из Словении https://deovr.com/, активно набираем на позицию data-anything, computer vision и даже просто соображающих менеджеров\продуктов\дизайнеров\юнити-дев. Сейчас пару горячих продуктов на выкате как раз по DL + CV.

Если вы дата-аналатик, дата-инженер, мл-инженер или, прости господи, дата саентист из Украины или России и хотите уехать, напишите мне, набираем команду в Словении. Можно писать на имейл philip@deovr.com

Астрологи предсказали повышенное скопление тракторов

Простите, что все ещё не привычные вам посты. Но я не могу пройти мимо.

Знаю, что многие будут выходить на акции протеста или проходить таможенный контроль и вероятно будут иметь беседу с ФСБ.
Если вы пользуетесь телефоном Самсунг, вы можете обезопасить чувствительные для вас данные.

Подробно в этом твите:

https://twitter.com/ebanatry/status/1499370986650624004?s=21

Российская экономика переживает в последнее время не лучшие времена.
Помимо ухода различных компаний и брендов, мы наблюдаем интересную ситуацию с Meta.
В ближайшее время ее хотят признать экстримисской организацией, примерно так, как это произошло с ФБК.
Факт ближайшей блокировки facebook и instagram был очивиден, это лишь вопрос времени, но вот экстримизм имеет куда более широкие последствия.

Как минимум, с точки зрения РФ, Meta становится крупнейшей и самой богатой экстримиской организацией мира.
Помимо этого, кажется, что это может максимально неприятным образом отразиться на сотрудниках компании, родом из россии.

Ведь при посещении страны, скажем, чтобы навестить родственников, они натурально подвергают себя опасности, ведь теперь они экстримисты. Так что каток русского правосудия может проехать там, где вы совсем не ждете.

Попал в небольшой личностный кризис после начала войны, но вроде восстановился!

Поэтому ловите интерсный инженерный видосик
https://www.youtube.com/watch?v=SH3lR2GLgT0

Вау! Это просто невероятный уровень инженерного задротства (в хорошем смысле).

Автор соединил воедино знания в области физики, компьютерного моделирования, написания софта и любви к тачкам 😎

https://youtu.be/RKT-sKtR970