✌️VIM 👨‍💻

Я в своем сознании на столько преисполнился, что наконец настроил вим под себя.


Теперь он совсем похож на настоящие IDE и в случае экстренных ситуаций, смогу зайти в контейнер с айпеда и что-то поправить в комфортных условиях.


На самом деле не будь VS Code я бы действительно не видел смысла иметь что-то еще помимо настроенного вима.

📉TermPlotlib📈

Кстати, вчера нашел полезную библиотечку, которая может выручить в некоторых ситуациях.
Бывает так, что решил почитать какие-то json или csv на сервере, но при этом лень запускать юпитер, поэтому я просто юзаю IPython консоль.
Все хорошо до того момента, пока не нужно нарисовать какой-то график, например bar-plot распределения классов.

Тут выручит эта библиотечка, которая позволяет отрисовывать графики с помощью gnu plot в ASCII формате!

https://github.com/nschloe/termplotlib


+ Бонус, такие графики удобно отправлять в личку в телеге.

Cats   [ 3]  ████████████
Dogs   [10]  ████████████████████████████████████████
Cows   [ 5]  ████████████████████
Geese  [ 2]  ████████

🏢 Петербургские Лайфхаки 🌉

Может вы знаете, а может нет, я живу в Петербурге и иногда катаюсь в Москву. Там у меня частенько встаёт вопрос где найти место чтобы можно было спокойно посидеть, поработать и зарядить телефон. Частенько выбор падает на старбакс, поскольку это одно из немногих мест где гарантированно есть розетки.


Так вот, делюсь лайфхаком с коллегами Москвичами, кто ездит в гости к нам. Недавно на Невском обновился буквоед (сеть книжных Петербурга). Теперь есть целых три этажа книжек, но помимо них, появились читальные/коворкинг зоны с удобными креслами, зоны со столиками, розетки и даже письменными лампами. В общем если устанете гулять, заходите, тут даже кофе-поинт есть.

Мне нужно простое рабочее место, без этих геймерских изысков

*после пятой рюмки*

🔉WAV Preview🎧

Если вы часто работаете со звуком по своей работе, рекомендую установить плагин WAV Preview для vscode. Он позволяет прослушивать аудио на удаленном сервере, а с недавних пор показывает аудиодорожку и спектрограмму

https://marketplace.visualstudio.com/items?itemName=sukumo28.wav-preview

1️⃣ Calculator 2️⃣

Как ни странно хочу вам порекомендовать калькулятор для мака которым сам пользуюсь - numi.app

Штука достаточно умная, умеет работать с разными системами счисления, конвертитровать различные величины, причем достаточно интуитивно.

Интересно что, такую приятную штуку сделал рускоязычный разработчик

Часто вижу в русском твиттере самолюбование некоторых разработчиков на тему того какие они крутые, а простые людишки ничего не понимают и получают копейки.

На самом деле большинство таких людей, вовсе не инженеры (я себя тоже инженером назвать не могу), а люди с достаточно простыми рабочими обязанностями по перекладыванию данных из одного места в другое, с некоторыми аггрегациями (в сущности это то, что выполняет большая часть того, что делают программы).

Если представить computer science как церковь, а Джон Кармак - батюшка, то твиттеровские-прогеры - дети пришедшие освятить куличик.

Чтобы не быть как они, а присоединиться к движению Computer Church вот вам пару линков:

https://news.1rj.ru/str/experimentalchill - Канал про плюсы и то как делать высоконагруженные сервисы ( очень хорош, чтобы почувствовать себя глупым)

https://news.1rj.ru/str/brainfuckpc - Чел собрал компьютер на реле, а сейчас собирает компьютер на лампах

https://hackaday.com - Хабр каким он должен быть

https://free-van-ec5.notion.site/Reading-List-c9665d42914841f69ad63e7c41e84896 - ноушен где я по мере возможности собираю прикольные ссылки ( это не много, но это честная работа)

Если есть интересные линки по теме, можете постить их в комменты

🐂 GNU Parallel 🛠

Если вы активный пользователь Linux, вы наверняка пользуетесь кучей инструментов GNU, такие как ls, cat, emacs, tar и прочее

Каждый из этих инструментов обладает большим функционалом, который не используется и зачастую то, что можно было бы сделать с помощью встроенных утилит я делаю на питончике.
Так было и с GNU Parallel, утилитка которая позволяет вам запустить работу скриптов в параллели. Обычно при обработке разных данных я просто использую питон + joblib. Но тут мне понадобилось обработать 300гб аудио. Делать это питоном - глупо, слишком маленький перформанс. Нужен FFmpeg!

Но запускать его в из питона тоже как-то не по канону, тут я и вспомнил про GNU Parallel, двухстрочный код на баше + строчка запуска параллели и вот наши данные обрабатываются во всю мощь.

Там кстати можно передать флажок и смотреть прогресс бар, советую изучить!

https://www.gnu.org/software/parallel/parallel_tutorial.html

📹 Computer Vision Math🎞

Нашел очень интересный канал с лекциями по математике применительно к обработке фотографий.
Это лекции не про привычный вам машин лернинг и сверточки, а скорее разбор математических моделей камеры, как работают различные преобразования координат, некоторная математика применительная к self driving и прочее.

Например очень интересно послушать подноготную фотограметрии!
https://www.youtube.com/c/CyrillStachniss/videos

🤔 Инженерная задача 🧠

Есть у меня чисто инженерная задача, над которой я думаю в последнее время, может в комментариях предложите интересные решения.
Представим что мы гугл, который собирает огромную базу разметки с Re-Capcha и мы хотим обучить классификатор на этих данных.
Предположим что данных за все время набралось порядка 10тб, как же нам обучаться в таких объемах?

Основные проблемы здесь это:
* Хранить копию данных на каждой машине кластера на котором мы учимся - расточительно, особенно при условии, что датасет может регулярно обновляться
* Любая работа по декодированию картинки в float32 тензор и последующие аугментации занимают много процессорного времени, от чего наши гпушки могут простаивать
* Хочется делать максимально скелбл пайплан

Мое решение:

Скорее всего мы не захотим хранить картинки где-то на локальном диске, т.к. на нем просто не будет хватать места, давайте будем делать это в неком s3 подобном облаке.
Поскольку выгрузка и декодирование картинки с аугментациями это сильно CPU bound задача, то мы разделим наш кластер на две части.
1 - GPU тачки с кучей видеокарт
2 - Мощные CPU воркеры с десятком процессорных ядер

Вторые будут молотить картинки для первых и если гпушки будут простаивать, мы просто будем добавлять CPU воркеров до оптимума.

Но как теперь доставлять данные от первых ко вторым? Можно поднять базу по типу кафки и пусть CPU воркеры кладут в нее сразу готовые батчи в виде последовательности байт.
Тогда GPU машины вообще не будут тратить время на формирование батча, а будут копировать набор байт по сети и сразу класть их в сегмент памяти на видеокарте.


Проведя некоторые расчеты с заданными размерами картинок, батча и то, сколько батчей в секунду может обработать одна машина, получается что скорость доступа до данных по сети должна быть как минимум 32 гигабита в секунду.

И тут мне уже не понятно на сколько сложно добиться таких скоростей 🤔

🦇 BAT 👍

Вот бы cat но с подсветкой синтаксиса и номерами строк.
А такой есть - bat

🥷 Secutiry and Hacking ☠️

Нашел крутой канал про кибер безопасность, полезно посмотреть и мльщикам как через ваши веб апишки серверов у вас могут утянуть то, что не хотелось бы отдавать.

Объясняется все коротко, интересно и самое главное - доступно, с приятным видеорядом.

https://www.youtube.com/channel/UCW6MNdOsqv2E9AjQkv9we7A

Обычно здесь только технические посты, но сегодня особенный случай.

Переезд? А может лучше бегство?
⠀
С момента моего более менее осознанного возраста я задавался вопросом переезда в другую страну, на этот счет у меня формировалось какое-то мнение.
Каждый раз когда меня спрашивали хочу ли я свалить, я отвечал:
Свалить - нет, все таки не смотря на все минусы политической обстановки, Россия - мой дом, где я родился и вырос, здесь моя семья и друзья, но я был бы не против переехать в другой город, скажем Лондон, или ближнюю Европу, чтобы понять как это жить в другом государстве и временами приезжать в Россию, чтобы любоваться красотами Петербурга и видеться с родственниками на Урале.
⠀
Но жизнь расставила свои приоритеты.
Пока по городам идут митинги с лозунгами “НЕТ ВОЙНЕ”, в России представления кремля все не так, людей не скручивают в автозак за желания чистого неба над головой, в России кремля люди счастливы и выходят на митинги за “Освобождение Донбасса”, а происходящее в Украине ни в коем случае не война, а “ряд действий обеспечивающий сохранения безопасности на территории Л/ДНР”, именно такую картинку транслируют по ТВ, и будьте уверены, именно такую картинку вбивают в голову большинства школьников прямо сейчас. Я помню как у нас были такие же лекции про Крым и почему он “наш”.

⠀
Я Россиянин, я гражданин, мне не нужен Крым, Донбас, Украина и даже Аляска, мне нужны перспективы развития, нужна свободная экономическая среда, без дряхлых генсеков, я хочу строить технологии, которые будут менять жизни людей. К сожалению Россия настоящего не дает мне такой возможности.
⠀
Я пишу этот текст в большом смятении и переодически перехожу на слезы, но возможно это моя последняя фотография в России настоящего. Увидимся в России будущего.
⠀
Всем мир ✌️

Если вы дата-аналатик, дата-инженер, мл-инженер или, прости господи, дата саентист из Украины и хотите уехать, напишите мне @venheads, попробуем вас быстро прособеседовать и увезти в Лондон, сходу вышлем вам дз или тест, чтобы запустить процесс, без скринов и прочего.

Да и в целом, если понимаете что терпеть уже не можете, можно попробовать. Правда пропускная способность у меня весьма ограничена

Валера крутой, если есть кто-то из знакомых или вы и есть тот самый знакомый — пишите Валере.

Мы ВР компания из Словении https://deovr.com/, активно набираем на позицию data-anything, computer vision и даже просто соображающих менеджеров\продуктов\дизайнеров\юнити-дев. Сейчас пару горячих продуктов на выкате как раз по DL + CV.

Если вы дата-аналатик, дата-инженер, мл-инженер или, прости господи, дата саентист из Украины или России и хотите уехать, напишите мне, набираем команду в Словении. Можно писать на имейл philip@deovr.com

Астрологи предсказали повышенное скопление тракторов