Знаєте, що таке Follow Focus? Це така система наведення фокусу для знімання відео, коли оператор знімає кадр, а фокус йому наводить асистент, Focus Puller.

Автофокус всі серйозні фільмування не використовують — бо якщо на фотках виходить результат роботи автофокуса, на відео буде процес його роботи, і це не найприємніша для ока людини ситуація. Буде ламати четверту стіну. :)

Але тут DJI (так, той, що коптери робить) показав нову, дуже інноваційну камеру - Ronin 4D. Це повноцінна камера зі змінними об‘єктивами, вбудована у стабілізатор (gimbal), з окремим дісплеєм.

Тєма: ти тримаєшся за дві ручки, а під правим великим пальцем колесо для фокуса. А додатково зверху на камері - LIDAR. І на моніторі зверху на картинці (вочевидь двомірній) показується карта глибин того, чого ти знімаєш.

От подивіться тут трохи, це просто фантастика. Там є й інші цікаві рішення (як от змінний байонет, безпровідний монітор), але це — найцікавіше.

Воно все трошки недешево коштує, понад 7 тисяч, але за хайтек треба платити. Файний девайс. :)

Є такий чувак, Ден Луу, у твіттері висловлює цікаві думки. Він і пости пише цікаві, але через його графоманство то майже книжки, важкувато це читати. Він і у твіттері графоманить, але не про те мова. :)

Так ось, він зачепив тему, чому щось зробили колись, а не раніше, і як один з прикладів згадав про системи контролю версій, у такій прогресії: RCS -> CVS -> SVN -> git. Типу, чому концепції гіта, який вочевидь багато чого робить краще, ніж SVN, не видумали раніше? І ось тут мені є що сказати, бо раніше я був version control junkie. :) З роками попустило (не біжу у pijul контріб'ютити), але у гарячу епоху кінця 00-х я був контріб'ютором у Mercurial.

Значить відповідь на запитання проста — нюанси губляться у роках. git ні в якому разі не продовження svn, це тупо інша гілка розвитку. Гіт — це продовження BitKeeper'a, яким користувалися розробники ядра лінукса перед тим. Не тільки, ще був такий проєкт, як monotone, який доволі багато інновацій зробив: згадується, скажімо, використання хешу вмісту комміту та його батьків як ідентифікатора комміту. Тобто цій властивості ми завдячуємо саме monotone, а не генію Лінуса. Він про монотон відгукувався не дуже — бо воно екстремально повільне було, але доволі багато властивостей саме звідти.

Ще була така штука, як Darcs, на Хаскелі, але це теж паралельна гілка розвитку, там доволі цікава теорія латок (the theory of patches). Тобто замість використання DAG (Directed Acyclic Graph), як було у monotone, git та Mercurial, вони юзали латки, які збиралися докупи спеціальним алгоритмом. Який під час деяких мержів мав експоненційну складність, тож збирання репозіторю докупи іноді займало вічність... Але в нього є послідовник - Pijul, здаля цікаво виглядає.

Та й вся та історія про біткіпер, гіт та меркуріал доволі цікава, але, мабуть, іншим разом. А мораль така: коли ти не в деталях, а здаля, то здається, що інновації відбуваються ривками. Але усюди, де я якось пристально наблюдав, вони завжди відбувалися дуже ітеративно. Амінь.

E2EE у чатах

У інтернетах знову срачі за те, в кого шифрування краще — у воцапа, телеграма, сигнала тощо. З того можна зробити кілька висновків.

1️⃣ Найочевидніший — що здебільшого реальна захищеність каналу нікого не турбує. Ну то не сюрприз. :)

2️⃣ В Телеграма найкращий маркетинг. Вони пишуть пости-відповіді на звинувачення від Моксі (засновника Сигналу), які люди шлють один одному як гарний приклад того, що Телеграм молодець. А там жоден пункт звинувачень не заперечений, розмова про інші речі. Файний месседжинг. 😤

3️⃣ Найцікавіше — телеграм не захищений з точки зору zero-trust тусовки, усіх цих веб3 та й всього іншого. Але! Цікаво Мачай відмічає — чому протести у Гонконзі використовували телеграм? Тому що у ситуації, коли конкретно тобою починає цікавитися держава, месседжер — то вже і близько не проблема. Воно тупо може подивитися, хто з людей був на протесті за даними з телефонних сот.

А ось юзабіліті, відсутність шарінгу усіх деталей (номера телефону) по дефолту всім у чаті (на відміну, до речі, від «сек‘юрного» Сигналу), можливість створювати справді гігантські групові чати (тобто паблішінг платформа) - це все суперцікаво з точки зору всього двіжу.

Не те щоб я нахвалював Телеграм, все ж таки в нього є для нас величезна проблема: це російське коріння. Навіть якщо Павло чесний і хоче відкараскатись від тих людожерів, не можна не враховувати, що «органи» як мінімум з ним знайомі. А це погано конкретно для нас.

Висновків не буде, бо в мене їх нема. 🤣 Усіх з Новим Роком! 🎉 Бажаю, щоб висновки приходили простіше, а інсайти — частіше! :)

Останнім часом мені дуже подобається дратувати людей нагадуванням, що у православних Різдво відбувається не 7 січня, а 25 грудня. Всі християни святкують в один день - 25 грудня. Але чому в нас є вихідний 7 січня?

Бо Російська імперія свого часу не прийняла «єрєсь» від римського папи Григорія XIII. Ну типу в нас тут свій патріарх є і він все порішає. Я не знаю, хто там кому лікар — чи то патріарх у Стамбулі не схотів згоджуватись, чи московити — схоже що перші, бо там є ще й новоюліанський календар, якась хитра дурня.

А потім, у 1918, УНР перейшла на «новий стиль» - з юліанського на григоріанський календар. А церква — нікуди не перейшла! Напевно, московський патріарх підтримував царя, тож для них це було не на часі.

Повертаючись на початок — а чому ж дратувати? Бо дивно, але з моїх знайомих ніхто не замислюється, а чому ж Різдво - 7 січня? А ось так. Воно таки 25 грудня.

Вже Саудівська Аравія перейшла! У 2016 році, теж прогресивні дуже. 😁 А що там ПЦУ втикає?

Висить у табах сафарі на айфоні в мене стаття під назвою “The internet made defensive writers of us all”. Все хотів про неї написати, але якось не вдавалося слова до купи зібрати.

А тут довелося покататися по місту і послухав епізод «щіт ай ноу» про історії з Інтернету. Історії непогані зібрали, я в принципі доволі багато реддіт читаю, але ці якось не зачепив. Так ось, у подкасті Діма висловив думку про те, що Інтернет — мертвий. Ось наочно з людиною ти спілкуєшся — і це людина, а її аватар в інтернеті — то видумана, пуста оболонка, і вона мертва, це не справжня людина.

І якось дві ці речі у мене в голові зійшлися, не можу їх полишити. Я, наприклад, намагаюся (чи не ускладнюю собі життя, дивлячись як на це подивитися) аватар не генерувати та бути онлайн таким самим, яким я є в житті. У сенсі не удавати, що я коуч зі знання як все робити у тих випадках, коли я не впевнений у повторюваності результату, наприклад.

Але це небезпечно! Варто було в інтерв‘ю для ДОУ згадати, що мене дратують в айті новобранці, яких не цікавить нічого, окрім грошей, сходу знайшлася купа народу, яка зробила далекоглядні висновки. І що у Касті нікому гроші не платять, і що окрім овертаймів в нас тільки овертайми, і дідовщина, і взагалі в дупу довбимося замість програмування.

Треба чесно сказати, що вийшло там сформулювати не дуже добре, але скажи отак у вічі — і людина спробує зрозуміти, яку емоцію ти хочеш донести. Скажи це в інтернеті — і на тебе нападають скажені «в інтернетах хтось неправий».

Цей стиль, з розшаркуваннями у різні боки та намаганням перекрити всі можливі вектори атаки — неприємно читати. Написано для всіх і ні для кого. Тож я відмовляюся грати у цю гру, палає дупа — зменшуй у ній тиск. :) У сенсі, як писали у книжках, автор розраховує на здоровий глузд і буденне милосердя читачів.

Гарних усім свят! 🎉

colors, faker et all

Давайте я теж висловлюсь про цю історію. Короткий зміст драми: якийсь пацан написав дві бібліотеки, виклав їх в опенсорс (під ліцензією MIT), вони стали популярні (28 млн звантажень на тиждень), тож він вирішив, що дуже погано, що великі компанії йому не платять гроші, і поламав ті бібліотеки так, щоб всі пішли на його сторіночку і почитали, що йому потрібні гроші.

А на сторінці faker.js ще додатково написав "що відбулося з Аароном Шварцем".

Зовсім випадково в мене є кілька думок з того приводу!

1️⃣ Те, що написав apenwarr: ти подарував свій код цьому світу. Які взагалі претензії? Ніхто тебе конкретно не просив нічого робити. Ти зробив, воно тепер популярне. Молодець, використай це для розвинення власного бренду.

2️⃣ Те, що написав Армін: такі історії відвертати увагу від справді важливих речей. Краще б компанії давали гроші авторам curl'у, openssl чи libxml2, а не авторам colors.js та faker.js. Плюс він кльово підмітив: Github Sponsors, який наче намагається вирішити проблему з компенсацією зусиль авторів, дивиться не там, де треба (як от в історії з openssl), а там, де є світло (як в анекдоті з пошуком ключей).

3️⃣ У npm є дві величезні проблеми. Перша: замість конкретної версії дуже легко вписати "щось типу версії 1.2.0", і воно автоматом при звантаженні само вирішить. І в результаті те, що було при розробці, при тестуванні та в продакшені — це можуть бути різні набори коду. Так, можно вказати конкретну версію, але так роблять тільки дуже свідомі люди. Їх пара десятків у всьому білому світі, бо більш свідомі просто не пишуть на ноді.

Друга проблема: якимось чином простота публікації пакетів призвела до лефтпадів та isEven. У світі пайтона (де з залежностямі можливо все ще гірше) чомусь такого не відбулося, а от у світі ноди на npm така кількість бруду, що це просто звіздєц. І colors/faker це не совсім лефтпад, але це точно не інфраструктура, яка вкрай потрібна.

4️⃣ Якого біса приплітати Аарона до цього? Не пам'ятаю, щоб він закликав опенсорсних авторів нападати на капіталістичних свиней заради копієчки. Леніна треба було згадувати.

Колись у сиву давнину (навесні 2017, щоб бути точним) написав нам OWOX з цікавою пропозицією: додайте наш скрипт на сайт і ми перекинемо всі ваші події у веб-аналітиці в BigQuery.

BigQuery - це такий Data Warehouse від Гугла, який вміє ворочати ну дуже великими обсягами даних. Тобто суть пропозиції у тому, що ми зможемо аналізувати те, що відбувається, не так, як задумано у Google Analytics, а як завгодно. Ну дуже цікаво, погодьтеся? Єдина річ — що вони за те хотіли доволі багато грошей. Не пам'ятаю суму, але це точно навіть не тисячі доларів на рік.

Скажу вам, що жаба для мене як мотиватор схоже непогано працює. У сенсі ну скільки там тієї роботи — записати дані у BigQuery? Зробив на фронті, щоб події GA копіювалися нам в спеціальний апі, той скидає їх у кафку, а потім з кафки перекидається у BigQuery. Все супер, і потім ми з того виростили свою аналітику з ClickHouse'ом — до речі, по тій самій причині, BigQuery недешевий, коли даси йому складне запитання. :))

Але був один нюанс. Для конекту до бігквері я використав гугловську джавну лібу, і щоб усе запрацювало, витратив довбаний тиждень. Бо апі в неї — гівно, помилки — гівно, підхід до авторизації — гівно, і взагалі. А як вишенька на торті — при оновленні вона ламалася. Десь всередині, то NPE якийсь, то ще щось. Не статична типізація, а хрін зна що.

Ну типу інжиніринг від Гугла, що ви взагалі очікуєте. 🤕

Так і була в нас кілька років забита у залежностях стара версія, від лютого 19-го року. А вчора настрій був, сів, вичистив з коду останнього користувача і прибив лібу з залежностей. Кайф. ☺️

А по мотивах тих страждань я написав власну лібу, яка просто використовує HTTP і тому не ламається. Не дивлячісь на назву, ми її для бігквері вже не юзаємо, а як інтерфейс до гугла - аж бігом. :)

Думав, що недочекаюсь. :) Ми випустили третій випуск RTFJ, на цей раз — з Єгором Назаркіним. Дуже прикольна розмова вийшла! Єгор зараз Engineering Manager у HealthJoy, в минулому займався організацією пайконів, та й загалом дуже відомий у Python-ком'юніті.

В нас вочевидь трохи розбігаються погляди на деякі технології, хехе, але ми норм пообговорювали і пайтон, і бази даних зачепили, і проблеми зв'язку у Сибіру. :))

Кароч велкам подивитися і не забувайте ділитися з оточенням. :)

На подкаст-платформах (або шукайте Fwdays Tech Talks у вашій апці):
SoundCloud 👉 https://bit.ly/3H4iysi
Apple Podcasts 👉 https://apple.co/35fzcag
Google Podcasts 👉 https://bit.ly/3qZyeaI

Омікрон

Я попередні хвилі корони оминув, а цю не вдалося. :) Дві модерни не врятували повністю, хехе. Вночі на минулий понеділок температура злетіла за 38, аж трясло від холоду — добре, що парацетамол допомагав і збивав температуру. В середу накрило дружину, а в четвер мені стало ставати краще, навіть поспав.

Це насправді найцікавіший (якщо можна так сказати, ехехе) ефект. Сил діяти бракує, здавалося б — спи, поки діти дозволяють, але ні, о 3 ночі прокидаєшся і все, нічого не допомагає. А до ранку приходив у стан повної розрухи, тупо жесть. Добре хоч вдень додатково з годину вдавалося поспати.

Ну і всі супутні срані — нежить, кашель, головний біль, короч набір не з приємних. З іншого боку, судячи з розповідей про попередні хвилі, то омікрон більш зорієнтований на розповсюдження, ніж на завдання важкого удару, і проходить трохи легше. :)

А от наслідки нервують. :/ Кашель досі не пройшов, бігати за дітьми зараз важче, а працювати головою це взагалі жесть. У вівторок трохи перелякався, бо після пари зустрічей відкрив код щось роздуплити й голова кругом пішла. 😱

Але вчора вже краще було, тож, здається, потроху відновлююся. Та й минулого тижня взагалі думати важко було зовсім, хаха. Згадується пост на quora, як чувак тупим став (не можу щось лінк знайти).

Рейтинг: 3/5, свідомість не губив, до лікарні не потрапляв, але рекомендувати не можу. 😁

Завдяки Борису Джонсону я дізнався, що назва Foursquare - це не аллюзія до «на всі чотири сторони», чи радше не тільки аллюзія, а ще й окреме слово, яке означає «міцно, із завзяттям і переконанням, безкомпромісно». Типу будівля може stand foursquare, скажімо. Прикол реально. :)

Це нагадує, що вигадувати назви, не бувши нейтів спікером, дуже важко. Я колись написав для пайтона бібліотеку парсингу опцій — бо наявні поводилися набагато гірше, ніж те, що було в меркуріалі. Там можна було вказувати тільки кілька перших букв команди/опції, кльове розрулювання конфліктів, компактний запис у коді — а наявні опшнпарсери та гетоптс та інші були не ергономічні та рагульні.

Написав і назвав finaloption - з натяком на те, що це останній парсер опцій, після нього вже нічого не треба робити. Але це ще й сталий вираз, який проміж іншим означає останнє бажання перед стратою. Не можу нагуглити це, до речі, але мені кілька людей сказало про те, тож я перейменував лібу на opster.

Ну як у приказці, іменування — одна з двох найважчих справ у програмуванні.

Чи можна полюбити код іншої людини

Накаталися з малим з гори (тааак, цей момент прийшов, я катаюся на лижах разом з сином!), замучився і відкрив ютубчик повтикати. А там новий подкаст ДОУ, і прям у нарізці на початку Діма Малєєв каже "я ніколи не бачив програміста, який відкриває чужий проєкт і каже: боже, яка красота".

Ну що тут сказати, у програмістів є слава гірша, ніж в стоматологів, які теж дивляться у твій рот і починають ганьбити попередників. Головне, щоб не як в історіях про те, як annotate показує, що попередник — це ти сам. 🤣

Але ж причини того прості й зрозумілі: дедлайни, кваліфікація й обмеження.

1️⃣ У комерційних проєктах одна з найважливіших речей — це швидкість реалізації. Хочеться, щоб щось запрацювало одразу, як вирішили, що ж потрібно робити. Тож навіть без дедлайну, зробили так, щоб воно більш-менш підтримуване було, протестували — і у реліз, а розробник займається наступною задачею. У всіх ця межа достатності різна, але загалом нема сенсу полірувати до нескінченості, то грошей не приносить.

2️⃣ Кваліфікація в людей різна. Хтось краще, хтось гірше, і всі без виключення в перші роки досвіду проходять етап бажання писати якомога складніший і крутіший код, так щоб показати всьому світу, що ти можеш. А часу переписати попростіше вже немає, тож максимум будуть виправлені найгарячіші місця, а далі за схемою про нестачу часу.

3️⃣ Коли код пишуть, обмежень купа — окрім часу, є усні домовленості, якісь прийняті у проєкті підходи, якісь технічні проблеми (може навіть тимчасові), щось у голові в розробника, щось у голові в його рев'ювера, вигадайте корочє самі. А коли ти відкриваєш і дивишся код, то ти всіх обмежень, в яких знаходився розробник, не знаєш, зате бачиш замість простого і симпатичного коду для базового юзкейсу купу якихось нагромаджень.

Але є категорія проєктів, де цих обмежень майже не існує. У опенсорсі ніхто тебе не підганяє, ти сам вирішив щось написати. Тож не поспішай, зроби, як хочеться, щоб відчувати задоволення від результату.

А якщо тобі прислали зміни з поганим кодом — ніхто не заважає від них або відмовитися, або навчити людину, щоб вона написала краще. Адміністративно ніхто не давить. Психологічно — трошки є, але це інша проблема.

І обмеження рідше зникають і рідше з'являються, тому що навіть сукупність людей у проєкт стабільніша, ніж в комерційних, бо люди приходять не роботу робити за гроші, а через свої інтереси.

На мене, наприклад, дуже вплинув код Mercurial. Метью, автор Меркуріалу, дуже багато уваги приділяв простоті архітектури та коду, зворотній сумісності, когерентності функціоналу й обмеженості фіч, які попадають у ядро. Тож у 2008-му я був тим програмістом, який відкрив чужий код і сказав — боже, яка краса! 😁

Це був не перший і не останній раз, але найяскравіший для мене.

Щось мене пробило ностальжі, можна я вам розповім історію про геймінг у сиву давнину 94 року?

Нам з братом неймовірно пощастило й у 94 році в нашому житті з‘явився 486SX25 (досі не знаю звідки). Один з першої партії четвірок в Україні, я так розумію — порізана модель проца (на 25 мгц і без сопроцессора), вінт на 120 мб (як зазвичай до 386 йшли, для четвірок були більші), і 4 мб ОЗУ (це важливо для подальшої історії).

І там на ньому було кілька базових ігр, а потім папа з роботи дискетами приносив різне, типу перших гоблінів — досі пам'ятаю, як тре почекати, поки вона нагріється, "аби конденсат не вбив дисковод". 😁 А потім сталося чудо — ціною відсутності диска протягом кількох тижнів (це я вже з батьків показники зняв, мені здавалося що півроку без компа прожити прийшлося) в нас з‘явилася купа ігор. В тому числі дум — який не запускався! 😭 Тож ми шпілили у вольфенштейн, у танчики (так, за 20 років до всіх, ггг), етц.

Чому не запускався? Ось тут складно! Дум хотів 4 мб ОЗУ, які в нас наче були, так? Але під час запуску комп'ютера виконувалися інструкції у CONFIG.SYS та AUTOEXEC.BAT, які запускали різне — драйвера для відео (бо ж VGA, а не EGA, аж олдскули зводить), резидентну програму (це типу демона зараз) для перемикання розкладки клавіатури, волков коммандер (передав би привіт Сєві, цікаво, де він зараз), ну й таке інше.

А ми, вочевидь, не сильно розчехлялися, що відбувається. А потім у нас в гостях знов був той самий друг батьків, завдяки якому всі ці ігри з'явилися, і навчив: під час запуску натискаєш F6, і дос запускається у щось типу safe mode, без виконання всіх тих файлів. Плюс написав нам doom.bat, який щось підгружав (підозрюю, що вга-драйвер, і може ще щось).

І воно поїхало. Після гоблінів, танчиків і вольфенштейну це була магія. Воно снилося мені у снах. Я придумував історії, які відбувалися у тому світі. Намалював скриншот з дума у школі, коли на малюванні була "вільна тема". :))

А потім! З відрядження до Києва папа привіз ще 4 мб ОЗУ і звуковуху. Пройшло майже 30 років, а я досі пам'ятаю своє хвилювання, коли замість натискання F6 я у Волкові навів курсор на doom.exe, натиснув Enter і воно запустилося. Серце стучало що капець. :)

Не знаю, чи воно сформувало мене як особистість, бо ігри писати я не почав, людей стріляти також, але потім у q3 грав доволі багато, і зацікавленість, що ж там у тому AUTOEXEC.BAT переросла у колупання у кишочках комп'ютера й ось ми тут.

P.S. Думаю, що вся ця двіжуха з компами — це тупо робочий комп вдома, бо їсти було нема чого, а комп'ютер вдома стояв. :)

Дружина вмовила подивитися випуск Дудя про білорусів — я його зазвичай не дивлюся, бо від нього тхне імперським синдромом, але тут цікавість переборола неприязнь.

І ось цікаве — люди різні, але майже в усіх критичний інфантилизм у голові: ну це ж влада, а не люди, що ж поробиш. Росіяни теж дуже хороші, а Лукашенку Путін допомагав, ну теж влада, що звичайні росіяни можуть зробити... вони ж нічого не вирішують, просто такі хороші сидять по домах. Співчувають нам, напевно. Наче владу бог згори назначив і оце вони тому знаходяться.

Ще один цікавий момент був, коли прийшла соцслужба через те, що хлопчик 10 років біло-червоно-білий прапор у школі намалював, прийшли до мами і кажуть: напевно, прийдеться відбирати у вас дітей, а що ми зробити можемо... Ну у сенсі що? Банально італійську забастовку можете, ну ви ж бачите, що це абсурд зовсім? Бачать, але виконують.

На жаль, моментом скористатися білоруси не скористалися — і замість аналога майданів вийшов аналог російських мітингів, ще й потім розігнали всіх активних людей по різних странах. Тож здається, що реакціонерна політика у Білорусі проживе, на жаль, ще дуже і дуже довго. :(

На дворі весна і путєн сходить з розуму, але життя не зупиняється, плюс ми це записали ще кілька тижнів тому. Тож новий випуск Right Tool For the Job, на цей раз з дуже відомим у ютубі білорусом, Льохою ITБородою — тому російською мовою (спойлер: у наступному випуску все нормально :)).

Вийшло дуже весело, тож, якщо хочете відірватися від подій на вулиці — це воно. Чекаю на ваші перегляди та коментарі. :)

SoundCloud 👉 bit.ly/3h5LPaF
Apple Podcasts 👉 apple.co/34ZqBsC
Google Podcasts 👉 ​​bit.ly/3H7Mx1F

Всім привіт! В мене тут випадково організувався контакт у Шевченковському військоматі Києва (що на Салютній 4), і вони кажуть, що дуже потрібні кілька ноутів (штук 3-5) і пара принтерів.

Якщо в когось з вас є техніка, яку ви готові віддати, напишіть в коментах, будь ласка. Авжеж, бажано на правому березі у Києві, щоб це можна туди якось доставити було.

Може в офісі щось старе є, або по знайомим? Попитайте, будь ласка.

UPD. Все знайшли і відвезли, спасибі, Сергій!

Ми вчора доробили до більш-менш якогось робочого стану сервіс для інформування росіян про те, що їх ЗМІ їм брешуть. Ідея така: якщо в тебе є сайт, на якому бувають відвідувачі з Росії — ти можеш їм спробувати розповісти про те, що відбувається насправді.

Качаєш скріпт собі (щоб запобігти проблемі, коли наш сайт вже заблокований), підключаєш — і всі відвідувачі з Росії бачать величезний чорний попап (раз на годину). Скрипт намагається спочатку показати HTML, який ми хостимо, щоб можна було оновлювати текст, а якщо за 3 секунди не вийшло — то показує вбудовану версію.

На випадок, коли домен заблокований, там є ще кнопка, яка веде на телеграм-канал, де ті самі посилання. Взагалі здається, що якби був канал з інформацією для росіян, можна було б туди вести, але я такого не знаю.

Скрипт доволі простий і швидкий і для всіх інших (окрім росіян) буде непомітний, тож підключайте собі на сайти, і розповсюджуйте знання по знайомих!

Цікаву тему прочитав у пана Макса Бергмана, який у 14 році працював у американському уряді і приймав участь у підримці безпеки України. Коротко: США зазвичай допомагають армії країни зброєю та тренуванням, але у нашому випадку не вистачало часу. Доставити Джавелін — це від 6 тижнів плюс ще час на тренування. А конфлікт настільки гострий, що двох місяців на апгрейд ситуації немає — ну ми це й самі пам'ятаємо.

Тож вони почали те, що можна було почати робити прямо зараз — стали навчати ЗСУ процесам, організації, робити реформи основних функцій (типу сек'юрних комунікацій замість того, що зараз в московитів). Це фантастичний збіг, коли короткострокові цілі збіглися з довгостроковими — і дають величезні дівіденди зараз.

Якщо так подумати, це ж власне ідеальний кейс стартапа, коли MVP повністю збігається з тим, що потрібне ринку. :)

Потребую допомоги залу! 😁 Спілкуюсь останнім часом з "Повернись живим" і в них є цікава проблема. Історія починається з того, що вони зробили фінансову звітність відкритою, найпростішим шляхом: виклали xlsx з нею на OneDrive. Це кльове рішення, але скейлиться воно до якогось масштабу — зараз там 360 тисяч записів тільки за цей рік, і всі юзкейси розвалюються: фільтри в ікселі тормозять і показують тільки перші 10 тисяч значень, пошук тормозить, агрегувати дані неможливо.

Ми вчора обговорили і визначили два основних юзкейси, які можна насправді розділити:

• Зробити так, щоб людина могла знайти свою пожертву у списку всього, що надходить. Там є сума, комент платежу (або країна у випадку, коли пройшло через fondy), ну короч це можливо, але кльово б мати фільтрацію по даті і пошук по коментарю.
• Дати можливість фінансисту "ПЖ" з того робити якісь звіти/висновки, тому що іксель такого розміру робить боляче.

Що я думаю: скласти оці всі дані у SQLite (або постгрес, здається, що неважливо), і дати якийсь інтерфейс до них без sql'ю. Що я вже подивився:

• datasette: не потребує реєстрації, показує дані, замапити поле з датою у дату не хоче, пошук зробити не дає, якийсь графік дає змогу побудувати, але нічого не будує.
• metabase: показує дані, мапить дату в дату (бо в sqlite же ж немає типу поля date), досить легко відфільтрувати по стовпцю, будує графік, дає можливість зберігати звіти, але потребує реєстрації!
• nocodb, рекламується як airtable для твоєї БД. Ну це взагалі не туди, вони там формочки роблять, картинки у полях, це не про звіти і не про пошук.

Ну ви зрозуміли, пишу спитати, що може в кого є ідеї, що можна готового заюзати для публічного інтерфейсу для БД, якщо хочеться нічого не писати? Тобто хочеться писати, але я себе стримую, бо так в житті нічого не встигнеш. :)) Тому допоможіть мені будь ласочка придумати інтерфейс для нормальних людей для доступу до (не)великої кількості даних!

Metabase насправді виглядає як непогане рішення для другого юзкейсу — засетапити аккаунти для всіх зацікавлених співробітників, трохи звикнути до інтерфейсу і можна робити купу справ. Але для звичайних людей зі сторони він занадто складний. Давайте свої ідеї, попитайте в знайомих, задача здається доволі очевидною, але нагуглити рішення чомусь не вдається.

AWS

Пам‘ятаєте попередній пост про те що треба трохи даних обробити та зробити дешборд? Ну авжеж, це ж тільки два тижні тому було. А знаєте, чим я займався ці два тижні?.. Не тільки цим, але я просто в ужасі. Не читайте далі, якщо технічні подробиці вас лякають.

Зробити скрипт, який закидує дані з цсв у постгрес у мене вийшло за день з невеличким. А ось потім щось пішло не так... Чомусь я вирішив замість простої схеми «осьо віртуальний сервер, там все запустили й поїхали», що треба якомога більше managed все мати, щоб потім це не підтримувати. Амазон же ж багато всього пропонує!

Значить вимальовується така схема: завантажуємо файли в S3, це триггерить Lambda, яка файл обробляє і складає в інший бакет, звідки його читає Athena через Glue, а показує дані QuickSight. Я зазвичай дотримуюсь правила «не більше однієї незнайомої технології на проєкт», але цей казався маленьким і гідним того, щоб зробити один раз надійно.

1️⃣ Lambda

Я тут задовбався, але може окремо напишу — в мене вийшло 5 абзаців, а в телеграмі є обмеження на довжину повідомлення. :( З цікавого в результаті: парсинг пайтоном ікселю на 7 мб на ноуті займає 7 секунд, на хецнері за 5 євро - 14, на лямбді - 40-50.

2️⃣ QuickSight

Зібрали дешборд на квіксайті, і виявилося що оновлення буде не дуже в реалтаймі. Ну типу можемо кілька разів на день оновлювати, але часто (або по триггеру з лямбди, що теж потенційно часто) - буде дорого. Ооок, але наче працює, давайте покажемо світу? Хрін там! Публічним квіксайт зробити неможливо!

3️⃣ Athena

У цей момент я психанув, зарентив ec2 і запхав туди метабейз. Для метабейзу є сторонній коннектор для Афіни, тож, думаю, зара буде все супер. Метабейз поїхав, побачив дані, їх схему, єєє, перемога. Зараз все буде.

Тільки дата, за якою я хочу мати фільтр, це строка, а не date чи timestamp. Тому Афіна каже "вибачте, для цього оператор >=" застосовувати неможливо. Окей, знайшов, що схема даних визначається у Glue, змінив на timestamp зі string, як справи? Помилка, каже, Hive таку дату розпарсити не може.

Тож зробив я додаткову колонку, date.timestamp() * 1000 — ну там же ж Хайв, він точно захоче міллісекунди (я такий здогадливий, це жах). Фух, запрацювало!

Повільно тільки... Ну ладно, Metabase вміє кешувати результати, тож у середньому може буде не сильно боляче. Ну і ще фільтрація чутлива до регістру, наче баг в метабейзі — але це можна обійти, переробив запроси на SQL замість конструювання в інтерфейсі.

4️⃣ S3

Ну все, залишилося тільки навчити замовника завантажувати файли в S3. А там теж інтерфейс мрії, купа кнопок, а ще неможливо зробити так, щоб користувач тільки 1 бакет бачив... Написав інструкцію, записав Loom з демкою, і в кінці навіть зідвонилися телефоном — і в неї білий екран замість прогрес-бару аплоаду. Я без дупля, що там за проблема, домовилися на наступний день у зумі подивитися.

Прокинувся зранку і закинув файл: наче все нормально, але трошки форматування цифр у коментарі не подобається. Ок, поправив скрипт, задеплоїв лямбду, закинув файл заново — і помітив, що в метабейзі дублюються дані.

А логіка в мене така: з клієнт-банку будуть окремі файли, і за один період у файла буде завжди одна й та сама назва. Тож я просто заміняю файл з такою ж назвою і тоді дублювання даних немає. От тільки я бачу дивне — у бакеті з результатом два файли з однаковим іменем. По всім докам і обговоренням в інтернеті такого бути не може, але я бачу. Ну жесть.

5️⃣ Інтерфейси

Хочу звернути особливу увагу, що це ж все low-code, тобто гемор. Всі налаштування відбуваються у купі форм на купі сторінок, кожна з яких завантажується мінімум кілька секунд, щось змінити — все ж unbundled — це піти потикатися у три-чотири різних сервіси, а потім у термінал подивитися логи лямбди. Цикл фідбека довжиною у хвилини, просто нереально повільно рухаєшся.

6️⃣ Ми тут

Схоже шо перероблю на шось простіше з постгресом. Бо я хз, хто цим може нормально користуватися. Здається, що AWS тримає людей у заручниках і викликає стокгольмский синдром.

З початком війни у мене в голові гуляє купа думок з різних приводів — вочевидь, як і у вас. А ще таке неприємне відчуття, що мені критично не вистачає гуманітарної освіти, щоб ті думки нормально сформулювати. Можливо це все вже було розписано у дослідженнях, а можливо ще тільки буде — але мені треба десь висловитися, бо не дає спати.

⏳ Боротьба ця продовжується вже 800 років, з тої самої битви на Калці (це де Волноваха, до речі!). З великих подій потім, які змінювали хід історії, це напевно Битва на Ворсклі, Переяславські статті, Полтавська битва (знов Ворскла), може руйнування Січі (хз), захоплення УНР, і ось теперішня війна. Здається, що зараз Україна перший раз у більш-менш пристойному стані (з точки зору волі та єдності) з 14 сторіччя. Це капець, якщо подумати.

😖 Культурна різниця між нами та москалями — неймовірна. До мене це дуже довго доходило, бо я велику частину знань отримував з книжок — а які книжки були на полицях у 90-ті? БСЕ, БЕС, СДЕ (всі «С» - совєцький), і т.і. І хоча навіть після них та совєцьких підручників по історії я Московію недолюблював, але модель світу воно дає схиблену. Так щоб прям починати усвідомлювати — я це почав у 2009-му, коли сам поїхав туди та прозрівав з кількості агресії на вулицях людей один до одного. Касирка якось наорала на мене за те, що не вдавалося просканувати штрих-код. Але тільки ця війна показує справжню відстань. Орда — це не просто варвари, на жаль.

🤌 Те, що хороші часи виховують слабких людей — це правда. Всі політики Європи занадто юні, щоб добре пам‘ятати, які насправді москалі. Тому з радістю пристають на шлях домовленостей з ними — тому що зиск великий! На відміну від нормальних країн, які торгуються за свої гроші, верхівка москалів не так жлобиться розкидуватися грошима, бо вони накрадені. Зисковна діяльність, а мораль почекає.

👹 Промивання мізків працює. Якщо почитати біографії німецької верхівки, вони всі там комсомольці (FDJ, Jusos, як не назови, а вуха стирчать), і це вочевидь залишає якийсь відбиток на свідомості й сприйнятті світу. Ну типу це ж моя молодість, не може Московія бути зовсім поганою, коли в мене були такі яскраві почуття і не боліла спина чи що там в них зараз болить. Людині загалом важко признатися собі, що 10 років юності витрачені на гниль впусту, тому й Московія якась туди-сюди. Як Тіль Ліндеман, який поїхав співати на параді (!) московитів. Ну каша в голові, бо юність засрали.

👊 Русофобія. Не можна сказати, що "не всі московити погані". Всі. Так, я особисто знаю кілька людей, які вочевидь нормальні й деякі з них навіть допомагають Україні. Але їх кількість у загальній масі мізерна і вплив на культуру відсутній. Всі, хто нормальний і мав хоч якусь платформу для виголошення — їх або кенселять (як Новодворську), або вбивають (як Нємцова).

💡 А культура — це все. Дуже хотілося б почитати серйозні дослідження про те, які чинники впливають... особливо про нашу цікаво, а ще про те, чому сама войовнича нація Європи тепер такі сцикуни, га, Макрон? )) Люди при владі, стосунки у родинах і у суспільстві, взагалі все життя — це все культура.

⚡️ Прочитав тут ще думку, що в нас багато корупції через те, що ми у складі орди дуже довго пробули. Але коли читаєш за часи Руїни й там кожен сам собі щось тягне... мені віє корупцією та брехнею від того. Хоча, авжеж, людська пам'ять коротка і зараз (дивись вище), а тоді козаки, схоже, не уявляли собі, що московити — то не поляки, не татари та не турки. Шкода, що не розуміли цього.