Local-first и децентрализация – Telegram
Local-first и децентрализация
712 subscribers
140 photos
19 videos
3 files
312 links
Replicated Object Notation,
CRDT, распределёнщина и децентрализация.
Ведёт @gritzko
Чат @Ronzgovory
Download Telegram
◌ open a1ece-0
a1ece-302511
◌ cat b0b-6
{_ref:0,Title:"pinc-ponc",Count:223938}
b0b-6
◌ sinc {fid:b0b-6-2,count:1000000,ms:0}
b0b-6-2
1000000 incs complete for b0b-6-2, elapsed 2.587417349s, a1ece-302511..a1ece-3f6751
◌ cat b0b-6
{_ref:0,Title:"pinc-ponc",Count:1223938}
b0b-6

А тут мы видим, как Chotki за 2.58 секунды на ноуте Lenovo Yoga инкрементит счётчик 1 миллион раз. Это не in-memory, это с записью на диск. Если не знать, как работают LSM базы данных, это может показаться фантастикой, а если знать - просто видно, что я ничего не испортил.
С перекачкой данных на другую реплику (на том же ноуте) 3.7сек.
10млн+10млн встречной перекачки в формате RDX управилось за 60 сек. То есть, всё те же 3 секунды на миллион операций.
Как бы метрики ухудшить. Может, в облаке запустить? С докером и кубернетисом?
🍾12👍41❤‍🔥1🤡1
Local-first и децентрализация
И это ведёт к ответу на аргумент про Схему Понци. Да, пирамида это довольно мощный мотиватор роста, но в долгосрочной перспективе проблемный и ведёт к циклам пузыря: надули-лопнул. Это пока состояние экосистем крипты. Система более доброкачественная позволяет…
Опирамиживание экономики (мой термин) это когда тратятся деньги под обещания будущих доходов, а "будущие доходы" не материализуются. В результате образуется висящий долг. Тут можно вспомнить Мавроди, а можно вспомнить теории J.Tainter'а, но неважно. Сегодня на HN в вентилятор попал пост из рассылки Gentoo, где предлагают вписать в политику нежелательность использования AI контрибуторами. Причины:
- непонятность ситуации с авторским правом (AI как "автоматический плагиат")
- плохое качество кода и текстов сгенерированных AI (plausibly looking bullshit)
- ну и тот факт что AI используется, как оправдание массовых увольнений
Совместив в голове эти две темы, мне неожиданно показалось, что в плане опирамиживания AI вообще очень удобная технология. Чтобы, так сказать, съехать с базара. Почему массовые увольнения белых воротничков? Потому что AI заменил. Где моё здравоохранение, я всю жизнь страховку выплачивал. А вот вам (реальный эпизод из маркетинга OpenAI) виртуальная медсестра на основе AI, говорите с ней сколько хотите!
Итого, получается сдув пирамиды по Тайнтеру, под предлогом AI.
Опять же, если AI начнут продуктивно использовать в промышленной автоматизации, я эти соображения возьму обратно.
😁15👍71
Чтобы программировать, нужно быть молодым. Вот я решил проверить, как дела у WebAssembly. Если помните, это легковесная среда выполнения для безопасного подмножества ассемблера. В wasm можно компилить разные программки на C и Rust и запускать в браузере. Ну либо эмбедить этот код в свою программу. С webassembly.org перехожу на wasmtime. Ну, понятно, там советуют curl | sh сразу, печалька. Я всё-таки git clone делаю. 120MB репка. Легковесный ассемблер, ага. cargo build скачивает зависимости, их сотни. Билд ломается, в библиотеке machine learning чего-то не хватает. Ах, да, ещё git submodule забыл. git ещё скачивает... cargo build срабатывает, вот и результат
-rw-r--r--. 2 gritzko gritzko 346489812 Apr 18 09:37 libwasmtime_cli.rlib
-rwxr-xr-x. 2 gritzko gritzko 434775592 Apr 18 09:37 wasmtime

Ну, что тут сказать. Это явно нужно запускать в электроне. Там незаметно будет.
P.S. Есть ещё wasmer, "blazing fast and secure WebAssembly runtime that enables incredibly lightweight containers", но он пока скачивается, репка под гиг.
P.P.S. билдится уже, 600 зависимостей.
P.P.P.S. с rustc 1.79.0-nightly (c9f8f3438 2024-03-27) не собралось
P.P.P.P.S. Там ещё у подпроектов свои сотни зависимостей.
Итого, при сборке wasmer упал rustc.
error: rustc interrupted by SIGSEGV, printing backtrace

/usr/local/bin/../lib/librustc_driver-4caab773549df9ac.so(+0x3016246)[0x7fa4b2016246]
/lib64/libc.so.6(+0x3e9a0)[0x7fa4aee5c9a0]
/usr/local/bin/../lib/../lib/libLLVM.so.18.1-rust-1.79.0-nightly(+0x621d6eb)[0x7fa4ad61d6eb]

Резюме. rm -rf: lightweight and incredibly secure.
P.P.P.P.P.S. wasmtime в release версии всё-таки 35MB, поиграюсь
😁23🤣8🤡5🔥1💯1
Помню, была волна NoSQL баз данных, потом была волна NewSQL, сейчас какая-то волна PostSQL, все мутят поверх Postgres'а что-то. Причём за месяц уже второй анонс "постгрес с бранчами". Сначала Neon от Келвича-Шамгунова, потом EdgeDB от Селиванова (не знаком).
Первые используют слово "бранч" фактически для чекпойнтов, которые получаются дешёвыми/бесплатными за счёт кастомной LSM storage engine. А вторые уже типа и rebase имплементировали, но лично я не использовал, не знаю как оно. (Технически, это нужно прокрутить изменения одного бранча поверх другого, но что скажет на это Постгрес - зависит от обстоятельств.)
Думаю, со временем и Supabase подтянутся и какие-то бранчи исполнят, конкуренция.
Тем временем сам Стоунбрейкер ебанулся вообще на отличненько - пытается из БД сделать ОС. В принципе, выстрелы в эту сторону случались, вот WinFS например пытались что-то исполнить, но сдулись. С другой стороны, в мире БД Стоунбрейкеру уже некого побеждать, так что он двинул на сопредельную территорию. Прям как Тамерлан.
👍73😁2👎1
ChatGPT и прочий AI чем-то напоминает сверхдешёвые китайские товары: выглядит, как настоящее, по факту - говно. Говно в том плане, что чем больше времени/денег на это потратишь, тем больше твой убыток. Это если ты покупатель, а не продавец, конечно.
Причём, в отношении китайских товаров есть нюанс. Я вот в СССР вырос и успел там привыкнуть, что всё нужно чинить. Кто старше 40 в бывшем СССР, те наверное помнят, как телевизор все пассатижами переключали. Подозреваю, переключатели делал один завод, и делал говённо. И никто это не исправлял, потому что всем пофиг, и управы на них нет никакой. И опытные люди обменивались хитростями, как продукцию советской промышленности подфиксить, чтоб нормально было. И фиксили.
Так вот. Китайское говно совершенно иной природы. Оно непочинимо, как шинель Акакия Акакиевича. Там всё по миллиграммам выверено. Просто материала минимальное количество самого низкого качества, но чтобы выглядело как настоящее до момента продажи, ни и может ещё чуть-чуть. Некоторые это объясняют тем, что сталинизм там возник в III веке до н.э. и кто не умел туфтить - передохли.
Но лично для себя делаю два вывода:
- запахло ChatGPT - прекращаю чтение, вечный бан
- не покупаю безбрендовый Китай
Раньше отскочил - меньше потерял.
💯29👍107😁3🤡3👎1🤔1
Local-first и децентрализация
Так вот, по моей прикидке, бурное безудержное развитие темы с AI конкретно в IT и в целом в экономике может привести к цивилизационному коллапсу даже с решением проблемы AI alignment, то есть без AI истребляющего людей, а просто естественным течением процессов.
Вот в ноябре я с потолка сказал мысль (в комментах там), что увлечение AI может подтолкнуть нас к цивилизационному коллапсу. Не через терминаторов, истребляющих людей - а из-за систематической утраты компетенций (все говнякают с помощью AI, никто не понимает что "под капотом").
И вот сегодня я читаю коммент на HN где этот эффект рассказывается, уже как "вести с полей". Реальное новое поколение инженеров плохо представляют, как что крутится под капотом (реальным, у машин), им нужен интерфейс с мышкой и кнопками, это они понимают. И старички вынуждены менять промышленный дизайн, чтобы молодёш смогла разобраться.
А цивилизационный коллапс - дело в общем-то обычное.
👍13🥴42👎1🤡1💊1
Local-first и децентрализация
Один из авторов GitHub Copilot интересно отреагировал на недавние успехи OpenAI. В духе "требую искоренения коррупции или моего участия в ней". Но эта реакция показывает новый водораздел: или у вас есть данные и вы их обороняете как только можете - или ваши…
Ну вот. Я себя порой упрекаю, что негатива много. Тем временем, Альтмана поймали на том, что лучший голос в GPT4o это дипфейк Скарлет Йохансон. Они не договорились видимо по деньгам. Ну, натренировали сетку и заменили Скарлет. Делов-то.
Нет, целью всей движухи с AI не является выкачивание всех ваших данных и обучение сеток с целью контроля/замены вас. Это конспирология.
Тем временем, Microsoft выпускает AI РС, где сетка анализирует в реальном времени ваши действия, всё что на экране и изображение с камеры. "Тут речь о том, чтобы выстроить доверие" - говорит Наделла.
👍4👎1🤔1
Соответственно, возникают практические задачи. В узком смысле, вот опрос по результатам моего курса. Напоминаю, там использовался следующий фокус (анти-списывание)... для каждой домашки было условно 7 задач и 7 языков программирования - то есть, 49 вариантов задания. Потому что типовые задачи можно нагуглить и скопипастить - задаём нетиповые. Нетиповые можно тоже чужие перелицевать - делаем уникальное задание для каждого студента. Понятно, что переписать с языка на язык тоже можно, но в процессе что-то отложится всё же. (Курс чисто удалённый)
Теперь ChatGPT пробивает в этой схеме брешь - как минимум, можно переписывать решение с языка на язык, используя GPT. Чтобы GPT написало приложение по спеке от и до - я про такое не слышал пока. Может чего не знаю.
От других людей слышал, что домашки на GPT становятся нормой у студентов (если задания типовые, то вообще без проблем).
Что делать? Чисто по логике прогресса, автоматизировать механическую работу и самим переходить на более интеллектуальную. (1/1)
🤔3👍2👎1
Пока мысли следующие:
1. Следующие поколения студентов должны не переписывать те же типовые задачи, а строить поверх. При этом они могут использовать любой ранее написанный код. Такой вариант уже использовался. Например, в задании по фаззингу нужно было найти багов в чьих-то решениях из прошлого года.
2. Соревновательность вида "команда А пишет протокол, команда Б ломает". Это решает проблему нехватки времени у преподавателя, но появляется проблема сговора. Вообще появляется интересная социальная динамика, где код уже не в центре.
3. Создание GPT капканов. Типа, функция strlen(), где len это least embedded number, и подобные уловки.
4. Задачи на объёмное понимание предмета, не на механическую работу. Назовём их "коаны".
5. и другие варианты
👍103👎1
Продолжаем веселые натурные эксперименты в области безопасности. Некоторым образом, у меня возникло подозрение, что в номере шарили ночью, пока я спал (привет с Бали). Но как это возможно, ведь я балкон закрываю на ключ, а дверь на ключ и скобу? Ведомый искренним любопытством, я исследовал гостиничную скобу на двери. Производила очень солидное цельнометаллическое впечатление. Увы и ах. Если знать как, скоба легко и бесшумно, просто двумя пальцами, снимается снаружи и так же ставится обратно. Она сидит в петлях совсем не на заклёпках, как кажется.
Применил свой тросовый замочек, хотя Боржоми пить тут уже поздно…
💊7😁6🤡21👍1👎1
Local-first и децентрализация
Продолжаем веселые натурные эксперименты в области безопасности. Некоторым образом, у меня возникло подозрение, что в номере шарили ночью, пока я спал (привет с Бали). Но как это возможно, ведь я балкон закрываю на ключ, а дверь на ключ и скобу? Ведомый искренним…
На конфе в Порто я поделился кое какими своими "гостиничными" трюками с немецким коллегой. Он заметил, что если я поеду в Китай, то это всё не поможет. Вот Госдеп рекомендовал своим в поездки в Китай не брать свой ноут, брать временный, и после поездки от него избавляться. То же со смартфоном. Это рекомендации не только для чиновников, но и, например, для работников университетов, см. ссылки. То есть, дело поставлено на поток. Одни выносят лаптопы в соседний номер и вкручивают жучки, другие завели специальный фонд лаптопов "для поездок в Китай".
От себя только добавлю, что всю ЮВА, где бизнес под китайцами, можно тоже в эту категорию заносить.
Собственно, что Huawei поднялся, украв технологии Nortel в индустрии знают примерно все, так что стратегия работает, вопросов нет...
😱8🤯31👍1👎1🤡1💊1
Local-first и децентрализация
На конфе в Порто я поделился кое какими своими "гостиничными" трюками с немецким коллегой. Он заметил, что если я поеду в Китай, то это всё не поможет. Вот Госдеп рекомендовал своим в поездки в Китай не брать свой ноут, брать временный, и после поездки от…
На самом деле, не так сложно прикинуть что там происходит. Во-первых, кое-что есть в прессе, а во-вторых, ключевые слова - "поставлено на поток".
Когда что-то поставлено на поток, в силу вступает то, что я называю "законом МакДональдса" или "законом Убера". А именно, что возникает техпроцесс и методички, рассчитанные на типовые ситуации, которые случаются с каждым, и которые хорошо просчитываются (хочу кушать - ситуация, картошка в машинном масле и кока-кола - это 100% предсказуемая еда, которая доступна везде, не портится, легка в транспортировке и хранении, итд). Для неизбежных но редких исключений у нас должен быть готов "отъезд по-тихому на лыжах", отмазки и юридические отговорки в ToS. В большом масштабе, всё это ещё просчитывается статистикой.
Соответственно, если мы примерно понимаем, что происходит, и знаем, что всё поставлено на поток, то угадать технические решения (что там происходит с ноутами в соседнем номере) совсем не сложно.
🤔41👎1🤡1💊1
А собственно я в открытую дверь ломился. Вот, безопасник, часто ездящий в Китай всё объясняет на StackOverflow. От себя добавлю, что многое из упомянутого я уже испытал на себе: подмену зарядных устройств, вынос устройств ночью из номера, копирование SSD и установку keylogger, взлом телефона, и хрен знает ещё что, что я не отследил.
Как я что из этого отследил - не скажу, чтоб не облегчать работу говнюкам.
Ещё раз: это всё рутина и применяется на потоке ко всем, у кого может быть что-то интересное.
🤯25🤡2💊21👎1
Media is too big
VIEW IN TELEGRAM
Вот, более подробно, про китайский шпингалет с подвохом. Итого, в спалённом ноуте были только эксперименты, и не самые критичные вещи, опен сорс в стадии разработки.
В целом же, я толком ещё не начал рассказывать, что я за два года узнал про Великий Китайский Насос, и про свою систему защиты тоже пока помалкиваю.
🌚7👍421👎1🤡1💊1
И, кстати, вот моя конспирологическая версия почему Алиэкспресс-Россия открыли, потом закрыли. Чисто моя гипотеза. Аликам интересно было посмотреть, что россияне и яндексоиды умеют. В этом плане Толик Орлов (привет Толик) был идеальный кандидат. Понанимали россиян, выдали лаптопы с системой безопасности, дали несколько лет поработать, всё тщательно изучили, а дальше необходимость в сотрудничестве отпала.

Кстати, есть замечательная книга "Ни Хао" Батанова, которая иллюстрирует этот аспект китайского поведения (уловки и хитрости) на реальных историях из бизнеса.

(P.S. я наверное часто буду про это всё писать, пока чистый ноут не добуду - тогда вернусь к работе)
👍10👎1😁1🤔1🤡1💊1
Поскольку мои эксперименты с ABC косоглазые всё равно спиздили, этот проект досрочно переводится в режим open source. Сомневаюсь, что они за этим и приходили. Но я буду ближайший месяц коммитить ABC с прекрасного Бали. Что-то другое трогать не могу (тоже украдут). Выбора, как видите, особо и нет. Не на пляже же лежать среди стройных красавиц. Но если вдруг перестану постить - значит я там :)

ABC - это Algebraic Better C, я про него тут писал чуть ранее неоднократно (6 раз за 2 года). Буду писать гораздо больше. Но опенсорсить буду по-сицилиански, по одному пальцу файлу.

Заодно отвечу на вопрос "как сделать defer в C" (несложно)... ну и на самый интересный вопрос - почему я в 2024 работаю над диалектом C? (Он разве не слышал про ChatGPT?) К ChatGPT это тоже имеет самое прямое отношение.
👍6👎4💊1
Чемоданное-невероятное

Как лирическое отступление, расскажу-ка ещё недавнюю историю. На дырявом ноуте я всё-таки не могу по психологическим причинам работать почему-то.
Так вот. В прошлом с моими чемоданами случались приключения всякие, поэтому я к поездке в этот раз готовился аккуратно, всё упаковал, перепроверил, коды чемоданов записал. Первый пункт был Бангкок, остановка на ночь, потом рейс BKK DPS на Бали. Чемоданы оставил в гостинице, вышел погулять часа на три. Гостиницу, кстати, бронировал на ходу, уже когда к ней ехал.
Утром, в гостинице, перед выездом в аэропорт, обнаруживаю, что на большом чемодане левый замок открывается любым кодом, а правый моим (записанным) не открывается. Опа. Попробовал так и сяк, не открыл. А чемодан хороший, японский, нареканий не было никогда.
Тем не менее, поехал в аэропорт. С чемоданом, в который не могу заглянуть. Интеллект 90лвл.
В аэропорту открыть чемодан так же не смог, он уехал в багаж, я на самолёт. В аэропорту Бали таможня, прочитав мою фамилию, резко направляет меня на досмотр (одного из огромной толпы). И по рации передают про меня.
Досматривающий хочет посмотреть тот самый чемодан. Второй чем и рюкзак не особо интересуется. Я говорю, открыть не могу, дайте ключ TSA. Он достаёт мастер ключ, открывает.
Наркотиков не нашли в результате. Но я обнаруживаю следующее: после мастер-ключа, замки открываются любым кодом!!!
Через несколько дней у меня дошли руки и я стал лечить чемодан. Левый замок переставил на новый код, правый опять никак не хочет. То есть открывается любым кодом, а менять не позволяет. Я давай перебирать коды 000...999. Замок щёлкнул на 078, повезло. Тут я совсем прифигел. Этот код я использовал в первой половине 2023 на этом самом чемодане, 620078 - это почтовый индекс моего детства. Но с тех пор менял неоднократно и новый на бумажке записанный, совсем другой. Правый - 200.
Тем не менее, удалось сменить код.
У второго же чемодана никаких аномалий не было.
Итого получается, что кто-то зашёл в номер гостиницы в Бангкоке, открыл мой чемодан мастер ключом и выставил на одном замке прошлогодний код.
Ну и, не исключаю, что выдал ориентировку на Бали, что едет наркоторговец. А траву получается сам выкурил. Которую подбросить собирался. Ну, судя по результатам спецоперации.
Вот так и живём два года уже.

В принципе, странноватые истории и раньше были, но не настолько. Один раз я получил этот чемодан из багажа и на замке был код 555. Я предположил, что кто-то перебирал простые коды, но следующую цифру пробовать побоялся :) Другой раз я взял чемодан с ленты, но немного отойдя, решил открыть, проверить. Код не подошёл. Я долго возился, все разошлись уже от ленты. Посмотрел туда - там мой катается, один одинёшенек. И вокруг никого. Посмотрел на этот - они идентичны, Legend Walker одной модели, новые оба, без наклеек. Хорошо до таможни дойти не успел. И жаль, что не догадался изучить бирки багажные.

Но всё равно, в этих двух случаях хотя бы какое-то несложное объяснение было.

P.S. Ну и полностью согласен с мнением, что в TSA замках никакого смысла. Мастер ключи легко достать.
🤯20🥱7🥴7😁2😐21👍1
Media is too big
VIEW IN TELEGRAM
Пожалуй, завершающий аккорд про Великий Китайский Насос. Вот, человек на конфе в Шанхае рассказывает, как всё выглядит со стороны Китая. Если вкратце, за 70 лет стырили полную номенклатуру технологий для современной экономики полного профиля (с 4:00). То есть, международная кооперация им теперь не очень-то нужна - нужны источники сырья и рынки сбыта. А в Европе, например, и в целом в Pax Americana, международную кооперацию специально развивали, "чтобы не было войны". Ни у кого нет экономики полного профиля - никто не может начать войну (пропадут поставки чего угодно - всё посыпется). После двух мировых войн решили так делать. Но теперь это правило сломано. Ну, как говорится, пристегнитесь.
Ведь чтобы поддерживать экономику полного профиля - нужны рынки сбыта больше, чем у конкурента. Эта логика собственно и привела к двум мировым войнам, с железной неизбежностью.
😱10🥴21🥱1😴1
Local-first и децентрализация
Пожалуй, завершающий аккорд про Великий Китайский Насос. Вот, человек на конфе в Шанхае рассказывает, как всё выглядит со стороны Китая. Если вкратце, за 70 лет стырили полную номенклатуру технологий для современной экономики полного профиля (с 4:00). То есть…
Что же до кражи технологий, то тут, по моей оценке, уже ситуация overfishing. Это когда десять дикошарых рыбаков гоняются за последней рыбёшкой. Почти всё что можно было украсть - уже украдено. Крадуны не хотят, чтобы их поувольняли - нужно ещё что-то найти. Собственно, чёс Huawei по российским вузам и институтам, вероятно, имеет эту природу.
В этой связи, конечно, удивил Илон Маск, открывший завод в Китае. Несколько лет прошло - и сотня (!!!) китайских конкурентов, откуда-то получившие технологии, теснят Tesla на всех рынках.
В общем, прогноз негативный. О чём и говорит докладчик (война всех против всех).
😢21🥴1🤓1🙈1
Local-first и децентрализация
А собственно я в открытую дверь ломился. Вот, безопасник, часто ездящий в Китай всё объясняет на StackOverflow. От себя добавлю, что многое из упомянутого я уже испытал на себе: подмену зарядных устройств, вынос устройств ночью из номера, копирование SSD и…
Это кстати очень интересная задача технически - как утащить 100тыс жёстких дисков без палева. Прямо с лаптопов, в гостиницах или где получится. По результатам конечно все поймут, что случилось, но всё должно быть deniable. "Вам показалося, примите-ка таблетку."
Если бы только 100 дисков и только в больших городах (допустим Китая), то можно ниндзя отправлять, которые вися на потолке будут ноуты развинчивать и платки впаивать. А 100тыс уже должно быть
1. idiot proof и
2. deniable.
Мало ли кто будет исполнитель, мало ли что напутают.
Я попробую выстроить цепь логических рассуждений, а через несколько лет может случится leak и мы проверим.
👍31😁1🥴1🤓1