Знаете, что нужно, чтобы взбодриться перед первым рабочим днем?
Пасты про кубер!
Пасты про кубер!
👍4😢4🤮1
Forwarded from Кубернетичек
я любитель поболтать о кубах, но еще мне нравятся дискуссии о борге. Давеча дискурировал на счет него аж два раза. Думаю можно рассказать основные мысли о нем, на основе уже старой статьи, но другого ничего у меня нету. Поэтому я выскажусь как смогу.
в самом начале говорится:
а в конце в learning bad сравнивают jobs и task подход с кубовыми примитивами pods. Говоря о том, что в кубе лейблы для подов можно назначить более гибко, что назначать лейблы на поды и группиповать их как им удобно. Сейчас уже навреное в борге уже так и работает, но мне больше интересно то, что несмотря на то, что борг считается предком куба, они скорее развиваются по паралельно, "участь" у друг друга. Те изначально архитектура куба закладывалась на основе знаний борга, то сейчас видимо, борг "подсматривает" что-то как развивается куб.
Второе, что бросилось в глаза, это как устроен сам кластер борг. Он разделен на cell (группы бареметал машин которыми управляет borgmaster). И это напиминает о том, куда сейчас дижется индустрия. Начнем с того, что резделение borgmaster на cell в рамках одного кластера, напоминает концепцию куб ин куб, в той части, где в кубе находится контр плейн управляемых кубов. Например, сам гуггл так деплоит кубы в он-премисе. Так делает vcluster. Похожий подход у кластер апи. Мне тоже близка эта идея, так проще и гибче управлять контрплейном, скалировать вверх, вниз. И в статье прямо не скаано, что они имеют общий сторадж, говорился лишь о paxos store. Судя по описанию, что-то вроде spinner like система (имет sql like под капотом). Тут больше подходит идея, малтитенант сторадж, что-то подобное предлагаются сделать через nats. Пока этоа часть сырова-то, но движение в эту сторону уже есть.
Медиана 10к нод на cell - мое уважение, есть такие отчаянные как open-ai, кто уже заскейлил до 7500 нод, но в целом, по моему опыту, приседания уже и на 200 нодах в кубе начинаются (а то и раньше, если в кубе очень много джоб запускаются или часто обновляются эндпоинты), ввиде выноса ивентов в отдельный етцд, в отдельный етцд состояний для cni и кеширующих прокси для них (так уже делают силиум и калико, например), и по мелочи всякого. В документации по етцд рекомендуется ограничивать размер его 8 Гб. На моей практите, два кластера уже стопались из-за этого, сперва из-за огромного количества secrets, во-втором - не успели среагироват на утечку CR'ок.
в самом начале говорится:
Users submit their work to Borg in the form of jobs, each of which consists of one or more tasks that all run the same program (binary). Each job runs in one Borg cell, a set of machines that are managed as a unit. The remainder of this section describes the main features exposed in the user view of Borg.
а в конце в learning bad сравнивают jobs и task подход с кубовыми примитивами pods. Говоря о том, что в кубе лейблы для подов можно назначить более гибко, что назначать лейблы на поды и группиповать их как им удобно. Сейчас уже навреное в борге уже так и работает, но мне больше интересно то, что несмотря на то, что борг считается предком куба, они скорее развиваются по паралельно, "участь" у друг друга. Те изначально архитектура куба закладывалась на основе знаний борга, то сейчас видимо, борг "подсматривает" что-то как развивается куб.
Второе, что бросилось в глаза, это как устроен сам кластер борг. Он разделен на cell (группы бареметал машин которыми управляет borgmaster). И это напиминает о том, куда сейчас дижется индустрия. Начнем с того, что резделение borgmaster на cell в рамках одного кластера, напоминает концепцию куб ин куб, в той части, где в кубе находится контр плейн управляемых кубов. Например, сам гуггл так деплоит кубы в он-премисе. Так делает vcluster. Похожий подход у кластер апи. Мне тоже близка эта идея, так проще и гибче управлять контрплейном, скалировать вверх, вниз. И в статье прямо не скаано, что они имеют общий сторадж, говорился лишь о paxos store. Судя по описанию, что-то вроде spinner like система (имет sql like под капотом). Тут больше подходит идея, малтитенант сторадж, что-то подобное предлагаются сделать через nats. Пока этоа часть сырова-то, но движение в эту сторону уже есть.
Медиана 10к нод на cell - мое уважение, есть такие отчаянные как open-ai, кто уже заскейлил до 7500 нод, но в целом, по моему опыту, приседания уже и на 200 нодах в кубе начинаются (а то и раньше, если в кубе очень много джоб запускаются или часто обновляются эндпоинты), ввиде выноса ивентов в отдельный етцд, в отдельный етцд состояний для cni и кеширующих прокси для них (так уже делают силиум и калико, например), и по мелочи всякого. В документации по етцд рекомендуется ограничивать размер его 8 Гб. На моей практите, два кластера уже стопались из-за этого, сперва из-за огромного количества secrets, во-втором - не успели среагироват на утечку CR'ок.
💊14🔥5👍1