DeVops Библиотека – Telegram
DeVops Библиотека
9.57K subscribers
108 photos
43 videos
43 files
107 links
Гайды, уроки и книги для Devops специалситов
по всем вопросам @workakkk
Download Telegram
Forwarded from DevOps Docker
Расширенный_гайд_по_Docker_для_DevOps_специалистов_1_2.pdf
391.1 KB
🐳 Docker без боли: Огромный гайд от новичка до профи

🚀 Пришло время расставить всё по полочкам. В этом большом гайде ты узнаешь:

• как устроен Docker изнутри
• как упаковать любое приложение в контейнер
• как запускать десятки сервисов одной командой
• как дебажить, оптимизировать и защищать контейнеры
• как не сойти с ума с volumes, networks и образами

🎯 Без скучной теории — только практические команды, схемы и лайфхаки от тех, кто использует Docker в продакшене.
Сохраняй и делись с коллегами, чтобы не потерять

👉 Читать онлайн

@DevopsDocker
Please open Telegram to view this post
VIEW IN TELEGRAM
👍52🔥2
Файловые системы \ FS \ sfdisk \ e2label \ mkfs \

ext3 - Наиболее распространенная файловая система Linux,
предоставляющая возможность журналирования с целью
сохранения данных и возможность быстро перезагружать
систему после некорректного завершения ее работы
ext2 - Файловая система, предшествующая ext3,
не поддерживающая функцию журналирования
iso9660 - появилась из файловой системы High Sierra (была стандартом для компакт-дисков)
и может содержать расширения Rock Ridge для обеспечения возможности
использования длинных имен файлов и других функций (полномочия доступа
к файлу, права собственности и ссылки)
jffs2 - Журналируемая файловая система для флэш-носителей, созданная для
эффективной работы с USB-накопителями
jfs - Файловая система, используемая на IBM в OS/2 Warp и настроенная на работу
с большими файловыми системами и средами с высокой производительностью
msdos - Может использоваться для монтирования файловых систем на устаревшие
носители MS-DOS, например старые дискеты
ntfs - Может быть полезна, когда есть необходимость передавать файлы
в файловые системы Windows (с двойной загрузкой или на сменных носителях)
reiserfs - Журналируемая файловая система, иногда используемая по умолчанию на SUSE,
Slackware и других операционных системах Linux
squashfs - Запакованная файловая система, предназначенная только для чтения
данных и используемая на многих Live CD Linux
swap - Используется на разделах подкачки для временного хранения данных,
когда оперативная память временно недоступна
ufs - Популярная файловая система операционных систем Solaris
и SunOS от корпорации Sun Microsystems
vfat - Расширенная файловая система FAT (VFAT), которая полезна,
если файловым системам нужно обмениваться файлами
с более старыми системами Windows (с двойной загрузкой или на сменных носителях)
xfs - Журналируемая файловая система для среды с высокой производительностью,
размер которой может расширяться до многих терабайт данных,
а скорость передачи данных в которой исчисляется гигабайтами в секунду

sfdisk - программа для работы с таблицей разделов жесткого диска
sfdisk -d /dev/sda > sda-table - Выполняет резервное копирование таблицы разбиения в файл
sfdisk /dev/sda < sda-table - Восстанавливает таблицу разбиения из файла
sfdisk -d /dev/sda | sfdisk /dev/sdb - Копирует таблицу разбиения с одного диска на другой

fdisk - программа для работы с таблицей разделов жесткого диска (устарела)

e2label /dev/sda2 - посмотреть метку второго раздела
e2label /dev/sda2 my_lable_name - назначить метку my_lable_name второму разделу

findfs LABEL=my_lable_name - ищем раздел по метке
(например в /etc/fstab монтирование по метке)

mkfs -t ext3 /dev/sdb1 - Создает файловую систему ext3 на разделе sba1
mkfs -t ext3 -v -c /dev/sdb1 - Расширенная команда, выполняющая также
поиск поврежденных блоков
mkfs.ext3 -с /dev/sdb1 - Создает файловую систему ext3 на разделе sba1
mkfs.ext3 -с -L mypartition /dev/sdb1 - Создает файловую систему ext3 на разделе sba1
и добавляет разделу метку

dd if=/dev/scd0 of=name_file.iso bs=2048 - извлекаем образ iso с cd/dvd

dd if=/dev/zero of=my_disk count=2048000 - Создаем заполненный нулями файл объемом 1 Гбайт
du -sh my_disk - Проверяем размер виртуальной файловой системы
mkfs -t ext3 my_disk - Создаем файловую систему на mydisk
mkdir /mnt/image - создаем пустой каталог
mount -o loop my_disk /mnt/image - монтируем my_disk в пустой каталог
cd /mnt/image - переходим в каталог /mnt/image
mkdir test - создаем каталог test
cp /etc/hosts - копируем /etc/hosts в текущий каталог
cd .. - переходим на уровень выше (выходим из текущего каталога)
umount /mnt/image - отмонтмровать /mnt/image
👍54👎1
Forwarded from Machinelearning
🌟 Kimi-Dev-72B: открытая модель для багфикса и тестирования кода.

Moonshot AI пополнил свое семейство Kimi моделью Kimi-Dev-72B, специализированной для программирования и разработанной для решения задач инженерии ПО. Она, как заявляют разработчики, особо эффективна в исправлении ошибок и написании тестов.

Ее сила в том, что она не просто пишет код, а имитирует мышление программиста, учитывая последствия изменений и проверяя их в автоматизированных тестах.


Специализация Kimi-Dev-72B состоит из 2 ролей: BugFixer (исправление ошибок) и TestWriter (написание тестов).

Эти роли работают в тандеме: BugFixer находит файлы, требующие правок, и предлагает код, который устраняет баг, а TestWriter создает тесты, которые должны провалиться без исправления и пройти после него. Обе роли используют одинаковый двухэтапный процесс — сначала локализация файла, затем редактирование кода.

Модель училась на данных с GitHub: миллионы задач и коммитов из реальных проектов. За основу взяли базовую Qwen 2.5-72B, которую дообучали на ~150 млрд. токенов, тщательно фильтруя данные, чтобы исключить тестовые наборы SWE-bench.

В процессе обучения с подкреплением, модель получала награду только если все тесты в Docker проходили успешно. Также применяли «умные» подсказки, отсеивая заведомо сложные задачи, и постепенное усложнение, добавляя сложные примеры по мере прогресса.

Kimi-Dev показала рекордные 60,4% на тесте SWE-bench Verified среди open-source решений.

В будущем планируется интеграция с IDE, CI/CD, чтобы сделать модель частью ежедневного рабочего процесса разработчиков.


📌Лицензирование: MIT License.


🟡Страница проекта
🟡Модель
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #LLM #KimiDev #MoonshotAI
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
5🔥3👍2
Книга: «Изучаем OpenTelemetry: современный мониторинг систем»

OpenTelemetry сегодня – это отраслевой стандарт сбора и передачи данных телеметрии, а также набор инструментов, позволяющий интерпретировать подаваемые системой сигналы о своем состоянии. Основатели проекта Тед Янг и Остин Паркер создали руководство изучению OpenTelemetry для всех, кто хочет глубоко разобраться в наблюдаемости.

Что внутри?
Настройка и диагностика OpenTelemetry.
Лучшие практики наблюдаемости для Kubernetes, AWS Lambda и других облачных сервисов.
Как инструментировать свои сервисы и библиотеки с помощью OpenTelemetry.

Выведите мониторинг на новый уровень с книгой «Изучаем OpenTelemetry»! 🚀
🖇 Ссылка на книгу

erid: 2VtzqxBKJ86
3💩3
Forwarded from Machinelearning
🌟 FlexTok: адаптивная 1D-токенизация изображений от Apple.

FlexTok - метод токенизации изображений, который преобразует 2D-изображения в упорядоченные 1D-последовательности переменной длины.

Его цель - сократить объем данных, необходимых для обучения генеративных моделей, и при этом оставить достаточную информацию для качественной реконструкции и генерации.

В отличие от традиционных подходов, где число токенов фиксировано и зависит только от размера изображения, FlexTok подстраивается под сложность контента: простейшая сцена может кодироваться несколькими токенами, а сложная - десятками и сотнями .

FlexTok, это по сути, пайплайн из 3 компонентов: ViT‑энкодер, квантование регистров и маскирование внимания:

ViT‑энкодер с набором «регистровых» токенов читает латентные представления VAE‑GAN и конденсирует их в 1D-последовательность до 256 регистров .

Затем, с помощью FSQ‑квантования, каждый регистр дискретизируется в код из заранее определенного словаря размером ~64 000.
На этом этапе применяется "nested dropout": во время обучения случайно обрезаются последние токены, чтобы модель научилась упорядочивать информацию от грубых форм к деталям.

Параллельно применяется авторегрессионная маска внимания: каждый токен в цепочке видит только те, что были до него, и не знает о тех, что идут после. Это заставляет модель генерировать изображения шаг за шагом, от первого токена к последнему, и упрощает ей задачу прогнозирования следующих элементов.

Декодер в FlexTok - это модель rectified flow, которая на вход берет укороченные токены и слегка зашумленные латенты VAE и учится предсказывать тот шум, который нужно убрать, чтобы вернуть исходное представление.

Чтобы обучение шло быстрее и давало более точные результаты, добавляют REPA‑Loss: он сравнивает промежуточные признаки с векторами из DINOv2‑L. Благодаря этому даже при очень жесткой компрессии (от 1 до 256 токенов), FlexTok успешно восстанавливает детали изображения.

FlexTok легко встраивается в текстово‑ориентированные модели и может улучшить соответствие изображения описанию, даже если число токенов меняется. К тому же его адаптивная токенизация применима не только к картинкам, но и к аудио или видео.

▶️Набор токенизаторов:

🟢Flextok_d12_d12_in1k - 12\12 слоев энкодер-декодер, датасет IN1K;
🟢Flextok_d18_d18_in1k - 18\18 слоев энкодер-декодер, датасет IN1K;
🟢Flextok_d18_d28_in1k - 18\28 слоев энкодер-декодер, датасет IN1K;
🟢Flextok_d18_d28_dfm - 18\28 слоев энкодер-декодер, датасет DFN.

▶️ VAE:

🟠Flextok_vae_c4 - 4 каналов латента, коэффициент понижающей дискретизации 8;
🟠Flextok_vae_c8 - 8 каналов латента, коэффициент понижающей дискретизации 8;
🟠Flextok_vae_c16 - 16 каналов латента, коэффициент понижающей дискретизации 8.


🟡Страница проекта
🟡Набор на HF
🟡Arxiv
🟡Demo
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Tokenizer #Flextok #Apple
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
2
This media is not supported in your browser
VIEW IN TELEGRAM
📊 Лучшие базы данных — и где они уместны

1. PostgreSQL — универсальная реляционная БД
→ бизнес-приложения, аналитика, геоданные (PostGIS), JSON + SQL в одном

2. SQLite — встраиваемая БД без сервера
→ мобильные приложения, локальное хранение, CLI-инструменты, тесты

3. MySQL / MariaDB — быстрые SQL-БД для веба
→ сайты, CMS, WordPress, стартапы с LAMP-стеком

4. MongoDB — документо-ориентированная NoSQL
→ JSON‑подобные данные, прототипы, быстро меняющиеся схемы

5. Redis — in-memory key-value store
→ кеширование, очереди, счётчики, real-time метрики

6. ClickHouse — колоночная аналитическая БД
→ аналитика, лог-системы, BI‑дашборды, миллиарды строк — за миллисекунды

7. Neo4j — графовая БД
→ социальные графы, связи между сущностями, рекомендации

8. TimescaleDB — time-series над PostgreSQL
→ телеметрия, мониторинг, временные ряды, IoT

9. Cassandra — масштабируемая распределённая NoSQL
→ high-availability, терабайты данных, логика без JOIN-ов

10. DuckDB — аналитика в памяти, как SQLite для данных
→ локальный OLAP, ML‑воркфлоу, быстрые data pipelines

#databases #backend #dev #sql #nosql
🔥93👍2
🧠 Linux: заморозка процесса без SIGSTOP

Обычно чтобы «заморозить» процесс, мы шлём ему SIGSTOP, но есть способ *поставить его на паузу без сигнала* и без потери контроля:


# Приостановить выполнение команды, удерживая её в foreground через SIGTSTP
sleep 9999
^Z # (Ctrl+Z) — ставит в фон и останавливает

# А теперь хитрость: "fg" + "Ctrl+Z" снова — это цикл управления процессом вручную

# Но можно сделать изолированную паузу через cgroups:
cgcreate -g freezer:/pause
cgclassify -g freezer:/pause <PID>
echo FROZEN > /sys/fs/cgroup/freezer/pause/freezer.state


🔥 Процесс «замораживается» полностью: 0% CPU, не отвечает на запросы, но не убивается, не выгружается из памяти и можно *в любой момент разморозить*:


echo THAWED > /sys/fs/cgroup/freezer/pause/freezer.state


📦 Используется в Kubernetes, Docker и systemd — а теперь можешь и ты 😉
🔥83🥰1
⚡️ Cовет дня Linux: быстрое повторное использование аргумента

В терминале Bash есть удобный трюк: !$ вставляет последний аргумент предыдущей команды.

Пример:


mkdir new_folder
cd !$


🔁 !$ → подставит new_folder, не нужно печатать дважды.


Полезно, если:
— работаешь с длинными путями
— устанавливаешь и сразу запускаешь что-то
— копируешь, а потом переходишь в каталог

https://www.youtube.com/shorts/-jxuwHWeKnA
👍114
🛡 Проверка любых файлов и ссылок на вирусы — в один клик

MetaDefender — это бесплатный онлайн-сервис, который:
позволяет загрузить любой файл или вставить ссылку;
прогоняет его через 30+ антивирусных движков одновременно;
показывает подробный отчёт: заражения, угрозы, поведение;
работает быстро и БЕСПЛАТНО.

🎯 Подходит для подозрительных exe, pdf, rar, ссылок, образов — всего, что может содержать вредонос.

Сервис, который должен быть в закладках у каждого:

🔥 Плюс:
Тулза для полного удаления скрытых майнеровhttps://example.com
Гайд по ручному сносу майнеров с ПК — https://example.com

▶️ Сохраняй, делись с коллегами: https://metadefender.com/
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
6👍3🔥2❤‍🔥1🤝1
🖥10 полезных Linux-команд

Вот подборка скрытых инструментов, которые могут сэкономить время и упростить работу в терминале:

1. `sudo!!` — автоматически повторяет последнюю команду с правами root.
2. `python -m http.server` — запускает простой HTTP-сервер текущей папки за секунды.
3. `mtr` — объединяет функции ping и traceroute для диагностики сети.
4. `nl` — выводит нумерованный текст из файла.
5. `shuf` — случайным образом выбирает строки из файла.
6. `ss` — более обширный аналог netstat для сокетов.
7. `last` — показывает историю входа пользователей.
8. `curl ifconfig.me` — быстро узнаёт внешний IP-адрес.
9. `tree` — отображает структуру директорий в виде дерева.
10. `pstree` — выводит процессы и их иерархию в виде дерева

💡 Эти команды — настоящие скрытые жемчужины Linux: короткие, удобные и невероятно практичные для повседневных задач.

Попробуйте добавить хотя бы одну в ваш арсенал — это может изменить ваш CLI-опыт.

📌 Подробнее
Please open Telegram to view this post
VIEW IN TELEGRAM
👍95
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
✔️ Google запустила Opal, визуальный конструктор для создания и публикации ИИ-приложений.

Google Labs запустила публичную бета-версию инструмента Opal, в котором можно создавать простые ИИ-приложения без написания кода. Flowrise, make.com и n8n напряглись

Пользователь описывает желаемую цель тестом, после чего система автоматически генерирует визуальную блок-схему рабочего процесса, объединяя в цепочку промпты, ИИ-модели и внешние инструменты.

Схему можно гибко редактировать в drag-and-drop интерфейсе или с помощью дальнейших текстовых команд.

Готовые проекты публикуются как самостоятельные веб-приложения, привязанные к аккаунту Google, и ими можно сразу поделиться по ссылке.

В основе Opal лежат модели Gemini. Инструмент доступен пока только для пользователей в США.

@ai_machinelearning_big_data

#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
3
⚡️ Почему лучшие разработчики всегда на шаг впереди?

Потому что они знают, где брать настоящие инсайд!
Оставь “программирование в вакууме” в прошлом, выбирай свой стек — подпишись и погружайся в поток идей, лайфхаков и знаний, которые не найдёшь в открытом доступе.

ИИ: t.me/ai_machinelearning_big_data
Python: t.me/pythonl
Linux: t.me/linuxacademiya
Devops: t.me/DevOPSitsec
Базы данных: t.me/sqlhub
Мл собес t.me/machinelearning_interview
C++ t.me/cpluspluc
Docker: t.me/DevopsDocker
Хакинг: t.me/linuxkalii
МЛ: t.me/machinelearning_ru
Data Science: t.me/data_analysis_ml
Javanoscript: t.me/javanoscriptv
C#: t.me/csharp_ci
Java: t.me/java_library
Python собеседования: t.me/python_job_interview
Мобильная разработка: t.me/mobdevelop
Golang: t.me/Golang_google
React: t.me/react_tg
Rust: t.me/rust_code
ИИ: t.me/vistehno
PHP: t.me/phpshka
Android: t.me/android_its
Frontend: t.me/front
Big Data: t.me/bigdatai
МАТЕМАТИКА: t.me/data_math
Kubernets: t.me/kubernetc
Разработка игр: https://news.1rj.ru/str/gamedev
Физика: t.me/fizmat
SQL: t.me/databases_tg

Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://news.1rj.ru/str/addlist/2Ls-snqEeytkMDgy
Папка FRONTEND: https://news.1rj.ru/str/addlist/mzMMG3RPZhY2M2Iy

🎓954ГБ ОПЕНСОРС КУРСОВ: @courses
😆ИТ-Мемы: t.me/memes_prog
🇬🇧Английский: t.me/english_forprogrammers
🧠ИИ: t.me/vistehno

🖥 Chatgpt для кода в тг: @Chatgpturbobot -

📕Ит-книги: https://news.1rj.ru/str/addlist/BkskQciUW_FhNjEy
💼ИТ-вакансии t.me/addlist/_zyy_jQ_QUsyM2Vi

Подпишись, чтобы всегда знать, куда двигаться дальше!
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍1
✔️ Одна строка — и инфраструктура как на ладони

Прямая трансляция системного журнала помогает увидеть ситуацию «из первых рук» и принять решение сразу же, не копаясь в гигабайтах накопленных логов.

Команда дня:

sudo journalctl -f


Эта команда подключается к живому потоку событий systemd-journal и выводит каждое новое сообщение по мере его появления.

Вы увидите ошибки служб, перезапуски демонов и системные уведомления в режиме реального времени — идеальный инструмент для оперативной диагностики и оперативного реагирования на критические ситуации.

Просмотр логов конкретного сервиса:

sudo journalctl -u nginx.service -f


Вы увидите только сообщения, касающиеся Nginx, без «лишнего шума» других юнитов.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍64🔥2
⚡️ 100 вопросов с собеседований продвинутого DevOps специалиста: подробный разбор

В этой статье — 100 реальных и нетривиальных вопросов с собеседований DevOps-специалистов: от контейнеризации и CI/CD до сетей, безопасности и отказоустойчивости.

🛠 Каждый вопрос сопровождается подробным разбором, примерами и объяснением, что именно от тебя ждут.

Начни подготовку как профессионал — разбор начинается.

🔗 Читать
7👍5👎1🔥1