Forwarded from partially unsupervised
Понравился LiteLLM - LLM Ops здорового человека. TL;DR: тонкий враппер с общим поверх популярных провайдеров LLM, с кэшированием, обработкой ошибок и бюджетированием.
Вообще я не спец в LLM, но сделал сколько-то прототипов на коленке, и считаю, что правильный воркфлоу - делать proof of concept поверх самого дорогого и предсказуемого на текущий момент API (читай GPT-4), и держать в уме опцию миграции в будущем. Уже в паблике есть и жирная Falcon-180B 🐪, и крутой для своего размера Mistral 7B 🇫🇷, и разные затюненные Llama-2. Лень сетапить инференс - пожалуйста, есть Replicate или Deepinfra.com под ваш форк Лламы, и Antropic через AWS Bedrock; все они обойдутся дешевле, чем GPT.
Если совсем полетит, то на собранном датасете можно будет тюнить свою кастомную модель, если лицензия позволит 🏴☠️. Но скорее всего, YAGNI.
Вообще я не спец в LLM, но сделал сколько-то прототипов на коленке, и считаю, что правильный воркфлоу - делать proof of concept поверх самого дорогого и предсказуемого на текущий момент API (читай GPT-4), и держать в уме опцию миграции в будущем. Уже в паблике есть и жирная Falcon-180B 🐪, и крутой для своего размера Mistral 7B 🇫🇷, и разные затюненные Llama-2. Лень сетапить инференс - пожалуйста, есть Replicate или Deepinfra.com под ваш форк Лламы, и Antropic через AWS Bedrock; все они обойдутся дешевле, чем GPT.
Если совсем полетит, то на собранном датасете можно будет тюнить свою кастомную модель
GitHub
GitHub - BerriAI/litellm: Python SDK, Proxy Server (AI Gateway) to call 100+ LLM APIs in OpenAI (or native) format, with cost tracking…
Python SDK, Proxy Server (AI Gateway) to call 100+ LLM APIs in OpenAI (or native) format, with cost tracking, guardrails, loadbalancing and logging. [Bedrock, Azure, OpenAI, VertexAI, Cohere, Anthr...
Forwarded from Evil Wireless Man
Linux на ESP32 это, конечно, мощно.
Учитывая что в своё время его запихнули даже внутрь Transmeta и были версии для запуска на старших STM32, то попытка не выглядит сумасбродной. Иметь на борту стандартные утилиты от ls до wget это весьма круто.
А там ещё и любимые многими баш (ash) скрипты можно накручивать.
Очень интересный проект, пожелаем ему удачи.
Учитывая что в своё время его запихнули даже внутрь Transmeta и были версии для запуска на старших STM32, то попытка не выглядит сумасбродной. Иметь на борту стандартные утилиты от ls до wget это весьма круто.
А там ещё и любимые многими баш (ash) скрипты можно накручивать.
Очень интересный проект, пожелаем ему удачи.
Hackster.io
Running Linux on an ESP32-S3
Clem Mayer's Raspberry Pi Compute Module 4-inspired project is a combination ESP32-S3, RP2040, and more — all on a single, compact PCB.
Forwarded from Записки админа
This media is not supported in your browser
VIEW IN TELEGRAM
🔨 В Netdata (пока что в beta) завезли плагин для работы с логами journald. И выглядит оно очень неплохо, надо сказать...
- Netdata: query, explore and visualize SystemD Journals! Подробнее на Reddit.
- SystemD Journal плагин на Github.
#netdata #monitoring #journald
- Netdata: query, explore and visualize SystemD Journals! Подробнее на Reddit.
- SystemD Journal плагин на Github.
#netdata #monitoring #journald
Forwarded from DevOps Deflope News
Kexp – Kubernetes Explorer. По заявлению разработчика создан не для управления продом, а для изучения кубера через визуализацию.
Отображение в виде графов призвано также упростить работу разработчикам приложений, контроллеров и операторов.
Без лишних слов можно посмотреть как это работает в реальном времени в песочнице: https://e42.link/3ZCGnBE
Отображение в виде графов призвано также упростить работу разработчикам приложений, контроллеров и операторов.
Без лишних слов можно посмотреть как это работает в реальном времени в песочнице: https://e42.link/3ZCGnBE
Forwarded from Open Source & AI Future 🇺🇦
🫖 Gitea
⌨️ Метою цього проекту є створення найпростішого, найшвидшого та найбезболіснішого способу налаштування Git 🖥
Оскільки Gitea написана на "👣 " , він працює на всіх платформах і архітектурах, які підтримує Go, включаючи Linux, macOS і Windows на архітектурах x86, amd64, ARM і PowerPC.
🖥 Ви можете перевірити його функціонал за допомогою онлайн демо-версії
#Go
Оскільки Gitea написана на "
#Go
Please open Telegram to view this post
VIEW IN TELEGRAM