​jscpd – инструмент, который позволяющий найти все блоки кода, дублирующиеся в проекте

Можно передать весь проект сразу, и увидеть дублирубщиеся куски кода целиком по всему проекту. То есть извлечь новую информацию. Работает с более чем 150-ю языками программирования

⤷ Ссылка на проект

GitHub | #Interesting #Useful #Code

D2

D2 — это предметно-ориентированный язык, который расшифровывается как декларативное построение диаграмм.

Например, вы описываете то, что хотите изобразить на диаграмме, он генерирует изображение.

▫️D2 включает в себя множество официальных тем для красивого оформления ваших диаграмм прямо из коробки.
▫️Язык также имеет встроенный API для программного редактирования.
▫️Помимо того, что D2 является запускаемым инструментом CLI, его также можно использовать для создания диаграмм из программ Go.

https://github.com/terrastruct/d2

Документация: https://d2lang.com/tour/intro/

Advancing mathematics by guiding human intuition with AI | Nature
https://www.nature.com/articles/s41586-021-04086-x

GPT3 Powered CLI

Инструмент который использует API OpenAI GPT3 для преобразования команд на естественном (английском) языке в команды терминал CLI

https://github.com/abhagsain/ai-cli

GPT для чайников: от токенизации до файнтюнинга

Сделал для вас небольшой colab туториал про GPT. Там подробно и с примерами разобраны такие темы как:
1. Устройство GPT-1,2,3
2. Токенизация
3. Методы генерации текста
4. Файнтюнинг (прям в колабе)
Если вы давно хотели поиграться с GPT, но всё не доходили руки, то новогодние праздники — самое время 😉

colab, хабр

​TextQL – инструмент, который позволяет выполнять SQL-запросы на структурированных текстовых форматах - CSV или TSV

⤷ Ссылка на проект

GitHub | #Interesting #Go

Рубрика "мои кенты - мое богатство". 👬

Я обещал написать про быстрый инференс, и вот подвернулся случай. У меня есть два предпочтения, которым я предпочитаю следовать в дизайне инференс-сервисов:
- никаких динамических графов, все должно быть сконвертировано в ONNX, даже легкие scikit-learn модели, и потом гоняться в ONNXRuntime. Это и минимизирует ошибки с одной стороны, и позволяет дешево сменить core model, да и запускать можно одинаково хоть локально, хоть на сервере, только бэкенд подмени;
- если можно что-то вынести на serverless (например, в AWS Lambda), надо выносить - это простой способ сглаживать нагрузку.

У лямбд есть несколько проблем:
- неидеальное масштабирование (с нуля до многих тысяч параллельных запусков мгновенно не вырастешь, что бы там ни говорили маркетинговые описания);
- медленный cold start (в эту сторону есть подвижки);
- нет GPU, и потому инференс жирных моделей скорее затруднителен, да и экономически не очень выгоден.

Так вот, мои старые кореша Андрей и Игорь решили починить одну из этих проблем и пилят платформу everinfer.ai, которая прям соответствует моим представлениям о прекрасном:

from everinfer import Client

client = Client('my_secret_key') 
pipeline = client.register_pipeline('my_model_name', ['onnx/model.onnx'])
runner = client.create_engine(pipeline['uuid'])
preds = runner.predict([inputs]) 

Внутри ONNXRuntime, Rust 🦀, ScyllaDB и прочие модные технологии, благодаря чему инференс получается довольно быстрым. Слегка потестировал, получилось чуть быстрее локального запуска ONNXRuntime на CPU, даже с учетом сетевых издержек.

Платформа только-только открывается для внешних пользователей и предлагает первым тестерам бесплатное железо для инференса и помощь в запуске (хотя API простой как табуретка, вряд ли понадобится много помощи). Можете писать сразу @andrey_kiselev и просить доступ.

simpson: The other type that I want more of is the field of rationals. This can be done slowly with integers for numerator and denominator, but there's a p-adic notation that's faster and that I'm trying to figure out how to make practical, called 'quote notation': http://www.cs.toronto.edu/~hehner/ratno.pdf

​​FacilMap

FacilMap — это безопасная для конфиденциальности универсальная онлайн-карта с открытым исходным кодом, которая сочетает в себе различные сервисы на основе OpenStreetMap и позволяет легко находить места, планировать маршруты и создавать собственные карты с маркерами, линиями и маршрутами.

▫️Различные стили карты для дорог, топографии, езды на велосипеде, пешеходного туризма, общественного транспорта, водной навигации...
▫️Поиск мест и отображение информации о них (веб-сайт, часы работы, ...)
▫️Рассчитывайте маршруты и корректируйте их перетаскиванием. Можно показать профиль высоты.
▫️Удобный для смартфона интерфейс.
▫️Создавайте и делитесь пользовательскими картами с маркерами, линиями и маршрутами на них.
и многое многое другое....

https://github.com/FacilMap/facilmap

Site: https://facilmap.org/

Haskell got a JavaScript backend!

​netplot – инструмент, который считает сколько пакетов ваши работающие программы отправили за определенный период времени

Позволяет мониторить с какими IP-адресами связывались ваши запущенные программы. Также показывает, каким образом вы продаете свои данные Google, Facebook и подобным

⤷ Ссылка на проект

GitHub | #Monitor #Useful #Interesting