emacsway-log: Software Design, Clean Architecture, DDD, Microservice Architecture, Distributed Systems, XP, Agile, etc. – Telegram
emacsway-log: Software Design, Clean Architecture, DDD, Microservice Architecture, Distributed Systems, XP, Agile, etc.
3.47K subscribers
119 photos
15 videos
22 files
1.14K links
Software Design, Clean Architecture, DDD, Microservice Architecture, Distributed Systems, Extreme Programming, SDLC, Agile, etc.

Chat: https://news.1rj.ru/str/emacsway_chat

Persistence: https://dckms.github.io/system-architecture/
Download Telegram
Forwarded from Russian Association of Software Architects (Gennadiy Kruglov)
chatGPT наделал немало шума и вызвал волну хайпа. Инженерам не помешает понимать, как эта тема работает. А может даже и что-то "сделать" самим.

В этом посте набор базовых статей для Quick Start-а по BigScience Large Open-science Open-access Multilingual Language Model (Bloom). На этой "штуке"" можно создать свой LLM (аналог chatGPT).

Отсюда можно начать: https://huggingface.co/bigscience/bloom

Вот отличная статья про устройство (включая архитектуру) Bloom: «BLOOM: A 176B-Parameter Open-Access Multilingual
Language Model» https://arxiv.org/pdf/2211.05100.pdf

Вот крайне полезная статья для понимание возможностей, ограничений и границ применимости LLM: «Understanding the Capabilities, Limitations, and Societal Impact of Large Language Models» https://arxiv.org/pdf/2102.02503.pdf

Вот здесь немного на русском: https://habr.com/ru/company/first/blog/680750/
👍7
Forwarded from Roman
конкурент ChatGPT от Google - LaMDA: https://blog.google/technology/ai/lamda
————————
LaMDA’s conversational skills have been years in the making. Like many recent language models, including BERT and GPT-3, it’s built on Transformer, a neural network architecture that Google Research invented and open-sourced in 2017. That architecture produces a model that can be trained to read many words (a sentence or paragraph, for example), pay attention to how those words relate to one another and then predict what words it thinks will come next.
————————
оказывается, Google заоупенсорсил нейронку Transformer в 2017, а OpenAI её доработал )). и стал конкурентом гуглу (в конкретной нише) )).
————————
супер респект гуглу. я его за это уважаю. он двигает оупенсорс, и тем самым развивает всю индустрию. пофик даже, что сам себе конкурентов рожает. точно, достойно уважения.
————————
(не относится к делу)
IBM, кстати, такой же - серый кардинал всей индустрии и всего прогресса, который тут происходит. их несколько - таких кардиналов.
————————
(ну и, возвращаясь к гуглу)
Google ещё, тоже, вкидывает в Deepmind Flamingo - наблюдает за "успехами". и потом будет смотреть: "что и как".
в Hadoop такой подход назывался - Speculative Execution. а у дедушки Фаулера - Sacrificial Architecture )).
————————
ну и итог:
у каждого крутого вендора есть свой аналог. у гугла - speculative execution (sacrificial architecture): BERT, Transformer-XL, LaMDA, Deepmind Flamingo.
👍2🤔2
Основные архитектуры нейронных сеток - очень коротко и наглядно. Кому интересно дальше, то дальше читать вики (по всякому машинному обучению вики хорошо собрана - просто вводите название нейронки, и будет информация). Но именно по этой картинке, вот расшифровка. А если вы хотите познакомиться с нейронками с нуля и (относительно) просто, то вот отличный Quick Start по теме.
🔥10😐1
💬 Однажды Петька спросил у Василия Ивановича: В чём разница между идеологией, логикой и философией?

— Видишь, Петька, вон идут чистый и грязный. Кто из них пойдёт в баню?

— Ну, грязный.

— Нет, Петька. У грязного идеология быть грязным, а у чистого — быть чистым. Грязный в баню не пойдёт. Чистый пойдёт в баню.

— А логика?

— Видишь они уже поближе — чистый и грязный. Кто из них пойдёт в баню?

— Ну, чистый.

— Зачем же чистому идти в баню — он и так чистый. Грязный пойдёт в баню.

— А философия?

— Вот они уже подошли — чистый и грязный. Кто из них пойдёт в баню?

— Ну, грязный … нет чистый … нет грязный… не знаю что и думать, Василий Иванович.

— Вот это и есть философия.

Обратите внимание на то, что Петька, столкнувшись с трудностью в решении, кто пойдёт в баню, переходит от чистого и грязного к самому мышлению — «не знаю что и думать». Именно мышление не о чистом и грязном, а о самом мышлении (о чистом и грязном), Василий Иванович охарактеризовал как философию. Вслед за Василием Ивановичем, мы зададим сущность философии как мышление о мышлении о мире.

— Виталий Яковлевич Дубровский:
Введение в общую теорию деятельности. Лекция 1. Введение в системо-деятельностный подход

https://gtmarket.ru/library/articles/6554/6555
👍16🤔7😁3😐1
Коллеги, хочу подискутировать с вами. Нужны ли агрегаты (доменные модели защищенные инвариантами) на фронте? Пишите свои выводы в комментариях.
👍2
Три статьи о функциональной доменной модели:
- https://bespoyasov.ru/blog/domain-modelling-made-functional/

(ссылки на продолжение см. внизу статьи).

[UPDATE]: Признателен авторам, которые делают свои знания отчуждаемыми:
- https://github.com/bespoyasov/www

Форкнул себе.

#FP #DDD
👍8🔥1🤔1
Коллеги, мне в команду нужен системный архитектор. Простите, что использую свой канал для решения профессиональных вопросов. Сам этого не поощряю, но такова ситуация.

Основные требования:

1. Опыт сбора нефункциональных требований к ПАК. Не только к ПО, но и к железкам с камерами (IoT).

2. Опыт разрешения противоречий требований и поиска компромисов. Взвешивание инфлюенсиров.

3. Опыт обоснования архитектурных решений (дивергентная и конвергентная фаза) и их документирования.

4. Опыт проектирования распределенных систем. Знать, чем отличается Causal от Eventual Consistency, что такое векторные часы и какую проблему они решают.

5. Опыт в IoT. Хотя бы знать чем отличается MQTT от AMQP.

6. Опыт в DDD.

7. Опыт моделирования и декомпозиции с помощью Event Storming.

8. Хотя бы базовые познания в области компьютерного зрения и нейронных сетей. Понимание ограничений и возможностей популярных реализаций нейронных сетей. Умение выбирать решение под требования. Кстати, Дата-Сайнтист тоже нужен.

Москва. Возможна полная удаленка или гибрид. В офисе тоже можно.

Если выявлено неполное соответствие - все равно обращайтесь, обсудим.

Контакты: @emacsway

Зарплата в рынке. Проекты городского масштаба Москвы.

Спасибо)
👍10🔥3
Программист тратит на написание кода не более 5% времени.

I Know What You Did Last Summer
An Investigation of How Developers Spend Their Time
Roberto Minelli, Andrea Mocci and Michele Lanza
REVEAL @ Faculty of Informatics — University of Lugano, Switzerland
https://www.inf.usi.ch/faculty/lanza/Downloads/Mine2015b.pdf

#SoftwareDesign
👍9🤔4
Вы заметили, что среди архитекторов часто разгораются дебаты на тему "должен ли уметь архитектор кодить"?

Пообщался я как-то с товарищем, и мы пришли к выводу, что такая обособленность архитекторов экономически нецелесообразна, если только архитектор думает перейти когда-нибудь из категории наемного работника в категорию работодателей.

По одной простой причине - рынок услуг программирования существенно больше рынка архитектурных услуг, в то время, как зарплаты программистов не сильно отстают, а зачастую и превосходят архитекторские зарплаты. Иными словами, в этой рыночной нише гораздо больше финансовый простор.

Игнорировать огромную рыночную нишу услуг программирования было бы, по меньшей мере, неразумно. Один архитектурный проект, выполненный одним архитектором, может обеспечить загрузкой десятки программистов. Среди моих коллег, занимающихся архитектурным консалтингом, часто возникает запрос на разработку в результате оказания архитектурных услуг.

Представьте, что у вас собственная консалтинговая компания, и вам предлагают взять на себя ответственность за полный цикл разработки программного обеспечения, что может принести доход на пару порядков больше. Как сформировать команду? Как провести собеседования? Как достигнуть требуемого качества кода? Как вписаться в сроки?

Хороший программист, способный создавать качественный программный продукт, - большая редкость на рынке труда. Именно по этой причине, практически всю мою практику мне приходилось заниматься организацией обучения программистов.

Иными словами, способность обучать программистов обеспечивает конкурентное превосходство и существенно расширяет кадровый простор.

Любой архитектор знает, что ни одно решение нельзя рассматривать в отрыве от его целей и драйверов. Таким образом, ответ на вопрос, должен ли архитектор уметь кодить, зависит от целей, которые он перед собой ставит.
👍24🤔2🙏1
Коллеги, хотелось бы напомнить, что у канала есть группа: @emacsway_chat
👍2👌2
Forwarded from Roman
прикольная штука DuckDB. ин-процесс OLAP бд.
то есть ты можешь подключить паркет, джейсон и пр файлы, плюс пандасы, и пр. в процесс, причём разные сорсы в одну виртуализованную вьюху, и прямо в процессе запустить аналитику, индексы и агрегаты, всякие джоины ессно, всякие оконные функции, сэмплирование, и пр. — короче. типа SQLite или H2DB, только с аналитикой и олап кверями.
поддерживает внешние индексы, полнотекстовый поиск. поддерживает ACID. есть C++, Python, Go, R, Java API. очень мощно
👍2🔥1😐1
Diagramming with pure *.txt files:
- https://youtu.be/cIuX87Xo8Fc

Думаю, что фанаты ADR на *.md это оценят.

#SoftwareArchitecture #Emacs
👍2🤔2