الگوریتم raft یه الگوریتم برای distributed consensus عه که توی سیستم‌هایی مثل mongo, rabbit, neo4j استفاده میشه.
قصه هم از این قراره که یه سری سیستم مختلفن هر کدوم یه سر دنیا. بعد اینا میخوان با هم هماهنگ بشن و به اجماع برسن که در نتیجه کسی که ازشون استفاده میکنه نفهمه چند تان و فکر کنه یک چیز هماهنگ متحدن.
این شبیه‌سازی توضیح خیلی قشنگی میده راجع بهش که چجوری بین خودشون مکانیزم رای‌گیری و انتخاب رهبر و مطمئن شدن از وضعیت کل سیستم‌ها رو پیاده میکنن:
الان خوندم که توی docker swarm هم ازش استفاده میشه

http://thesecretlivesofdata.com/raft/

بعد حالا چیز بامزه‌ای که دیدم اینه که یه پروتوکل ارتباطی بین کامپیوترها هست به اسم gossip protocol! کامپیوترها میشینن با هم هی گاسیپ میکنن 😂😂😂

https://en.wikipedia.org/wiki/Gossip_protocol

پ. ن.: اگه پیش‌زمینه‌ی فنی این قصه رو ندارید ولی براتون جالبه که بدونید چیه، بخش communication این لینک ویکیپدیا رو بخونید

ساعاتی پیش openai خبر داد که ChatGPT Plus که نسخه‌ی پولیشه رو رونمایی میکنه.

"We are piloting ChatGPT Plus, a subnoscription plan that offers faster response times and reliability during peak hours. And of course, the free tier of ChatGPT is still available."


https://openai.com/blog/chatgpt-plus/

و همچنین دیروز این ابزار رو رونمایی کرد برای تشخیص متون تولید شده برای ai
البته من دیدم که چند نفر خروجی مدل‌های نسبتا قدیمی‌تری مثل gpt3 رو بهش داده بودند و خوب نتونسته بود تشخیص بده
باز با این حال تلاش جالبیه:

https://platform.openai.com/ai-text-classifier

این هم یه مقاله‌ای راجع به نحوه کارکرد chatGPT از نظر فنی:

https://huggingface.co/blog/rlhf

یکی از چیزایی که خیلی برام جذابه اینه که مباحث سخت و پیچیده‌ی فنی رو جوری بتونم بگم که کسی که کاملا خارج از این حوزه است و پیش‌زمینه‌ای نداره بفهمه. این موضوع وقتی که دوست دارم کاری که میکنم رو با دوستای غیر فنیم به اشتراک بگذارم و معاشرت کنیم خیلی برام جالب میشه. اصطلاحا سعی می‌کنم narrative ای بسازم که اون مباحث رو مستقل از اینکه چی هستند و چقدر پیچیده‌ان توضیح بدم.
اخیرا که خیلی روی داکر، میکروسرویس‌ها و کوبرنتیز کار میکنم تلاش‌های مختلفی کرده‌ام که روایت بسازم.
طی یکی از این تلاش‌ها با چت جی پی تی صحبت کردم. با هم دو تا روایت ساختیم که جالب شدند. باهاتون به اشتراک میگذارمشون:

Imagine you have a big project to build a giant tower made of blocks. To make it easier, you decide to divide the project into smaller parts, so each part can be built separately. That's like how computers break big projects into smaller parts called "microservices."

Kubernetes then comes in to help manage all these smaller parts, making sure each one has the resources it needs, like blocks and tools. It also helps coordinate between the different parts, so they work together to build the giant tower.

And just like a superhero team, Kubernetes and microservices work together to make the technology world a better and smoother place! Autoscaling is a feature of kubernetes and is like having a helper who knows when you need more blocks to build your tower and when you need less. For example, if you're building a big section of the tower, you might need more blocks. Your helper would know this and bring you more blocks so you can keep building. But, if you finish a section and don't need as many blocks, your helper would take some of them away so you have just the right amount.

Autoscaling in computers works the same way. If a computer is working hard on a lot of tasks and needs more resources, like more memory or processing power, autoscaling will automatically give it what it needs. And if the computer finishes some tasks and doesn't need as many resources, autoscaling will take some away so it's not using more than it needs to. This way, the computer is always using just the right amount of resources, and things keep running smoothly.

Docker is like a toy box for computer parts. Just like how you put your toys in a toy box to keep them organized and protected, computer parts can be put into "containers" provided by Docker. Each container is like a little box that holds all the parts needed to run a specific task, just like how a toy box holds all the pieces of a specific toy.

This makes it easier for Kubernetes to manage all the parts and make sure everything is running smoothly. And just like how you can take your toy box with you to different places, you can take your containers with you to different computers, making it easier to run your tasks on any computer you want. So, Docker helps keep computer parts organized and portable, just like a toy box for technology!

let's try another example! Imagine you're having a big picnic with your friends, and you need to bring a lot of food to share. To make it easier, you divide the food into smaller containers, like Tupperware or lunch boxes. Each container has just the right amount of food for one person, like a sandwich, some fruit, and a drink.

Docker is like these containers, but instead of food, it's holding parts of a computer program. And just like how you can stack your lunch boxes in a cooler to keep the food fresh, Docker containers can be stacked and organized in a computer to keep the programs running smoothly.

Kubernetes then comes in to help manage the picnic by making sure everyone has enough food and that the containers are being used efficiently. If more people show up and you need more food, Kubernetes will automatically bring more containers. If some people leave and there's too much food, Kubernetes will take some containers away. This way, everyone always has just the right amount of food, and the picnic stays organized and fun!

In this picnic example, each lunch box with food is like a microservice. Each lunch box is a small, independent part of the overall picnic that can be managed and used separately from the other parts.

For example, one lunch box might have sandwiches, another might have fruit, and another might have drinks. These different parts of the picnic can be managed and served separately, but they all work together to create a delicious and enjoyable experience for everyone.

Similarly, microservices in computers are small, independent parts of a software program that can be managed and used separately from other parts. Each microservice is responsible for a specific task, like a specific type of food in the picnic example. When many microservices work together, they can create a powerful and efficient program, just like how the different types of food come together to create a complete and satisfying meal.

وقتی توی طاقچه تصمیم گرفتیم زیرساخت یادگیری ماشین و هوش مصنوعی رو برای «گلدون» داشته باشیم، اسپاتیفای برام خیلی الهام‌بخش بود. اون موقع اسپاتیفای به تازگی توی بلاگ مهندسی‌اش مطلبی منتشر کرده بود که زیرساخت یادگیری ماشین‌شون چیه. بر اساس این مطلب به سمت یه سری ابزارهای جدیدی رفتیم که خیلی‌هاشون هم اون موقع mature نبودند و طی مسیری که داشتیم می‌رفتیم stable شدند؛ مثل TFX. این ریسک بزرگی بود و درس‌های زیادی هم داشت ولی خب الان راجع بهش نمی‌خوام بنویسم.

دیروز اسپاتیفای مطلب جدیدی روی وبلاگ مهندسی‌ش منتشر کرد که توضیحات خیلی مفصلی راجع به زیرساخت و ابزارهای فعلی‌شون میده. هنوز فرصت نکردم کامل مطلب رو بخونم ولی در نگاه گذری که داشتم خیلی جالب به نظر می‌رسه و بسیار پیشنهادش می‌کنم:

https://engineering.atspotify.com/2023/02/unleashing-ml-innovation-at-spotify-with-ray/

دوشنبه‌ای که گذشت، مایکروسافت اعلام کرد که نسخه‌ی رایگانی از
Azure Kubernetes Service (AKS)
ارائه کرده.
با این سرویس می‌تونید رایگان سرویس کوبرنتیز اجرا کنید:

https://learn.microsoft.com/en-us/azure/aks/free-standard-pricing-tiers

January in AI

Ready for February?

چه ژانویه‌ی فشرده‌ای بود 🥲

Mood

Mood

3. #the_faraway_nearby: Ice

اینجا یه رودمپی برای یادگیری کوبرنتیز از پایه تا حرفه‌ای آورده
البته در حال تکمیل عه

https://github.com/techiescamp/kubernetes-learning-path

Mood

تولیدی 😌😌