مایکروسافت در اقدامی مصور سازی ChatGPT رو جهت صحبت کردن و ترسیم و ویرایش عکس و متن منتشر کرد

paper: arxiv.org/abs/2303.04671

https://github.com/microsoft/visual-chatgpt

#مقاله

❇️ @AI_Python

پیش‌بینی راجع به امکانات (توییت):

*If* GPT-4 is multimodal, we can predict with reasonable confidence what GPT-4 *might* be capable of, given Microsoft’s prior work Kosmos-1:

- Visual IQ test: yes, the ones that humans take!
- OCR-free reading comprehension: input a screenshot, scanned document, street sign, or any pixels that contain text. Reason about the contents directly without explicit OCR. This is extremely useful to unlock AI-powered apps on multimedia web pages, or “text in the wild” from real world cams.
- Multimodal chat: have a conversation about a picture. You can even provide “follow-up” images in the middle.
- Broad visual understanding abilities, like captioning, visual question answering, object detection, scene layout, common sense reasoning, etc.
- Audio & speech recognition (??): wasn’t mentioned in Kosmos-1 paper, but Whisper is already an OpenAI API and should be fairly easy to integrate.

Note: the predictions are based on what Andreas Braun, Microsoft Germany CTO, allegedly said. They may or may not be accurate (that’s why I call it “prediction”). But Kosmos-1 is very real and rock solid. It offers a glimpse of either GPT-4 or whatever AI service that Microsoft will provide next. I find it difficult to believe Kosmos-1 will stay in the lab and not become a product.

In any case, prepare yourself for multimodal APIs - they’ll happen sooner or later!

مدل Kosmos-1 هم همونه که توی این مقاله هه یکی دو هفته پیش منتشر شد

Sometimes just being alive is success

اسکلیما، که whisper عادی استفاده میکنیم
این یارو یچیزی نوشته whisper.cpp، نه تنها ساپورت میکروفون داره، نه تنها تمرکزش رو اجرا cpuعه، ببین براساس اطمینانش رو شنیدن درست کلمات، رنگ هم میکنه!

https://github.com/ggerganov/whisper.cpp

همین دولوپر دیروز یه چیز دیگه ریلیز کرده:
https://github.com/ggerganov/llama.cpp

مدل LLaMA که نسخه‌ای مشابه مدل gpt-3 ولی اپن سورس بود که کمی قبل فیس‌بوک معرفی کردتش.
حالا این پیاده‌سازی سی پلاس پلاس، خیلی بهینه‌تره، روی سی پی یو ران میشه، و از 4-bit quantization استفاده میکنه.

4-bit quantization is a technique for reducing the size of models so they can run on less powerful hardware. It also reduces the model sizes on disk—to 4GB for the 7B model and just under 8GB for the 13B one.

و روی M1 هم اجرا میشه.

یکی گفته این مشابه کاریه که stable diffusion با dalle کرد.

https://simonwillison.net/2023/Mar/11/llama/

خب
سلام
من اینو قاعدتا باید زودتر خبر می‌دادم ولی راستش نرسیدم و موند برای الان.
یه چالشی هست به اسم #100DaysOfCode
با تعدادی از دوستان خیلی خفن (از شرکت‌های آمریکایی تا اسنپ و دیجیکالا و همکاران سیستم و ...) تصمیم گرفتیم که این چالش رو با هم انجامش بدیم.
خلاصه قصه از این قراره که برای ۱۰۰ روز برنامه‌ریزی می‌کنیم و سعی می‌کنیم توی این ۱۰۰ روز روی این مباحث متمرکز بشیم.
این پیام رو می‌گذارم اینجا و از شما هم دعوت می‌کنم که بهمون ملحق بشید چون احتمالا قراره خیلی جالب و هیجان‌انگیز باشه.

چند تا نکته اینجا راجع بهش هست که بولت‌وار می‌گمشون:
- این چالش چیز جدیدی نیست و خیلی اصل و نسب داره به قولی! اول از کد شروع شد و به حوزه‌های دیگه هم راه پیدا کرد؛ حتی حوزه‌های غیرکامپیوتری و غیرفنی مثل موسیقی. یه وبسایت رسمی برای این چالش وجود داره که می‌تونید برید اونجا و قوانین و اهداف این چالش رو ببینین: https://www.100daysofcode.com
- یکی از «اصلی‌ترین» فایده‌های این چالش شبکه‌سازی عه؛ پس چیزایی که یاد می‌گیرید رو با بقیه به اشتراک بگذارید. می‌تونید توی توییتر با این هشتگ بگذارید یا توی لینکدین یا هر جا که فکر می‌کنید خوبه.
- من خودم احتمالا توی توییتر و لینکدین بذارم؛ ولی قطعا اینجا هم می‌ذارم. شما هم می‌تونید زیر همون پست برای خودتون رو بگذارید. مجدد میگم که تعاملی بودن این قصه خیلی اولویت داره.
- نکته‌ی دیگه اینکه متعهد بمونید؛ حتی شده خیلی کم ولی یه مقدار کمی رو در روز وقت بگذارید برای این چالش. آهسته و پیوسته ولی حتما با تعهد و پیوسته.
- ما چالش رو قراره توی بازه‌های ده روزه پیش ببریم. یه چیزی توی مایه‌های اسپرینت. و ته هر اسپرینت برای اسپرینت بعدی تصمیم بگیریم.
- اسپرینت اول قراره راجع به مباحث طراحی شی‌گرا باشه؛ یعنی مفاهیم پایه، مفاهیم پیشرفته و دیزاین پترن‌ها و هر چیز دیگه‌ای که به ذهنتون می‌رسه. نکته‌ای که هست اینه که هر کس آزاده از هر منبعی که می‌خواد بخونه و هر کاری می‌خواد بکنه.
- این تیکه رو از متنی که مهدی توی کانالش نوشته کپی می‌کنم:
«یک ریپوی گیت‌هاب درست شده که مبحث به مبحث توش یه دایرکتوری درست می‌کنیم و هرکس می‌تونه کدهایی که برای هر مبحث تمرین کرده اونجا بذاره تا هم به کامل شدن چالش کمک کنه و هم اینکه از نظرات دیگران استفاده کنه.»
آدرس ریپوی گیت‌هاب اینه:
https://github.com/mahdiAkhi/100DaysOfCode

- ما قراره از مباحث ساده شروع کنیم و به مباحث پیچیده‌تری مثل طراحی سیستم‌ها با scale بالا و سیستم‌های بر مبنای هوش مصنوعی برسیم. به طور کلی الان توی ذهنمون یه همچین چیزایی عه:

- Fundamentals of OOP(Design Patterns, IoC, DI, etc.)
- Software architectures(MVC, Microservice, Event Driven, Domain Driven, Event Driven Microservices)
- System Design
- Designing ML based Software - Intelligent software
- Docker, Kubernetes, Redis, PostgreSQL, NoSQL(Mongo)
- Productionizing the DL and ML models
ولی اینا صرفا در حد یه ایده‌ی اولیه است و اینکه دقیق‌تر چی بشه رو آروم‌آروم مشخص می‌کنیم.

- باز از کانال مهدی نقل می‌کنم:
«- چالش ما حول مفاهیم مهندسی نرم‌افزار هستش،‌در واقع عنوانش می‌شه #100DaysOfSWE‌
- برای هر مرحله لطفا منابعتون رو به ریپوی گیت‌هاب اضافه کنید تا بتونیم یه منبع غنی داشته باشیم و اگه کسی خواست شروع کنه بتونه راحت این کار رو انجام بده.
- ما فقط تاپیک رو اعلام می‌کنیم مثلا می‌گیم اصول و مفاهیم شی‌گرایی. این که شما چه مباحثی رو می‌خونید و از روی چه منبعی می‌خونید و به چه زبانی کد می‌زنید کاملا به خودتون مربوطه. پوینتش اینه که هر روز چیزایی که یاد می‌گیرید رو با دیگران به اشتراک بگذارید تا دیگران چیزایی که آشنا نیستن رو ببینن برن یاد بگیرن.»

- قرارمون اینه که از امروز، دوشنبه، ۱۳ مارچ شروع کنیم. می‌دونم که خیلی شاید آسون نباشه و دیر دارم می‌گم ولی می‌تونید روز اول رو آسون شروع کنید؛ ولی شروع کنید.
- شروع‌مون با تمرین و مرور مفاهیم شی‌گرایی و بعد خوندن بیشتر تر همین حوزه هست.

- یه گروه برای این چالش در نظر گرفتیم که دوست‌های مختلف بتونیم اونجا باشیم و در ارتباط قرار بگیریم. خوشحال می‌شیم که بهمون ملحق بشید:
https://news.1rj.ru/str/+2VDNxAZzyARkMzQ0

- شما هم می‌تونید به دوستاتون بگید و توی کانالاتون بذارید.
- مجدد می‌گم که سخت نگیرید و شروع کنید فقط.

The benefits of the challenge:

قدرت بی‌قدرتان - واتسلاف هاول

در زمینه‌ی این بریده قبلی، این کتاب هم هست. نخوندمش ولی تعریفش رو شنیدم.
توضیحات سایت طاقچه رو نقل می‌کنم:
«زندگی و مسیرهایی که در زندگی طی می‌شوند، روی سنگ حک نشده‌اند؛ قصه‌ها هستند که به زندگی ما شکل می‌دهند. به همین دلیل، چگونگی درک قصه‌های زندگی و نحوهٔ در میان گذاشتن آن‌ها با دیگران بسیار مهم است. اگر فقط به قصه‌های ناراحت‌کننده و فلاکت‌هایمان بیندیشیم، احساس ناتوانی می‌کنیم. در عوض، می‌توانیم طوری تجربه‌ها و قصه‌هایمان را تعریف کنیم که قوی‌ترمان کند، ناکامی‌ها و فقدان‌هایمان را تا حدودی التیام ببخشد و رنج‌هایمان را سبک کند.»

«قصه ای که انتخاب می کنیم» را از طاقچه دریافت کنید
https://taaghche.com/book/126432

من یه اکانت توییتر دیگه درست کردم که توش محتوای انگلیسی و تخصصی بگذارم:

https://twitter.com/alimirferdos

Mood

Introducing Stanford Alpaca, a new 7B fine-tuned model based on Meta's LLaMA.

https://github.com/tatsu-lab/stanford_alpaca

Day 1 of #100DaysOfCode #100DaysOfSWE‌
- I started by organizing the resources I want to work on.
- Then started reviewing the "Object-Oriented Analysis and Design with Applications" book where I could get the overal structure and a fast skim on the first chapter: complexity
- I watched this video on design patterns for Python: https://www.youtube.com/watch?v=bsyjSW46TDg

kaixindelele/ChatPaper: Use ChatGPT to summarize the arXiv papers.
https://github.com/kaixindelele/ChatPaper

بالاخره معلوم شد قاتل هابیل کیه 🚶🙄

آهاااا
بهراد الان نکته‌ی خوبی گفت
بعد از این قصه براش یه sequel ساختند و اسمش رو گذاشتند kill Bill 🚶🚶