🌟 خوب امشب میخوام درمورد شرایط عجیب و غریب قرارداد بین مایکروسافت و inflection ai که متعلق به مصطفی سلیمان هست صحبت کنم

حتما درمورد این خبر شنیدین که مصطفی سلیمان رئیس بخش هوش مصنوعی مایکروسافت شده

اما بشنوید از پشت پرده این ماجرا (اهنگ ۲۰:۳۰ رو پلی کنید😃)

مایکروسافت مصطفی سلیمان و اغلب کارمندهای استارتاپش رو استخدام کرده و ۶۵۰ میلیون دلارم داده تا به مدل ها و حقوق قانونی اون استارتاپ دسترسی پیدا کنه!

حالا ارزش واقعی شرکت چنده؟ بالای ۴ میلیارد دلار و همین پارسال ۱.۳ میلیارد دلار فاندینگ گرفته

درواقع مایکروسافت اومده ۶۲۰ میلیون دلار داده تا API های مدل های شرکت inflection رو بیاره روی Azure و ۳۰ میلیون دلارم داده و کارمندای شرکت و استخدام کرده
و اومده یه بخشی توی شرکتش درست کرده به اسم Microsoft AI تا این کارمند ها اونجا کار کنن

حالا اییین همه لقمه دور سر چرخوندن برای چی؟
واسه اینکه بتونه قوانین آنتی تراست رو دور بزنه و کسی درمورد این معامله به مایکروسافت گیر نده و بتونه به بزرگتر کردن پورتفولیو هوش مصنوعی اش ادامه بده:))))

@aipulse24

💺 میخوام یکم راجع به رتبه بندی مدل های زبانی اوپن سورس صحبت کنیم

بعد از معرفی Chat GPT یه عالمه مدل های زبانی اوپن سورس معرفی شدن که هرکدوم ویژگی های خودشون رو دارن

اما این وسط نیاز بود که یک رتبه بندی صورت بگیره تا کاربرها واقعا بتونن قابلیت های این مدل هارو مقایسه کنن

به خصوص با جنگ هوش مصنوعی که راه افتاده و هر شرکت هر روز ادعای بهترین بودن میکنه یه منبع بی طرف نیاز بود

💡💡 اینجا بود که LMSYS وارد شد!💡💡

یک موسسه که توسط دانشجوهای دانشگاه برکلی تاسیس و مدیریت میشه و یک رویکرد خیلی خلاقانه به ارزیابی این مدل های زبانی داشته

درواقع این موسسه از روش رایج برای رتبه بندی در شطرنج برای امتیازدهی به مدل های زبانی استفاده کرده!

🌕روش کار به چه صورت هست؟

یک نوع از رتبه بندی به صورت Crowdfunding اتفاق میوفته
یعنی کاربرها میرن و روی سایت این موسسه یا روی هاگینگ فیس با ۲ تا مدل زبانی که نمیدونن چی هستن کار میکنن و براساس کیفیت پاسخ هایی که از این ۲ مدل دریافت میکنن بهشون رتبه میدن
وقتی رتبه بندی ثبت شد برای کاربر نمایش داده میشه که به چه مدل هایی امتیاز داده

یعنی کاربر ممکنه درحال کار با کلاد یا Chat GPT باشه ولی تا زمانی که امتیاز نداده نمیدونه داره با چه مدلی کار میکنه

روزانه هزاران رویو به این صورت توسط کاربرها درحال انجام هست روی این سایت و این رتبه بندی ها توسط کاربرها درنهایت Leaderboard این موسسه رو شکل میده!

این لینک لیدربرد هست:

https://chat.lmsys.org/?leaderboard

و اگر دوست دارین شمام تو رتبه بندی ها کمک کنین از طریق این لینک امکانش هست:

https://arena.lmsys.org/

@aipulse24

🥰خووب یه پست تحلیلی باحال بریم🥰

یه شتابدهنده کسب و کار هست به اسم Y Combinator که به (YC) معروف هست و کسب و کارها آرزو شونه باهاش کار کنن

اتفاقا سم التمن از اعضاش هست و از استارتاپ های موفقی که از دل این شتابدهنده اومده بیرون میشه به airbnb، doordash و dropbox و یه عالمه دیگه اشاره کرد


حالا این شتابدهنده یه اماری منتشر کرده از درخواست هایی که تو زمستون ۲۰۲۴ داشته که یه سری نکاتش خیلی جالبن:

🌕 ۲۷هزارتا درخواست دریافت کرده که فقط ۲۶۰ تاش رو پذیرفته!

🌕 از ۲۶۰ تا شرکت پذیرفته شده ۵۰ درصدشون مرتبط با هوش مصنوعی بودن!


🌕 مدیرعامل شرکت گفته ترندی که دارین میبینیم شبیه ترند تاثیر اینترنت توی دهه ۹۰ و گوشی های هوشمند توی دهه ۲۰۰۰ هست!

🌕۵تا حوزه اصلی رو شامل میشن این استارتاپ ها:

🌕رسوخ در بازار: یعنی یک حوزه خاص رو دارن کار میکنن فرضا هوش‌مصنوعی واسه تحصیل، املاک و غیره

🌕بهبود فعالیت های شرکت ها و تعاملات مشتری: مثلا هوش مصنوعی که نقش منشی داره

🌕ساخت مدل های هوش مصنوعی: مثلا یه استارت اپ داره یک مدل هوش مصنوعی درست میکنه که فقط روی داده های امواج مغزی ترین میشه واسه درک بهتر رفتارها و فعالیت های مغز

🌕سلوشن های خیلی تخصصی یعنی یک سری هوش مصنوعی که دارن به صورت عمودی توسعه پیدا میکنن وتوی یه موضوع عمیق میشن

🌕یک سری هام چیزهایی که از قبل هستن رو دارن بهبود میدن مثلا اینکه هوش مصنوعی بهتر کد بزنه


این mindmap توی عکس هم دسته بندی ۱۶۷ تا استارتاپی هست که توسط YC پذیرش شدن و با هوش مصنوعی مربوطن

دوتا فاکتور اساسی در رتبه بندی مدل های زبانی اهمیت دارن

🌕 میزان هزینه و پارامترها
🌕 نوع عملکردش

به طور کلی تا الان برای اینکه ما مدل هایی داشته باشیم که عملکرد بهتری دارن مجبور بودیم که تعداد پارامترهارو بیشتر کنیم و افزایش تعداد پارامتر هم یعنی افزایش هزینه های اون مدل


اما چند وقت پیش میسترال مدلی رو داد که به این مدل ها میگن MOE یا Mixture of experts منظور این هست که این مدل ها در آن واحد از همه پارامتر ها استفاده نمیکنن و براساس نیاز کاربر یک سری از پارامتر هارو فعال میکنن

این رویکرد باعث کاهش هزینه ها میشه
میسترال مدل قبلی که این سبکی داد 8×7b بود حالا اخیرا مدل 8×22b رو منتشر کرده که با افزایش خیلی کم در تعداد پارامترها و هزینه ها عملکرد بسیار بهتری داره!

توی بنچ مارک ها این مدل عملکرد بسیاااز خوبی نشون داده و از LLaMA 2 70B بسیار بهتر بوده با هزینه و پارامتری بسیار کمتر


چیزی که مشخصه هر روز داریم به سمتی میریم که هوش مصنوعی های اوپن سورس بیشتر و بیشتر در دسترس عموم قرار بگیرن و نیاز نباشه برای استفاده ازشون از کامپیوترهای خیلی قوی استفاده کرد

همون ترندی که توی اغلب تکنولوژی ها قبلا هم شاهد بودیم مثل ابزارهای ذخیره سازی داده که قبلا توی یه کامیون جا میشدن و الان توی جیب!

منتهی این سری روند این تغییرات خیلی سریع تر از تکنولوژی های قبلی هست

✨خلاصه کل اخبار مهم مرتبط با هوش مصنوعی توی هفته گذشته✨

✏️اپل چیپ جدیداش رو معرفی کرد که عملکرد هوش مصنوعی توی مک های نسل اینده رو بهبود میده

✏️ابزار پوشیدنی 😒 جدید به اسم limitless به بازار اومده که همه مکالماتت رو برات خلاصه میکنه

✏️ گروک ۱.۵ به بازار معرفی شد که حالا تصویرو هم پردازش میکنه

✏️شرکت ادوبی قابلیت های هوش مصنوعی جدید به فایرفلای اضافه کرد از جمله تولید ویدیو توی پرمیر پرو

✏️شرکت Reka که توسط مهندسایی از شرکت های deepmind و گوگل راه اندازی شده مدل جدید به بازار داد

✏️اوپن ai یه سری تغییرات در سرویس API خودش داد از جمله کاهش ۵۰٪ هزینه

✏️مایکروسافت VASA-1 رو داد که عکس رو متحرک میکنه

✏️بوستون داینامیکس ربات تمام الکترونیک خودش رو معرفی کرد

✏️متا هم مدل جدیدش یعنی 3 Llama رو معرفی کرد.

اکی!
برای کسایی که به کلیت هوش مصنوعی علاقه دارن ولی دانش اکادمیک ندارن (خودمم ندارم البته 😃) و دوست دارن از یه سری اصطلاحات رایج سر دربیارن
یه جور واژه نامه درست کردم که اینطوری به درک بهتر اخبار مرتبط با هوش مصنوعی هم کمک میکنه

✈️یادگیری عمیق deep learning
سبکی که کامپیوترها با ارائه مثال های متعدد اموزش میبینن مثل همونطوری که ما از تجربیاتمون یاد میگیریم. یادگیری عمیق از یک سری برنامه کامپیوتری به نام شبکه های عصبی استفاده میکنه تا بتونه در داخل داده ها نوعی الگوی تکرار شونده پیدا کنه مثلا یادمیگیره با استفاده از چه المان هایی یه گوربا🤨 رو شناسایی کنه

✈️شبکه های عصبی neural network
یه نوعی از برنامه های کامپیوتری که با استفاده از‌ گره های بهم متصل مثل مغز انسان کار میکنه.

✈️ ترنسفورمر transformer
یک نوع خاصی از شبکه های عصبی که گوگل خلقشون کرده که به خلق و درک بهتر زبان کمک میکنه مثلا کامپیوترهایی که میتونن با شما چت کنن

✈️ پارامتر Parameter
بخش های از شبکه های عصبی که در زمان ترینیگ (یادگیری) قابل تغیبر و تنظیم هستن تا اون شبکه بهتر یاد بگیره مثل تنظیم گیتار قبل نواختن

✈️(در مورد این فارسی کیلی کیلی کم😬) positional encoding
روشی است که براساس اون ترنسفرمر ها ترتیب کلمات دز جمله رو درک میکنن یعنی میفهمن "گوربا بهتر از سگ است" با "سگ بهتر از گوربا است" فرق میکنه😎

✈️جی پی تی GPT
نوعی از ترنسفورمرها که به کامپیوترها کمک میکنه تا عین انسان حرف بزنن و متن بنویسن

✈️مدل های بنیادی Foundation model
مدل های هوش مصنوعی بزرگ که میتونن برای مصارف مختلفی مورد استفاده قرار بگیرن

✈️ فاین تیون کردن fine tuning
تمرین و تنظیم یک مدل هوش منصوعی که برای یک تسک یا وظیفه خاصی بهتر عمل کنه

✈️مهندسی پرامپت نویسی prompt engineering
نحوه ارائه درخواست و اینترکت کردن با هوش مصنوعی برای اینکه درک بهتری از منظور شما داشته باشه و جواب های بهتری بده

✈️لورا LoRas
مدل های سبک و خاص که روی مدل های بزرگ سوار میشن تا برای یک ویژگی یا تسک خاص به مدل اصلی کمک کنن تا عملکرد بهتری داشته باشه مثلا یک لورا چشم ابی روی یک مدلی که عکس های انیمه تولید میکنه سوار میشه تا اون عکس‌های انیمه ها با چشم ابی جنریت بشن


✈️سوگیری Bias
وقتی یک هوش مصنوعی اشتباه میکنه چون داده ای که روش ترین شده بالانس نبوده مثلا فکر میکنه همه پزشک‌ها مرد هستن چون فقط اطلاعات پزشک‌های مرد بهش داده شده


✈️(عمرا فارسی اینو بنویسم) oobabooga 🥺🥺

مدل های هوش مصنوعی شبیه برنامه ای هستن که راه ارتباطی باهاشون نیست برای استفاده ازشون نیاز بهui وجود داره که معروف ترین ui برای مدل های تولید متن این خدا زده است!


اینا بیشتز اصطلاحات رایج مدل های متنی بود
بعدا یکی هم برای stable diffusion که عمده ترین مدل تولید عکس اوپن سورس هست مینویسم

۱۵ ترلیون توکن دیتا تمیییییز ریلیز شد 😦😦😦😦
برای اینکه حجم اهمیت این داده رو درک کنین:

مدل های Llama 3 روی ۱۵ ترلیون توکن تمییز ترین شدن!

(منظور از توکن کوچک ترین واحد داده است که توسط الگوریتم ها پردازش میشن)

(منظور از تمیز هم اینه که داده بالانس هست و محتوای تکراری توش نیست)

این حجم از داده تمیز و قابل استفاده برای اموزش مدل های زبانی چیزیه که فقط داشتنش تا الان از شرکت های بزرگ با زیرساخت های غول اسا برمیومده!

ولی حالا این داده ها اوپن سورس شده!

داده ها از سال ۲۰۱۳ به این طرف هست و برای کمک به پیشرفت و توسعه این حوزه به صورت رایگان و اوپن سورس ارائه شده!


شرکتی به اسم‌ fineweb این داده هارو منتشر کرده. اگر امکان کار کردن باهاش رو دارید:)))

این لینکش🤪

داده خفن

شاهد بالاترین سطح ادا هستیم😳😳😳

یک شرکت برشته کار قهوه ( 🥸🥸 چه ترجمه ی عجیبی) با استفاده از هوش مصنوعی یه ترکیب قهوه زده!

رفتن به ChatGPT و کوپایلت اطلاعات انواع قهوه رو دادن و بعد ازش پرسیدن چه ترکیبی برای عاشقان قهوه خیلی جذابه؟

اون هم گفته دونه های برزیلی و کلمبیای و اتیوپی و گواتمالا رو ترکیب کن عالی میشه

اینام ترکیب کردن گفتن عالیه به خود GPT گفتن اسمش رو چی بزاریم اونم گفته بزار AI-conic

همین دیگه🗿🗿