🚀 عملیات ماشین لرنینگ

👨‍💼 از داده ی خام تا تحویل یه محصول ML ، چه مسیرهایی طی میشه؟

💡مایکروسافت-> ایجاد، استقرار و مانیتور کردن مدل های استوار که بتونن بدون مشکل راه حل به مصرف کننده ارائه بدن

👇توضیح بیشتر در ادامه ی همین پست!

📝🤗💚مرسی که با اشتراک گذاری مطالب به رشد جامعه مون و ایجاد انگیزه ی بیشتر برای ما کمک می کنید! 🙌

کیفیت قبلی کم شده! این اصلی و ببینید!!

توضیحات:
در MLOps، یک سفر موفق از داده‌ها تا مدل‌های یادگیری ماشینی شامل چندین مرحله حیاتی است. بیایید با هم آن‌ها را بررسی کنیم:

📊 دریافت داده: داده‌های خام را از منابع مختلف به منظور پردازش بیشتر بگیرید.

🔍 اعتبارسنجی داده: کیفیت، صحت و سازگاری داده‌ها را بررسی کنید.

🧹 تمیزکار داده: ناهماهنگی‌ها را حذف کنید، مقادیر گمشده را مدیریت کنید و مشکلات کیفیتی را رفع کنید.

🔄 استانداردسازی داده: داده‌ها را به یک قالب یکنواخت برای پردازش بی‌درنگ تبدیل کنید.

📑 گزینش داده: داده‌ها را سازماندهی و ساختاردهی کنید تا برای مهندسی ویژگی‌ها (فیچرها) و توسعه مدل مؤثر باشند.

🔍 استخراج ویژگی ها (فیچرها): از مهندسی ویژگی‌ها برای بدست آوردن بینش‌ها و الگوها استفاده کنید.

✂️ انتخاب ویژگی ها (فیچرها): ویژگی‌های مؤثر را شناسایی کنید و ویژگی‌های بی‌اهمیت را حذف کنید.

💻 نوشتن کد: کد را برای آموزش و ارزیابی مدل پیاده‌سازی کنید.

📚 آموزش مدل‌ها: از داده‌ها و ویژگی‌های مدیریت شده برای پیش‌بینی‌های
دقیق استفاده کنید.

🎛️ اعتبارسنجی مدل‌ها: عملکرد مدل را بر روی داده‌های اعتبارسنجی ارزیابی کنید.

📏 ارزیابی مدل‌ها: عملکرد را با استفاده از معیارهای مناسب اندازه‌گیری کنید.

🔍 بازبینی: انتخاب مدل‌های کاندید را براساس نتایج ارزیابی بازبینی کنید.

🏆 انتخاب بهترین مدل: مدل با عملکرد بالاتر و سازگار با اهداف تجاری را تعیین کنید.

📦 بسته بندی مدل: مدل را با پرونده‌ها و وابستگی‌های لازم برای استقرار آماده کنید.

🚀 کانتینریزه‌سازی مدل: از کانتینرها برای قابلیت حمل و استقرار آسان استفاده کنید. مثلا از داکر استفاده کنید.

🚀 استقرار مدل: مدل را در محیط تولید برای مصرف معرفی کنید.

📝 ارائه مدل: مدل استقرار شده را از طریق رابط‌های برنامه‌نویسی (API) برای یکپارچه‌سازی بی‌درنگ ارائه دهید.

🚀 مصرف مدل: از مدل برای پیش‌بینی‌ها در زمان واقعی و تصمیم‌گیری‌های مبتنی بر داده استفاده کنید.

👀 نظارت بر مدل: برای پیگیری عملکرد و رفتار، نظارت محکم اجرایی را پیاده‌سازی کنید.

🔄 آموزش مجدد یا خاتمه‌بخشی مدل: به‌صورت منظم، مدل را براساس عملکرد، بروزرسانی یا خاتمه‌بخشی کنید.توضیح

📊 دریافت داده: داده‌های خام را از منابع مختلف به منظور پردازش بیشتر بگیرید.

🔍 اعتبارسنجی داده: کیفیت، صحت و سازگاری داده‌ها را بررسی کنید.

🧹 تمیزکار داده: ناهماهنگی‌ها را حذف کنید، مقادیر گمشده را مدیریت کنید و مشکلات کیفیتی را رفع کنید.

🔄 استانداردسازی داده: داده‌ها را به یک قالب یکنواخت برای پردازش بی‌درنگ تبدیل کنید.

📑 گزینش داده: داده‌ها را سازماندهی و ساختاردهی کنید تا برای مهندسی ویژگی‌ها (فیچرها) و توسعه مدل مؤثر باشند.

🔍 استخراج ویژگی ها (فیچرها): از مهندسی ویژگی‌ها برای بدست آوردن بینش‌ها و الگوها استفاده کنید.

✂️ انتخاب ویژگی ها (فیچرها): ویژگی‌های مؤثر را شناسایی کنید و ویژگی‌های بی‌اهمیت را حذف کنید.

💻 نوشتن کد: کد را برای آموزش و ارزیابی مدل پیاده‌سازی کنید.

📚 آموزش مدل‌ها: از داده‌ها و ویژگی‌های مدیریت شده برای پیش‌بینی‌های
دقیق استفاده کنید.

🎛️ اعتبارسنجی مدل‌ها: عملکرد مدل را بر روی داده‌های اعتبارسنجی ارزیابی کنید.

📏 ارزیابی مدل‌ها: عملکرد را با استفاده از معیارهای مناسب اندازه‌گیری کنید.

🔍 بازبینی: انتخاب مدل‌های کاندید را براساس نتایج ارزیابی بازبینی کنید.

🏆 انتخاب بهترین مدل: مدل با عملکرد بالاتر و سازگار با اهداف تجاری را تعیین کنید.

📦 بسته بندی مدل: مدل را با پرونده‌ها و وابستگی‌های لازم برای استقرار آماده کنید.

🚀 کانتینریزه‌سازی مدل: از کانتینرها برای قابلیت حمل و استقرار آسان استفاده کنید. مثلا از داکر استفاده کنید.

🚀 استقرار مدل: مدل را در محیط تولید برای مصرف معرفی کنید.

📝 ارائه مدل: مدل استقرار شده را از طریق رابط‌های برنامه‌نویسی (API) برای یکپارچه‌سازی بی‌درنگ ارائه دهید.

🚀 مصرف مدل: از مدل برای پیش‌بینی‌ها در زمان واقعی و تصمیم‌گیری‌های مبتنی بر داده استفاده کنید.

👀 نظارت بر مدل: برای پیگیری عملکرد و رفتار، نظارت محکم اجرایی را پیاده‌سازی کنید.

🔄 آموزش مجدد یا خاتمه‌بخشی مدل: به‌صورت منظم، مدل را براساس عملکرد، بروزرسانی یا خاتمه‌بخشی کنید.

📢ابزار جدیدی که دیدم و خیلی خوشم اومد اسمش Microsoft Design یا همون طراح مایکروسافت هست.

💡بش اول درخواستتون رو میدین به شکل پرامپت بعد اون طبق توصیفی که شما دادین، براتون پوستر، اسلاید، حتی عکس و ... طراحی میکنه..

🎥توی ویدیو نشون دادم!

🤗 اشتراک گذاری یادتون نره دوستان :)

📢 یک دانشجو در دانشگاه استنفورد موفق شده که عینکی بسازه که همزمان که افراد باتون صحبت میکنن، این عینک - در لحظه- براتون متن صحبت رو آماده میکنه..

💡این ابزارها میتونند دنیای جدیدی از ارتباطات رو به روی انسان، مخصوصاً افراد ناشنوا باز کنن! :)

🎥ویدیوش رو ببینید! 😍🔥

📢 از پست قبلی خفن تر میدونید چیه؟ این ابزار جدید شرکت مِتا (Meta) هستش..


💡شما براش نوع، سبک و ابزار موسیقی ای که دوست دارید بشنوید رو می نویسید و اون براتون موزیک رو تولید میکنه! بی نظیر بی نظیر..😍

👨‍💻👩‍💻 کدش هم Open source هست و میتونید ببینید...

🔗 لینکش و اینجا گذاشتم اگر بیشتر میخواید بدونید:
https://audiocraft.metademolab.com/musicgen.html

🙌 اشتراک بذارید ممنون میشیم :)

👨‍💻👩‍💻🤓دانشگاه هاروارد یک سری دوره ی رایگان برای آموزش هوش مصنوعی و علم داده گذاشته که به نظر جالب میان. دوره ها رایگانن ولی اگر مدرک بخواین باید یه هزینه ای بدین در نهایت... اما اگر هدفتون فقط یادگیری هست، به رایگان میتونید همه ی دوره هاشون رو شرکت کنید.. 


◼️ مقدمه ای بر هوش مصنوعی با پایتون

Link: https://lnkd.in/gygaeAcY

◼️ علم داده: یادگیری ماشین

Link: https://lnkd.in/gUNVYgGB

◼️ تحلیل داده های بعد بالا

Link: https://lnkd.in/gv9RV9Zc

◼️ آمار و R

Link: https://lnkd.in/gUY3jd8v

◼️ علم رایانه برای متخصصان تجارت

Link: https://lnkd.in/g8gQ6N-H

◼️ مقدمه ای بر برنامه نویسی با پایتون

Link: https://lnkd.in/gAdyf6xR



📝📊 موفق باشید

📢اگر ابتدای راهِ ماشین لرنینگ و علوم داده هستین 👇

👨‍💼👩‍🏫شکل زیر یه آگاهی کلی بتون میده نسبت به اینکه
1- مهندس داده
2- دیتا ساینتیست
3- مهندس ماشین لرنینگ
چیکار میکنن..

📈شما دوست دارید کدوم رو ادامه بدین؟

📝 توضیحات بیشتر

شکل با کیفیت تر.... تلگرام کیفیت رو کم میکنه خودش.. 🤓

👩‍💻مهندس داده: مناسب برای کسانی که علاقه مند به کار با داده هستند
• یادگیری ورود داده: مهارت‌های مدیریت داده را فرا بگیرید.
• اعتبارسنجی داده: مهارت‌های کنترل کیفیت داده را مسلط شوید.
• تمیز کردن داده: تکنیک‌های تمیز کردن داده را یاد بگیرید.
• استانداردسازی داده: قوانین استانداردسازی داده را متوجه شوید.
• تدوین داده: داده‌ها را به صورت کارآمد سازماندهی و مدیریت کنید.


👨‍💻 دانشمند داده (دیتا ساینتیست): ایده آل برای کسانی که ذهن های تحلیلی دارند
• استخراج ویژگی‌ها: یادگیری یافتن الگوها
• انتخاب ویژگی‌ها: مسلط شدن به انتخاب ویژگی‌ها برای افزایش کارآیی مدل ها
• شناسایی مدل‌های کاندید: تکنیک‌های انتخاب مدل را کشف کنید.

👨‍💻👩‍💻 دانشمند داده و مهندس ماشین لرنینگ: برای کسانی که کدنویسی را دوست دارند
• نوشتن کد: مهارت‌های برنامه‌نویسی را توسعه دهید.
• آموزش مدل‌ها: فرآیند آموزش مدل‌ها (ماشین لرنینگ) را متوجه شوید.
• اعتبارسنجی مدل‌ها: تکنیک‌های اعتبارسنجی را یاد بگیرید.
• ارزیابی مدل‌ها: معیارهای ارزیابی را مسلط شوید.
• بازبینی مدل‌های کاندید: فرآیند بهبود مدل‌ها را متوجه شوید.
• انتخاب بهترین مدل: یادگیری انتخاب مدل مناسب را تجربه کنید.

🚀مهندس عملیات ماشین لرنینگ برای کسانی که به دیپلوی کردن (استقرار) مدل ها علاقه دارند
• بسته‌بندی مدل: اصول بسته‌بندی را یاد بگیرید.
• ثبت مدل: پیگیری مدل را مسلط شوید.
• محیطی‌سازی مدل: مفاهیم محیطی‌سازی را متوجه شوید.
• استقرار مدل: راهبردهای استقرار را مسلط شوید.


✏️📊🤓📝این نقش‌ها شامل جنبه‌های مختلف داده و ماشین لرنینگ هستند و به تفاوت علایق و مهارت‌های مختلف پاسخ می‌دهند. در این حوزه‌ها کاوش کنید، علایق خود را شناسایی کنید و مسیر یادگیری خود را به‌مناسبت آن تنظیم کنید.

💡 خب قبلن هم گفتیم یه عده دنبال پادکست خوب بودن و هستن، من خودم عاشقم مصاحبه و Talk show هستم..

🎤🎧 این لینک مصاحبه خانم "میرا مُراتی"، CTO شرکت OpenAI، یا همون شرکتی که ChatGPT رو درست کردن با CTO شرکت Microsoft هست...

👩‍💻 35 سال سن داره
👩‍🏫مهندسی مکانیک خونده
🚗 برای تسلا کار میکرده

اما در شکل گیری یکی از بزرگترین محصولات هوش مصنوعی اخیر، نقش اساسی داشته!



https://youtu.be/5PGBn1t5CLQ🔥

🤓👨‍💼👩‍🏫 دانشگاه استفورد، دوره ی هوش مصنوعی مربوط به شناخت و درک زبان رو به شکل رایگان در یوتیوب و گیت هاب گذاشتن تا همه استفاده کنن..

🔥جالبه هزینه ی این دوره 1750 دلار آمریکاس که رایگانش کردن..

💡مدرک طبیعتا بتون نمیده ولی آنچه باید رو یادتون میده..

🔗👩‍💻 لینک کدهای درس:
https://github.com/cgpotts/cs224u/

🎥 لینک ویدیوهای درس در یوتیوب:
https://www.youtube.com/playlist?list=PLoROMvodv4rOwvldxftJTmoR3kRcWkJBp

🙌🤗 موفق باشید

تکامل هوش مصنوعی در پرتره‌ای از مصاحبه گیتس و اسکات 🤖🔬🚀

📝چه مهارت هایی را تقویت کنیم؟

۱. بازگشت ابررایانه‌ها: شاهد بازگشایی بهینه‌سازی موازی و معماری‌های عملکرد بالا در پشت پیشرفت هوش مصنوعی باشید. 💡

۲. ریاضیات و برنامه‌نویسی: گیتس به ارتباط ریاضی-برنامه‌نویسی اشاره می‌کند؛ برنامه‌نویسان هوش مصنوعی امروزی باید اصول ریاضی را درک کنند تا مسلط به معادلات شوند. 📐🖥️

۳. بهینه سازی منابع: گیتس به موضوع بهینه سازی منابع چه در مدل های محاسباتی مانند پارامترها یا ساده سازی معادلات، چه در مبحث تامین برق دیتاسنترها و چه در مدیریت دیتابیس ها اشاره میکند. ⚙️🔌


لینک کامل مصاحبه برای علاقه مندان در زیر: 🌟🤝

https://youtu.be/bHb_eG46v2c

💚🙌 اشتراک گذاری مطالب این کانال، منجر به افزایش دانش جامعه ی اطراف ما، انگیزه ی ما و قطعا تلاش برای تولید محتوای بهتر میشه! :)

👩‍💻📈🤓آیا شما یک دانشمند علوم داده هستید؟ آیا به افزایش کارآیی انرژی‌های تجدیدپذیر جهت کمک به تسریع در انتقال انرژی علاقه دارید؟

💡اگر شما دانشجو، شرکت نوپا، فرد علاقه‌مند به داده‌های انرژی یا حتی علاقه‌مندان به انرژی هستید، تمرین کنید و آماده بشید تا در مسابقه IEEE (انجمن مهندسین برق و الکترونیک) در زمینه انرژی تجدیدپذیر هیبریدی و پیش‌بینی شرکت کنید! 🏆

💵 در این مسابقه مجموعاً 20,000 دلار جایزه در انتظار شماست 💰

🌏🌋سوابق گرمای جهانی این تابستان نشان داده که تهدید تغییرات آب و هوا از هر زمان دیگری بیشتر اهمیت دارد. ما به ذهنیت‌ها قوی نیاز داریم تا به همین چالش عظیم پاسخ دهند!

🔗لینک ثبت نام:
https://glasgow.us21.list-manage.com/subscribe?u=a42b044d56565ab2a5a6bbb9b&id=336217f7a7

الان فقط میتونید ایمیلتون رو بذارید بعد بتون ایمیل میدن که چطوری باید برای شرکت کردن در مسابقه و تیم ساختن شرکت کنید.. 🙌🔥💵💵💵💵

سهم من یادتون نره! 😂

توضیح در پست بعدی 👇📝

👨‍💻مهندس نرم‌افزار: مهندس نرم‌افزار حرفه‌ای است که اصول مهندسی نرم‌افزار را برای طراحی، توسعه، نگهداری، آزمایش و ارزیابی نرم‌افزارهای کامپیوتری به کار می‌برد.

👩‍💻 مهندس DevOps : مهندس DevOps یک متخصص IT است که با توسعه‌دهندگان نرم‌افزار، اپراتورهای سیستم و دیگر کارکنان تولید IT همکاری می‌کند تا عملیات انتشار کد را نظارت کند. آنها از دانش خود در زمینه برنامه‌نویسی و کدنویسی، طراحی زیرساخت، مدیریت سیستم و امنیت شبکه برای ساخت و استقرار نرم‌افزار، سیستم‌های پایگاه داده امن و شبکه‌های داخلی استفاده می‌کنند.

☁️مهندس Cloud: مهندس Cloud یک متخصص IT است که مهارت‌ها و دانش خود را در زمینه توسعه نرم‌افزار، زیرساخت شبکه و محاسبات Cloud ترکیب کرده و سیستم‌های محاسبات Cloud را طراحی، ادغام و نظارت می‌کند. آنها زیرساخت ابری را برای مصرف کننده و شرکت ها ایجاد می‌کنند، از جمله برنامه‌های تلفن همراه، بازی‌ها و سیستم‌های پایگاه داده آنلاین و ...

👨‍🏫مهندس MLOps: مهندس MLOps مهندس نرم‌افزاری است که در جنبه‌های انتشار و تولید فرآیند علم داده تخصص لازم را دارد. هدفMLOps ، استقرار و نگهداری قابل اعتماد و کارآمد سیستم‌های یادگیری ماشین در محیط‌های تولیدی است.

👩‍🏫مهندس پلتفرم داده : مهندس پلتفرم داده مسئول طراحی، ساخت و نگهداری پلتفرم داده است که تصمیم‌گیری مبتنی بر داده سازمان را تغذیه می‌کند.

👨‍💻📊 دانشمند علوم داده (Data Scientist): دانشمند علوم داده، متخصصی است که با اسثتناد به روش‌های ریاضی، الگوریتم‌ها و سیستم‌های علمی به استخراج دانش از داده‌ها استفاده می کند که منجر به تحلیل و تصمیم گیری های بهتر چه برای شرکت ها و چه برای مصرف کننده می شود.

👩‍💻مهندسML: مهندس ML مسئول طراحی، ساخت، استقرار و نگهداری سیستم‌های یادگیری ماشین در محیط‌های تولیدی است.

امیدوارم این اطلاعات به شما کمک کند!💚

😍😍🔥 یه سری کد آماده کردم هم یادتون میده با مثال که چطوری QR کد بسازید توی Python و هم اگر نه اصن حالشو ندارید، بش یه لینک با یه لوگو یا عکس بدین و اون براتون QR کد میسازه...

😍همین شکل بالا رو ببینید، آموزش ساخت هر 5 تاش رو گذاشتم ..

👨‍💻به نظرتون چطوری میتونیم بهترش کنیم؟ دیزاینش رو بهتر کنیم؟ یا مثلا ربات Telegram براش بسازیم؟

👩‍🏫دوست داشتین، درست کنید و Pull request بفرستید توی Github با بقیه به اشتراک بذاریم...

🔗 لینک:
https://github.com/SaM-92/QR-code-Python

😍 شگفت‌انگیز 🤯

🎤صداهای هوش مصنوعی دیگر هرگز همانند قبل نخواهند بود! به نظر می‌آید PlayHT2.0 قادر است یک گفت‌وگو را تا حدی مشابه انسان انجام دهد، از کلمات پر کننده استفاده کند و احساسات را در طی گفت‌وگو به شکل همزمان بیان کند!!

🎥 حتما کلیپ را ببینید!

🔥😈ترسناک و جذاب!

🔗لینک محصول:
https://play.ht/

👨‍🏫😍 ببینید چطوری هوش مصنوعی به یک خانم که دچار فلج مغزی شده بودن، صداش رو برگردوند...

🎤این ایمپلنت برای افرادی که دچار فلج مغزی شدن افکار رو به متن و صدا تبدیل می کنه!

💡صدای بیمار قبل از حادثه رو کلون کردن و تو هر دقیقه می تونه 80 کلمه با صدای خودش تولید کنه. تو مرحله ی بعد قراره این تکنولوژی بی سیم بشه.

🎥 لینک ویدیوی کامل:

https://youtu.be/iTZ2N-HJbwA

🔗 لینک کامل خبر:
https://www.ucsf.edu/news/2023/08/425986/how-artificial-intelligence-gave-paralyzed-woman-her-voice-back

📝لینک مقاله ی Nature درباره ی این پژوهش:

https://www.nature.com/articles/s41586-023-06443-4



🙏اطلاعات رو از صابر عزیز گرفتم. آیدی توییترش:sabber_dev

🔥 📝 پایتون برای علم داده، کتابی جدید از آرتور تورل است که بر تطبیق‌های اصلی علم داده با استفاده از پایتون تمرکز دارد. این کتاب الهام گرفته شده از کتاب R برای علم داده نوشته هدلی ویکهام و گرت گرولموند است و ساختار مشابهی دنبال می‌کند. این کتاب مباحثی از قبیل:
✅ تنظیم و تبدیل داده
✅ رسم داده
✅ کار با spreadsheet، پایگاه‌های داده، web scraping و API
✅ مباحث برنامه‌نویسی مانند توابع و iteration

این کتاب به صورت آزاد و آنلاین در دسترس است…

🔗 https://aeturrell.github.io/python4DS/welcome.html

📊📈👨‍🏫بریم سراغ یک سری منبع برای یادگیری داستان سرایی و رسم نمودار با داده. یکی از مهم ترین مهارت های یک آنالیست داده، این هست که بتونه داده ها را بعد از بررسی، به زبان ساده تر برای افراد توضیح بده.
🔥🎥 ✏️این زیر میتونید یه سری منبع رو معرفی کردم. اما، لینک کتاب ها رو به نسخه ی اصلیشون گذاشتم چون به دلیل قوانین حق کپی رایت من اجازه ی به اشتراک گذاری نسخه ی رایگانشون رو ندارم. ولی اگر بگردید مطمئنم پیدا میکنید نسخه های رایگانش رو..

💻 تماشا کنید - Data Analyst Portfolio Project | Tableau Visualization
لینک:
https://youtu.be/QILNlRvJlfQ?si=NMIBi01ZIIeQnTI6

💻 تماشا کنید – How To Create a Dashboard - Tableau Tutorial P.9
لینک:
https://youtu.be/7Sdzs3fF5kw?si=MVDJgeL4YdwIjnVs

📖 بخوانید - Storytelling with Data
لینک:
https://www.amazon.co.uk/Storytelling-Data-Visualization-Business-Professionals/dp/1119002257
📖 بخوانید – The Big Book of Dashboards
لینک:
https://onlinelibrary.wiley.com/doi/book/10.1002/9781119283089