همانطوری که قبلا برای

مرکز هوش مصنوعی ایران

نوشتم که پول مفت فقط در تله موش قرار داره و کاری صرفا برکلاهبرداری هست و مراقب خودتون باشید الان شرکت دادما تک برای دوره کارآموزی که در همه دنیا بصورت پرداخت دستمزد هست این شرکت بدون پرداخت دستمزد قصد در حل تسک های خودش توسط علاقمندان زیادی دارد و بعدش یک کاراموز 3 ماه هر نوع تسکی داشته باشن بدون پرداختی براشون بزنه بعدا هم بشه بگن عذرمیخوایم ببخشید شما فرد مورد نظر نیستید بیایید این روندی که داره شکل میگیره برای کارآموزان زحمت کش که دنبال کسب تجربه و علم هستند رو جلوشو بگیریم تا هیچ شرکتی نخواهد این روند رو ادامه بده.

زمستان Scaling برای هوش مصنوعی؟

یکی از اخبار داغ این روزهای هوش مصنوعی، پستی بود که رویترز منتشر کرد و در اون ادعا کرد که Ilya Sutskever، یکی از بنیانگذاران openai که بعد از کودتای سم آلتمن مجبور به ترک این شرکت شد، به رویترز گفته که پارادایم اسکیلینگ روی LLM‌ها گویا دچار مشکل شده و نهایتا داره انگار آروم می‌گیره و فلت می‌شه و رشدشون کم و کمتر میشه. توضیح این که scaling به زبان خیلی خلاصه، ایده‌ای هست که میگه هر چه قدر مدلها رو بزرگتر کنیم و داده آموزشی‌شون رو هم بیشتر کنیم، عملکردشون هم بهتر و بهتر می‌شه، تا حدی که بالاخره به AGI و هوش جامع مصنوعی برسیم. حالا ایلیا ادعا کرده که این ایده با مشکل مواجه شده، به این لفظ زیر ایلیا توجه کنید:

The 2010s were the age of scaling, now we're back in the age of wonder and discovery once again. Everyone is looking for the next thing. Scaling the right thing matters more now than ever.

در ادامه این پست رویترز هم راجع به تلاش شرکت‌های مختلف برای انتقال اسکیل‌کردن از سمت pretraining به سمت هنگام inference شده. ایده‌ای که در O1 هم گویا اجرایی شده.

در این خصوص اما، بلاگی هم به طرز جذابی اومده همین قضیه رو توضیح داده. راجع به این توضیح داده که openAI دچار وقفه در انتشار مدل بعدی نسبت به GPT4 شده و مدل پسا GPT4 ای هم که آموزش دادند گویا میزان جامپش به نسبت مدل‌های قبلی بسیار کمتره. در واقع این مدل که ازش به نام Orion نام برده در تسک‌های زبانی نسبت به مدل‌های قبلی بهتره ولی در تسک‌هایی مثل کدزنی نتونسته برتری خاصی رو ارائه کنه. این بلاگ در ادامه هم یک بحث جالبی راجع به اقتصاد هوش مصنوعی کرده. راجع به ایده اسکیل‌کردن O1 در test-time بحث کرده و گفته که اون نموداری که OpenAI ارائه داده محور افقیش از مرتبه لگاریتمی بوده، و حالا ممکنه که O1 با اسکیل‌کردن بتونه انسان رو شکست بده ولی به مدت زمان بسیار زیادی نیاز داره که در رقابت با انسان عملا بی‌معنیش می‌کنه. این بحث رو کرده که رسیدن به AGI با این روند فعلی بسیار هزینه‌بر به نظر می‌رسه، چه به لحاظ دلاری و چه به لحاظ واتی. در نهایت هم می‌گه که شرکت‌های AI ای با وعده رسیدن به AGI بودجه رو از سرمایه‌گذار‌ها می‌گیرن حالا اگر مشخص بشه که رسیدن به AGI ممکن نیست و واقعا دیگه اسکیلینگ جوابگو نیست، سرمایه‌گذاری‌ها روی AI سقوط می‌کنه و فیلد دوباره وارد یک زمستون دیگه ممکنه بشه.

پی‌نوشت ۱: مدل‌های مولد فعلی هنوز بسیاری قابلیت کشف‌ناشده دارند که در صنعت ازشون استفاده نشده و شاید چندین سال زمان لازم باشه تا کاربردهای جدید ازشون ببینیم. منتهی چیزی که اینجا مورد بحثه توانایی رسیدن یا نرسیدن به AGI با این پارادایم فعلیه.

لینک رویترز:
https://www.reuters.com/technology/artificial-intelligence/openai-rivals-seek-new-path-smarter-ai-current-methods-hit-limitations-2024-11-11/

لینک بلاگ:
https://garrisonlovely.substack.com/p/is-deep-learning-actually-hitting

این دیگه چه شری بود ؟

با متن کاری ندارم، بله رزومه اطلاعات زیادی نمیده برای همین دعوت به مصاحبه داریم
ولی
متن تصویر احمقانه هست.

لینکدین اینجوری شده که طرف، کاملاً فکر نشده یک چیزی رو منتشر می‌کنه. چرا ؟
چون جامعه هدفش تعداد زیادی آدم هستند، اینجوری لایک و ... رو می‌بره بالا.

به مناسبت هفته " کتاب و کتابخوانی" یک دوست هدیه ارزشمندی از یک اندیشه فکری بهم پیشنهاد داد که مطالعه کنم کتاب ماه پنهان است اثر جان اشتاین بک کتاب همیشه بهترین چیزیه برام که میتونم هدیه بگیرم.

کتاب درمورد شهری بندری است که با خیانت یکی از اهالی شهر توسط دشمنان اشغال میشه و روایت مقاومت و امید مردم اون شهر رو نشون میده

پ.ن: شما بگین بهترین کتابی ک تونسته نقشی اساسی در زندگی شما داشته باشه اون چیه که بتونین به بقیه پیشنهاد بدید لطفا از کتابهایی ک زرد و بی محتوا هستن خودداری کنین

▪️ خرید ماه پنهان است اثر جان اشتاین بک

#کتاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

Exciting Research position:
Senior LLM Researcher at Sharif Center for Information Systems and Data Science

We are seeking a Senior LLM Engineer for a new, high-impact project focused on advancing research in large language models with direct industrial applications.

🔴 Key Responsibilities:
Contribute to State-of-the-Art Research: Design and fine-tune advanced LLMs, pushing the boundaries of language model research.
Publish and Innovate: Contribute to academic research through publications, establishing the Center's leadership in the field of LLMs and NLP.

🔴 Essential Qualifications:
Extensive experience in developing and fine-tuning large language models, with a focus on both research and real-world applications.
Strong record of research publications or contributions to the field of LLMs, NLP, or related areas.
Proficiency in Python, and deep learning frameworks like PyTorch or TensorFlow.

✅ Ideal Qualifications:
Experience with state-of-the-art LLMs like GPT, BERT, T5, or similar models.
Knowledge of advanced NLP techniques, including transfer learning, reinforcement learning, and multi-modal models.

Please send your CV, with the subject line "Research Position in LLM"
to the email address:

data-icst@sharif.edu.

#Hiring
#استخدام

ابزارهایی که از #هوش_مصنوعی برای کمک کردن ساختن

◾️ http://bolt.new - Frontend Engineer
◾️ http://aider.chat - Backend Engineer
◾️ CrewAI - Product Designer / Manager
◾️ Claude AI - Content Creator

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

حمید محمدی بنیانگذار دیجی کالادر مورد: تجربه هایی از ساخت اکوسیستم تجارت الکترونیک سخنرانی میکند.

علاقمند بودین شرکت کنین و برید اونجا با دوستان خوبی ک شرکت کردن اشنا بشید

▪️ لینک ثبت نام

اپ کتابخوانی طاقچه به مناسبت 10 سالگی خودش، روی اشتراک بی نهایت که امکان دسترسی به 30 هزار کتاب الکترونیکی و صوتی (ولی نه همه کتابها) رو در مدت اشتراک میده، تا 80 درصد تخفیف گذاشته و اشتراک سالانه اون هم تا 2 سال قابل تمدید هست.

این اشتراک رو میتونین از اینجا خریداری کنید.
#کتاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

اپ کتابخوانی فیدیبو هم روی اشتراک فیدیبوپلاس، که امکان دسترسی به 33 هزار کتاب الکترونیکی و صوتی (ولی نه همه کتابها) رو در مدت اشتراک میده، تا 70 درصد تخفیف گذاشته و اشتراک سالانه اون هم تا چند سال قابل تمدید هست.

این اشتراک رو هم میتونین از اینجا خریداری کنید.
#کتاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

لیست کانال و گروه های ما :

▪️ گروه هوش مصنوعی: یادگیری عمیق و...

https://news.1rj.ru/str/DeepLearningAIExperts

▪️ گروه هوش مصنوعی: پردازش زبان طبیعی
https://news.1rj.ru/str/NLPExperts

▪️ کانال دکتر میثم عسگری

https://news.1rj.ru/str/ai_person

▪️ گروه لینوکس و پایتون و سایر...
https://news.1rj.ru/str/PythonLinuxExperts

با اشتراک گذاشتن این پست به دیده شدن و پیشرفت هموطنان خود کمک کنید. جایی برای پرسش و پاسخ و ارتباط با پژوهشگران علوم کامپیوتر و صنعت پیدا کنند.

بزرگترین گروه یادگیری عمیق ایران ۱۱هزارنفری شد🚶‍♂😍
ی سری حسود پلاستیکی الان میگن که هنوز ۱۰۹۹۵ نفر هست ک 😒
https://news.1rj.ru/str/DeepLearningAIExperts

شماهایی که از من بیشتر AI کار کردین می‌دونید که مفهومی وجود داره تحت عنوان «کاهش ابعاد» یا به همون اسم خارجکیش Dimension Reduction. این مفهوم می‌گه وقتی توی یه مسئله‌ی یادگیری ماشین تعداد ویژگی‌ها(ورودی‌ها) زیاد می‌شه دردسرهاش هم زیاد می‌شه.
دردسرهایی مثل هزینه‌ی پردازشی زیاد، هم‌پوشانی ویژگی‌ها و غیره.

این مفهوم البته توی خیلی جاهای دیگه هم کاربرد داره و کلا هر جایی مسئله‌ای هست خب حتما ساده‌سازی مسئله هم هست. اما چرا باید ابعاد مسئله رو کم کنیم؟ اگه ابعاد مسئله رو کم کنیم(به نوعی داریم ساده‌سازی می‌کنیم) آیا مسئله خراب نمی‌شه؟ جزئیات مربوط به مسئله از بین نمی‌ره؟

صحبت کردن در باب ساده‌سازی مسئله شاید یه ذره صحبت از بدیهیات باشه ولی اشارکی می‌کنیم.
این که شما بتونید فاکتورهای تعیین‌کننده‌ی مسئله رو کاهش بدید به شما کمک می‌کنه اون مسئله رو زودتر و با صرف منابع کمتری حل کنید. پیچیدگی مسئله رو کاهش بدید. همچنین می‌شه به‌ راه حلی دست پیدا کرد که جنرال‌تره و قابل تعمیم به مسائل مشابه هم هست. گاهی حتی این ساده‌سازی باعث می‌شه مسئله قابل حل بشه و این خیلی مهمه.

اما سوال دوم: اگه ما ابعاد مسئله رو کاهش بدیم آیا مسئله گم نمی‌شه؟
جوابش اینه که چرا گم می‌شه. اما از یه جایی به بعد. این که شما بتونید ویژگی‌هایی رو پیدا کنید که حذف کردنشون(یا ادغام کردنشون) تاثیر چندانی روی مسئله نذاره واقعا هنره. جاهایی مثل ماشین لرنینگ براش تکنیک‌های زیادی داره. مثلا یه چیزی مثل تحلیل حساسیت(فکر کنم بهش همبستگی یا ضریب همبستگی بالا هم بگن) می‌گه که اگه رفتار دوتا ویژگی خیلی شبیه به همه، احتمالا می‌تونی یکی از اونها رو حذف کنی. گاهی ممکنه حذف کردن یه ویژگی روی نتیجه‌ی نهایی تاثیر داشته باشه آیا نباید اونو حذف کرد؟ اینجا برمی‌گردیم به مبحث شیرین هزینه/فایده. اگه اون ویژگی رو حذف کنی چی به دست میاری؟ و چی از دست می‌دی؟ ممکنه اون ویژگی رو حذف کنی یه بهبود خفنی هم روی سرعت حل حاصل بشه ولی از دقت مسئله ۳ درصد کم بشه. آیا این برای مسئله‌ی شما اوکیه؟ باید جواب این سوال رو پیدا کنید.

برای منی که از مهندسی نرم‌افزار سراغ هوش رفتم اما این مفهوم یادآور مفهوم شیرین «انتزاع» هم هست. چشم پوشی از جزئیات غیرضروری. ۱۰ ۱۲ سالی هست که توی این کارها هستم و این مدت به اندازه‌ی خودم تکنیک و روش و مسئله و غیره دیدم. کلی هم متنوع بودن. اما چیزی که از مفهوم انتزاع و یا کاهش ابعاد به یاد من موند و توی زندگیم به کار گرفتم همیشه ثابت بوده.
یاد گرفتم توی بحران‌ها و مشکلات زندگی یکی از اولین کارهایی که باید انجام بدم کاهش ابعاد اون مشکله.

چند نفر هستن که واقعا اون مشکل بهشون مرتبطه و توی اون مشکل تاثیرگذار هستن؟ یادم نمیاد در بحرانی‌ترین حالت بیش از سه چهار نفر بوده باشن.
چه چیزهایی روی اون مشکل زندگی من تاثیر داشتن و باید واقعا روشون فکر می‌کردم و ازشون برای حل مسئله کمک می‌گرفتم؟ کمتر از ۴تا غالبا. گاهی واقعا به این مرحله رسیدم که یکی از فاکتورها رو که حذف کردم تونستم مسئله رو حل کنم(تا قبل از اون حل نمی‌شد).
باید سعی کنید به هر ویژگی به اندازه‌ی تاثیرش وزن بدید نه بیشتر و نه کمتر(مگر آگاهانه و با هدف گردوندن بازی). وقتی توی مشکلی گیر می‌کنید یا می‌خواید تصمیم مهمی بگیرید یا کلا سردرگم می‌شین، یکی از اولین کارهایی که باید انجام بدید کاهش ابعاد مسئله است. سخته، جرات می‌خواد، جسارت می‌خواد ولی راهشه.
#هوایی

🆔 @lifeAsAService

هانا آرنت در کتاب اندیشیدن و ملاحظات اخلاقی نوشت:

اندیشه، شناخت نیست بلکه توانایی تمیز نیک از بد و زیبا از زشت است و این توانایی می‌تواند، دست‌کم برای من، در لحظه‌هایی کمیاب وسیله‌ی پیش‌بینی فاجعه‌ها باشد. موضوع اندیشه نمی‌تواند جز چیزهای دوست‌داشتنی‌ــ زیبایی، حکمت، عدالت و ... باشد. زشتی، نبود زیبایی، نبود دادگری، و نبود نیکی است… یعنی بدی و زشتی اصالت یا جوهری ندارند تا اندیشه بتواند به آن‌ها بپردازد…

فواید دوستان خوب و نیک اینه اندیشه نیک و راه سبز و بهت نشون میدن دوست داشتم از مهدی آخی بابت دادن هدیه مطالعه و دسترسی به بانک اطلاعاتی کتابهای طاقچه که یکی از بررگترین سایت پیدا کردن کتابهای انلاین و خوب هست برای مطالعه بهم این هدیه ارزشمند رو داد تشکر کنم. شما هم اگه میخواین دسترسی یکساله به این بانک ارزشمند کتابهای خوب داشته باشید میتونین از طریق این لینک فقط با پرداخت صدهزارتومان ثبت نام کنین

Test time training

که از MIT هم اومده بسیار جذابه‌ها (نه برای پروداکشن البته؛ حداقل فعلا نه).

SUM: Saliency Unification through Mamba for Visual Attention Modeling

▪️ Paper
▪️ Git
▪️ Project page
▪️ Google colab

In this paper, a novel approach called Saliency Unification through Mamba (SUM) is introduced, integrating Mamba's efficient long-range dependency modeling with U-Net architecture to develop a unified model for various image types. The introduction of the Conditional Visual State Space (C-VSS) block enables SUM to dynamically adapt to different visual characteristics across natural scenes, web pages, and commercial imagery. This adaptability allows SUM to outperform existing models in visual attention modeling, making it a universally applicable and robust solution for diverse image types.

#ایده_جذاب #مقاله

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person