مقاله Lets Verify Step by Step

یکی از ویژگی‌های مسائل reasoning این است که برای حل آن‌ها نیازمند چیدن گام‌های میانی هستیم. برای مثال برای حل یک مساله ریاضی، گاه باید قدم به قدم متغیرهای میانی را محاسبه کنیم و نهایتا به جواب نهایی برسیم. در سال‌های اخیر با پیشرفت LLM‌ها، سعی شده تا از آن‌ها برای حل این دسته مسائل نیز استفاده شوند. LLM‌ها به خاطر توانایی تولید گام‌های میانی به صورت متن، قدرت قابل توجهی در حل این مسائل دارند. با این وجود امکان اشتباه و hallucination در یک گام، ممکن است باعث شود تا کل سولوشن تولیدشده توسط LLM نادرست شود. یکی از پارادایم مطرح‌شده برای مقابله با این مشکل، استفاده از reward model برای گام‌های میانی است. به این صورت که از LLM خواسته می‌شود تا چندین سری گام میانی را تولید کرده و سپس از ریوارد مدل (یا به اصطلاح verifier) خواسته می‌شود تا بهترین دنباله راه حل را انتخاب کند. در جلسه چهارم از ژورنال کلاب سیستم۲، مهدی سمیعی، دانشجوی دکتری آزمایشگاه یادگیری ماشین، به ارائه پیپر Lets Verift Step by Step که با این موضوع در ارتباط است می‌پردازد. این پیپر در سال ۲۰۲۳ توسط OpenAI ارائه شده و در آن به بررسی نقش انواع سوپرویژن برای آموزش verifier پرداخته شده است. آشنایی با این مقاله، می‌تواند در فهم نحوه عملکرد مدل O1 موثر باشد.

لینک یوتیوب:
https://www.youtube.com/watch?v=vXjxJDTCT_o

لینک آپارات:
https://www.aparat.com/v/kpl89v4

We are looking for an intern to work on an idea for emergent language. The work consists of a study on emergent language, which is a field that has significant implications for understanding communication protocols among artificial agents. In addition, we aim to apply a new idea to develop communication strategies that are more "efficient and robust," enabling improved coordination and task-solving capabilities in multi-agent environments.

## Requirements
- Sufficiency in deep learning teqniques and their implementation
- Having high skills in reading and presenting papers

## Preferred Qualifications
- Familiarity with reinforcement learning

To apply, please complete this form:
Application Form

#research_application

اسلایدها و فیلم‌های درس یادگیری عمیق، ترم بهار ۱۴۰۳


اسلایدها و فیلم جلسات درس یادگیری عمیق، ارائه شده توسط دکتر سلیمانی، در ترم بهار ۱۴۰۳ دانشکده مهندسی کامپیوتر دانشگاه شریف را می‌توانید از لینک‌های زیر دریافت کنید.

لینک فیلم جلسات:
https://ocw.sharif.ir/course/id/532


لینک اسلایدها:
https://drive.google.com/drive/folders/18woCenH5RIkk78aeAyidY4xQ7AX3aQ6J?usp=sharing

استدلال چندگامه در نظر Noah Goodman

در جلسه پنجم از ژورنال کلاب سیستم ۲، یوسف جواهریان، دانشجوی ارشد آزمایشگاه یادگیری ماشین، به بررسی مقاله why think step by step توسط گروه اقای noah goodman می پردازد. به طور خلاصه این مقاله با رویکردی scientific به بررسی شرایطی می پردازد که در آن استدلال های چند گامه می توانند تاثیر چشمگیری در بهبود عملکرد استدلال در مدل شوند.

لینک آپارات:
https://www.aparat.com/v/akul5pg

لینک یوتیوب:
https://www.youtube.com/watch?v=NxXlkcTPI0A

🚨 Open Research Position: Symbolic Representation Learning.

We announce that there is an open research position in the ML lab at Sharif University of Technology, supervised by Dr. Soleymani.

🔍 Project Denoscription:
We are pleased to announce an open call for applicants to join a cutting-edge research project on Symbolic Representation Learning. If you are passionate about artificial intelligence, machine learning, cognitive science, or the intersection of representation and language, this is your opportunity to contribute to groundbreaking work at the forefront of these fields.
Our project is dedicated to advancing symbolic representation learning, an area of research focused on enabling machines to represent and reason with structured language including symbols. This research aims to bridge the gap between neural networks' statistical learning and the symbolic, structured knowledge representations that are central to human cognition. We will explore new techniques for creating and reasoning with symbolic representations in AI systems.

Requirements:
- Good understanding of deep learning concepts
- Fluency in Python, PyTorch
- Willingness to dedicate significant time

Submit your application here:
Application Form

Application Deadline:
2024/12/02 (23:59 UTC+3:30)

If you have any questions, contact:
@mmsamiei

جستجوی در فضای نهان برنامه‌ها برای حل ARC

در جلسه هفتم از ژورنال کلاب سیستم‌۲، آرش ماری‌اوریاد، به ارائه در مورد مقاله Searching Latent Program Spaces می‌پردازد. در این مقاله راه‌حلی برای مساله ARC مطرح شده، بدین صورت که در این راه حل در test-time مدل اقدام به بهینه‌سازی فضای latent برای پیداکردن بهترین program متناظر با مساله داده شده می‌پردازد.

لینک یوتیوب:
https://www.youtube.com/watch?v=-htUQ4lZJvQ

لینک آپارات:
https://www.aparat.com/v/iobx769

لینک مقاله:
https://arxiv.org/abs/2411.08706

مقاله RL-GPT

در جلسه هشتم ژورنال کلاب سیستم‌۲، امیرمحمد ایزدی به بررسی و ارائه مقاله‌ای با عنوان RL-GPT پرداخت.

لینک یوتیوب:
https://www.youtube.com/watch?v=ZWqHJHiO5CI

لینک آپارات:
https://www.aparat.com/v/pct4qsk

لینک مقاله:
https://arxiv.org/abs/2402.19299

آیا فضای زبان طبیعی مناسب‌ترین ابزار برای انجام استدلال‌های پیچیده در مدل‌های زبانی بزرگ است؟

این مقاله نشان می‌دهد که به جای تکیه بر زبان طبیعی (مانند زنجیره تفکر یا CoT)، می‌توان از فضای نهفته پیوسته (Continuous Latent Space) برای استدلال استفاده کرد. در این روش، مدل مستقیماً حالت نهفته خود را به‌عنوان ورودی برای گام‌های بعدی استدلال بازخورد می‌دهد. این رویکرد به مدل اجازه می‌دهد به‌جای محدود شدن به یک مسیر ثابت و خطی مانند CoT، مسیرهای مختلف استدلال را به‌طور همزمان بررسی کرده و گزینه‌های بهینه را شناسایی کند. روش حاضر در مقایسه با CoT، در وظایف منطقی پیچیده که نیاز به بازنگری و برنامه‌ریزی دارند، عملکرد بهتری دارد و استدلال را با تعداد توکن‌های کمتری انجام می‌دهد.

امروز ساعت ۱۷، هادی حسینی، دانشجوی ارشد آزمایشگاه یادگیری ماشین، در نهمین جلسه ژورنال کلاب سیستم ۲، این مقاله را ارائه خواهد داد. می‌توانید از طریق این لینک در جلسه شرکت کنید.

«دستیاری درس یادگیری عمیق دکتر سلیمانی»

🔹 Deep Learning TA Application Form
🔸 Dr. Mahdieh Soleymani Baghshah

⭕️ دانشجویانی که تمایل دارند در نیم‌سال آینده (نیم‌سال بهار ۱۴۰۳-۰۴) دستیار آموزشی درس یادگیری عمیق دکتر سلیمانی باشند، می‌توانند درخواست خود را از طریق فرم زیر ثبت نمایند.

⏰ Deadline: January 10th

https://docs.google.com/forms/d/e/1FAIpQLScpwH9YLLK7I54TXX_5BARmm47x-qbxa8TAROh35d1KM_MgWA/viewform?usp=dialog

📣 TA Application Form

🤖 Course: System-2 AI
🧑🏻‍🏫 Instructors: Dr. Rohban, Dr. Soleymani, Mr. Samiei
⏰ Deadline: January 23rd

https://docs.google.com/forms/d/e/1FAIpQLSewqI25q5c3DcsdcCzhCVg42motC2S-bg_xuuPWZ0wA60rYHQ/viewform?usp=dialog

درباره DeepSeek R1

در جلسه دهم از ژورنال کلاب سیستم‌۲، دکتر مهدیه سلیمانی به ارائه در مورد مقاله DeepSeek R1 و تفاوت رویکرد آن در استفاده از RL برای جستجو، پرداخت.

لینک یوتیوب:
https://www.youtube.com/watch?v=x3GaRLwO8fA

لینک آپارات:
https://www.aparat.com/v/jmeyz2p

سلام
یک فرصت همکاری‌ با کمیته‌ی المپیاد دانش‌آموزی هوش مصنوعی برای دوستانی که علاقه‌مند به تدریس یا تولید محتوا‌ در شاخه‌‌های یادگیری ماشین و یادگیری ژرف هستند و سابقه فعالیت در این زمینه را دارند فراهم است. در صورتی که متمایل به همکاری هستید این فرم را پر کنید.

🔔 «بر لبه سکوی(؟) بلند»

📝 نگاهی واقع‌نگرانه به وضعیت امروز حوزه‌ی هوش مصنوعی، تحولات پیش‌روی آن، و تبعات اقتصادی - سیاسی تحولات مذکور؛ با هدف بررسی ابعاد و زوایای پدیده دگرگونی حاصل از هوش مصنوعی (AI Transformation) با حضور اساتید و کارشناسان حوزه‌های مختلف


🔸 نشست نخست: «در آستانه عامل‌های خودمختار»

🗣 دکتر مهدیه سلیمانی، استاد مهندسی کامپیوتر دانشگاه صنعتی شریف | دکتر محمد حسین رهبان، استاد مهندسی کامپیوتر دانشگاه صنعتی شریف.

⏰ چهارشنبه، ۸ اسفند - ساعت ۱۷:۰۰

🏛 دانشکده مهندسی کامپیوتر دانشگاه صنعتی شریف، سالن خوارزمی.

——————————————
🆔 @HP_Edge | @AI_Sharif

Open Position: Research Intern/Collaborator – 3D Image Analysis

We are seeking motivated interns and collaborators to join an innovative joint project with Tehran University of Medical Sciences, focused on the prediction of knee diseases using knee MRI images. This research aims to leverage deep learning techniques to analyze 3D medical images, and the dataset, collected at Imam Khomeini Hospital, will eventually be made publicly available to the scientific community.

🔹 Requirements
▪️ Strong proficiency in Deep Learning
▪️ Hands-on experience with PyTorch

🔹 Preferred Qualifications
▪️ Background in medical image analysis, particularly with 3D imaging techniques

✉️ How to Apply
To apply for the position, please send your CV and trannoscript, as well as a research statement, describing how you fulfill the position's requirements to soleymani@sharif.edu

🕔 Application Deadline
Send your application by Wednesday, 1403/12/15

This is an opportunity to contribute to a research with significant implications for medical diagnostics. If you are passionate about advancing the field of medical AI and have the required expertise, we would love to hear from you.

فرصت همکاری پژوهشی: Emergent Language و Compositionality

برای کسب اطلاعات بیشتر سند زیر را مطالعه بفرمایید:

https://docs.google.com/document/d/1Q0xPXse3C7TITzKe0hkoQqtR_41Ca1ij-M7mkSPgPJ8/edit?usp=sharing

دانشجویانی که علاقمند به عضویت در تیم تدریس درس هوش مصنوعی در نیم‌سال اول تحصیلی ۱۴۰۵-۱۴۰۴ (پاییز) با تدریس دکتر سلیمانی هستند، لطفا این فرم را تکمیل فرمایند:

https://docs.google.com/forms/d/e/1FAIpQLSepRyHB4QoAl8ulIwdSBDi-aulXnvJjhWhB-KFcfFSFe1aBGw/viewform?usp=header