هم‌اکنون می‌توانید برای اطلاع از فعالیت‌های علمی و پژوهشی آزمایشگاه ما را در توییتر دنبال نمایید.

Visual Compositional Generation Research Application

This is a shared research work between Dr. Soleymani (MLL) and Dr. Rohban (RIML Lab) from Sharif University of Technology on Visual Compositional Generation in Diffusion-based Text-to-image Models with a goal of submitting a survey on the related problems in a 3-month milestone.

Project Denoscription:
Large-scale diffusion-based models have achieved state-of-the-art results on text-to-image (T2I) synthesis tasks. Despite their significant ability of generating high quality and prompt-aligned images, these models are exposed to a number of major compositional-related drawbacks such as object missing and improper attribute binding.
Hence, we aim to study and categorize the compositional-related failure modes and the corresponding methods to overcome the problems.
For more information you can read the following papers.
- T2I-CompBench: A Comprehensive Benchmark for Open-world Compositional Text-to-image Generation
- Attend-and-Excite: Attention-Based Semantic Guidance for Text-to-Image Diffusion Models
- Training-Free Structured Diffusion Guidance for Compositional Text-to-Image Synthesis

The Musts:
- Being familiar with Linear Algebra fundamentals is necessary.
- Being familiar with Statistics and Probability fundamentals is necessary.
- Being familiar with Machine Learning and Deep Learning fundamentals is necessary.
- Being familiar with Transformers (Attention Mechanism) and Diffusion Models is recommended (Note that there will be some short training sessions on the mentioned topics during the project).
- Dedicating considerable time to the project is necessary.

Process:
- Deadline of submitting the application: 10/24/2023 - 23:59 (Tehran Time)
- First wave of rejection/acceptance: 10/25/2023 - 23:59 (Tehran Time)
- Short Interviews: 10/26/2023 - 23:59 (Tehran Time)
- Final wave of rejection/acceptance: 10/27/2023 - 23:59 (Tehran Time)

Please fill this form till 10/24/2023 - 23:59 (Tehran Time). Note that the deadlines are somehow harsh and it's important to dedicate as much time as possible.

https://docs.google.com/forms/d/e/1FAIpQLSfRSteyD6y0LUF2RI4GiMa3Bv_N8w_EI5OTSt3F0j1teAMHSA/viewform?usp=sf_link

We would be happy to answer any questions you may have through arashmarioriyad@gmail.com.

@sutmll
#research_application

یادآوری
مهلت ارسال فرم برای این پروژه تا پایان امروز (سه‌شنبه، ۲ آبان) می‌باشد.

#open_position
We are looking for a new intern to work on novel high-quality image generation methods. The work is consisted of a study on text-aligned and diverse image generation along with the corresponding evaluation metrics. This is a shared work in @sutmll and @RIMLLab, under the supervision of Dr. Soleymani and Dr. Rohban.

## Requirements
- Familiarity with ML and DL fundamentals
- Familiarity with transformers
- Familiarity with diffusion models
- Familiarity with PyTorch framework
- Having skills in reading and presenting papers

## Preferred Qualifications
- Familiarity with vision-language models (VLMs)

## Benefits
- Being supportively supervised by  MLL and RIML's PIs and graduate students
- Being involved in cutting-edge research and study
- Receiving recommendation letters from Dr. Soleymani and Dr. Rohan

## How to Apply
To apply for the position, please send your CV and trannoscript, as well as a research statement, describing how you fulfill the position's requirements to ghaznavi.mahdi@gmail.com, aliabdollahi024a@gmail.com, and arashmarioriyad@gmail.com. Besides, please complete the following task, send the final results, and a report about the way you obtained them with the application:
Use text-to-image generative models (diffusion-based are recommended) to generate 5 high-quality images of a scene with the following denoscription: "A man is driving and a woman is sitting beside him". The images should be as realistic and diverse as possible.

## Application Deadline
Send your application by Sunday, 1402/10/3.

## Contact Information
If you have any questions, please contact the above email or PM Ali Abdollahi (https://news.1rj.ru/str/mllresponse).

#research_application

We are seeking an intern/collaborator to join us in an exciting project focused on advancing reinforcement learning through enhanced credit assignment. The primary objective of this project is to improve the core algorithms of RL by tackling the challenge of credit assignment.

Technical Requirements:
- Good English proficiency to understand and comprehend academic papers.
- Hands-on experience in ML and Deep Learning.
- Experience with PyTorch.
- Ability to collaborate with a team using GitHub.

Non-Technical Requirements:
- Dedication and persistence.
- Enthusiasm for learning

Expectations:
- Benefit from the support and collaborative atmosphere of the MLL under the guidance of Prof. Solyemani.
- Possibility of receiving a research-related recommendation letter from Prof. Solyemani.
- Potential opportunity to have a paper accepted at a top-tier conference

This is a shared work of @sfumars lab and @sutmll, under the supervision of Prof. Chen and Dr. Soleymani. Please note that the aforementioned requirements and expectations are intended to be flexible and supportive rather than stringent. We encourage talented individuals with a passion for reinforcement learning to apply. We look forward to receiving your application and potentially working together on this exciting project.

If you’re interested, you can send your CV to razavii.roozbeh@gmail.com

«دستیاری درس یادگیری ژرف»

⭕️ با سلام؛
در صورتی که تمایل دارید در نیم‌سال آینده (نیم‌سال دوم ۰۲-۰۳) دستیار آموزشی درس یادگیری ژرف دکتر سلیمانی باشید، درخواست خود را از طریق فرم زیر ثبت نمایید:

https://forms.gle/geJ5KqUEmo8yZCSV6

«دستیاری آموزشی درس بازیابی پیشرفته اطلاعات»

⭕️ با سلام؛
در صورتی که تمایل دارید در نیم‌سال آینده (نیم‌سال دوم ۰۲-۰۳) دستیار آموزشی درس بازیابی پیشرفته اطلاعات دکتر سلیمانی باشید، درخواست خود را از طریق این فرم تا ۶ بهمن ثبت نمایید.

یادآوری
مهلت ارسال این فرم تا فردا، جمعه ۶ بهمن است.

#open_position
We are looking for an intern to work on an idea for music generation. The work consists of a study on music generation topic, its basics, and current status, which is a cutting-edge field of research that has not been done for persian music so far. In addition, we aim to apply a new idea to generate melodies which are more "beautiful to human listener".

This is a shared work in MLL , under the supervision of Dr. Soleymani and Dr. Leili Javidpour (PhD in physics from SUT).

## Requirements
- Sufficiency in deep learning teqniques and their implementation
- Having high skills in reading and presenting papers

## Preferred Qualifications
- Familiarity with music basics
(not essential, cause we have speciallist collaborators in music part of the project)

## How to Apply
To apply for the position, please send your CV and trannoscript, as well as a research statement, describing how you fulfill the position's requirements to
soleymani@sharif.edu, and
javidpour@gmail.com.

## Application Deadline
Send your application by Saturday, 1403/03/09

## Contact Information
If you have any questions, please contact the above email(s).

#research_application

یادگیری عمیق سیستم ۲ در نگاه بنجیو

شبکه‌های عمیق با وجود موفقیت‌های چشمگیر در تسک‌های پایه‌ای مانند دسته‌بندی و تولید تصویر یا متن و حتی پیشی گرفتن از انسان در این زمینه‌ها، همچنان در تعمیم‌دهی به نمونه‌های خارج از توزیع با چالش‌هایی روبرو هستند. این توانایی به عنوان "تعمیم خارج از توزیع" شناخته می‌شود و به معنای قابلیت مدل برای عملکرد مناسب در مواجهه با داده‌هایی است که با داده‌های آموزشی متفاوت هستند.

یكی از پیشگامان حوزه هوش مصنوعی، یاشوا بنجیو، معتقد است که برای دستیابی به این توانایی، لازم است برخی از ویژگی‌های مربوط به پردازش هوشیارانه و سیستم ۲، که به فرآیندهای تفکر عمیق‌تر و تحلیلی‌تر انسان اشاره دارد، در شبکه‌های عصبی لحاظ شوند. از نظر او، افزودن این سوگیری‌های القایی می‌تواند به بهبود عملکرد شبکه‌های عصبی در مواجهه با موقعیت‌های ناشناخته و غیرمعمول کمک کند.

در این قسمت از ژورنال کلاب، آرش ماری اوریاد، دانشجوی ارشد آزمایشگاه یادگیری ماشین، به بررسی و تحلیل بخش‌هایی از ارائه‌ها و دیدگاه‌های بنجیو در این زمینه پرداخته است.

لینک یوتیوب:
https://www.youtube.com/watch?v=VTbbp59Mx8A

لینک آپارات:
https://www.aparat.com/v/vmz0h0p

یادگیری عمیق سیستم‌۲ در نگاه بنجیو

در ادامه جلسه قبل، در این جلسه به بحث در مورد نقش باتلنک و گلوگاه اطلاعاتی در پیدایش پردازش هوشیارانه و توانایی تعمیم خارج از توزیع پرداخته شده است.

لینک یوتیوب:
https://www.youtube.com/watch?v=o6v8_8VB5wI

لینک آپارات:
https://www.aparat.com/v/shbzkh6

فرانسوا شله و AGI

فرانسوا شله، محقق هوش مصنوعی و خالق فریمورک کراس است. اسم او با بنچمارک ابداعی او به نام Abstraction and Reasoning Corpus یا ARC عجین شده است. شله با ارائه این بنچمارک درصدد بوده تا میزان هوش یک عامل را مستقل از تجربه و اینداکتیوبایاس‌های تزریقی آن اندازه‌گیری کند و معتقد بوده که حل این بنچمارک سهل ممتنع، نیازمند استفاده از سوگیری‌های القایی سیستم‌۲ است. در این جلسه، آرش ماری اوریاد، به ارائه در مورد صحبت‌های شله در کنفرانس AGI2024 پرداخته است. همچنین در مورد دیتاست ARC و دیدگاه‌ها شله در مورد سیستم‌۲ نیز مباحثه صورت می‌گیرد.

لینک یوتیوب:
https://www.youtube.com/watch?v=nOVAGHQgtVM

لینک آپارات:
https://www.aparat.com/v/omq8zuo

مقاله Lets Verify Step by Step

یکی از ویژگی‌های مسائل reasoning این است که برای حل آن‌ها نیازمند چیدن گام‌های میانی هستیم. برای مثال برای حل یک مساله ریاضی، گاه باید قدم به قدم متغیرهای میانی را محاسبه کنیم و نهایتا به جواب نهایی برسیم. در سال‌های اخیر با پیشرفت LLM‌ها، سعی شده تا از آن‌ها برای حل این دسته مسائل نیز استفاده شوند. LLM‌ها به خاطر توانایی تولید گام‌های میانی به صورت متن، قدرت قابل توجهی در حل این مسائل دارند. با این وجود امکان اشتباه و hallucination در یک گام، ممکن است باعث شود تا کل سولوشن تولیدشده توسط LLM نادرست شود. یکی از پارادایم مطرح‌شده برای مقابله با این مشکل، استفاده از reward model برای گام‌های میانی است. به این صورت که از LLM خواسته می‌شود تا چندین سری گام میانی را تولید کرده و سپس از ریوارد مدل (یا به اصطلاح verifier) خواسته می‌شود تا بهترین دنباله راه حل را انتخاب کند. در جلسه چهارم از ژورنال کلاب سیستم۲، مهدی سمیعی، دانشجوی دکتری آزمایشگاه یادگیری ماشین، به ارائه پیپر Lets Verift Step by Step که با این موضوع در ارتباط است می‌پردازد. این پیپر در سال ۲۰۲۳ توسط OpenAI ارائه شده و در آن به بررسی نقش انواع سوپرویژن برای آموزش verifier پرداخته شده است. آشنایی با این مقاله، می‌تواند در فهم نحوه عملکرد مدل O1 موثر باشد.

لینک یوتیوب:
https://www.youtube.com/watch?v=vXjxJDTCT_o

لینک آپارات:
https://www.aparat.com/v/kpl89v4

We are looking for an intern to work on an idea for emergent language. The work consists of a study on emergent language, which is a field that has significant implications for understanding communication protocols among artificial agents. In addition, we aim to apply a new idea to develop communication strategies that are more "efficient and robust," enabling improved coordination and task-solving capabilities in multi-agent environments.

## Requirements
- Sufficiency in deep learning teqniques and their implementation
- Having high skills in reading and presenting papers

## Preferred Qualifications
- Familiarity with reinforcement learning

To apply, please complete this form:
Application Form

#research_application

اسلایدها و فیلم‌های درس یادگیری عمیق، ترم بهار ۱۴۰۳


اسلایدها و فیلم جلسات درس یادگیری عمیق، ارائه شده توسط دکتر سلیمانی، در ترم بهار ۱۴۰۳ دانشکده مهندسی کامپیوتر دانشگاه شریف را می‌توانید از لینک‌های زیر دریافت کنید.

لینک فیلم جلسات:
https://ocw.sharif.ir/course/id/532


لینک اسلایدها:
https://drive.google.com/drive/folders/18woCenH5RIkk78aeAyidY4xQ7AX3aQ6J?usp=sharing

استدلال چندگامه در نظر Noah Goodman

در جلسه پنجم از ژورنال کلاب سیستم ۲، یوسف جواهریان، دانشجوی ارشد آزمایشگاه یادگیری ماشین، به بررسی مقاله why think step by step توسط گروه اقای noah goodman می پردازد. به طور خلاصه این مقاله با رویکردی scientific به بررسی شرایطی می پردازد که در آن استدلال های چند گامه می توانند تاثیر چشمگیری در بهبود عملکرد استدلال در مدل شوند.

لینک آپارات:
https://www.aparat.com/v/akul5pg

لینک یوتیوب:
https://www.youtube.com/watch?v=NxXlkcTPI0A

🚨 Open Research Position: Symbolic Representation Learning.

We announce that there is an open research position in the ML lab at Sharif University of Technology, supervised by Dr. Soleymani.

🔍 Project Denoscription:
We are pleased to announce an open call for applicants to join a cutting-edge research project on Symbolic Representation Learning. If you are passionate about artificial intelligence, machine learning, cognitive science, or the intersection of representation and language, this is your opportunity to contribute to groundbreaking work at the forefront of these fields.
Our project is dedicated to advancing symbolic representation learning, an area of research focused on enabling machines to represent and reason with structured language including symbols. This research aims to bridge the gap between neural networks' statistical learning and the symbolic, structured knowledge representations that are central to human cognition. We will explore new techniques for creating and reasoning with symbolic representations in AI systems.

Requirements:
- Good understanding of deep learning concepts
- Fluency in Python, PyTorch
- Willingness to dedicate significant time

Submit your application here:
Application Form

Application Deadline:
2024/12/02 (23:59 UTC+3:30)

If you have any questions, contact:
@mmsamiei

جستجوی در فضای نهان برنامه‌ها برای حل ARC

در جلسه هفتم از ژورنال کلاب سیستم‌۲، آرش ماری‌اوریاد، به ارائه در مورد مقاله Searching Latent Program Spaces می‌پردازد. در این مقاله راه‌حلی برای مساله ARC مطرح شده، بدین صورت که در این راه حل در test-time مدل اقدام به بهینه‌سازی فضای latent برای پیداکردن بهترین program متناظر با مساله داده شده می‌پردازد.

لینک یوتیوب:
https://www.youtube.com/watch?v=-htUQ4lZJvQ

لینک آپارات:
https://www.aparat.com/v/iobx769

لینک مقاله:
https://arxiv.org/abs/2411.08706

مقاله RL-GPT

در جلسه هشتم ژورنال کلاب سیستم‌۲، امیرمحمد ایزدی به بررسی و ارائه مقاله‌ای با عنوان RL-GPT پرداخت.

لینک یوتیوب:
https://www.youtube.com/watch?v=ZWqHJHiO5CI

لینک آپارات:
https://www.aparat.com/v/pct4qsk

لینک مقاله:
https://arxiv.org/abs/2402.19299