🌐 Register at react.ee.sharif.edu
@ReACT2023

آزمایشگاه یادگیری ماشین مقاوم و تفسیرپذیر برای تکمیل یکی از پروژه های خود از دانشجویان کارشناسی دانشگاه شریف که علاقه مند و واجد شرایط لازم هستند، دعوت به همکاری می نماید.

اطلاعات بیشتر و نیازمندی های مورد نظر این پروژه به شرح زیر هستند:

در این پروژه به دنبال بررسی مقاومت مدلهای مختلف، به طور خاص نسبت به حملات L0 و مقایسه چند رویکرد مختلف برای آموزش خصمانه مناسب این حملات از نظر دقت نهایی، زمان و تعمیم پذیری نسبت به سایر حملات هستیم.

زمان تخمینی برای این پروژه ۸ ماه است که بسته به عملکرد تیم و روند آزمایشها و نتایج ممکن است تغییر کند.

انتظار میرود دانشجوی همکار توانایی مرور و بررسی کارهای اخیر مرتبط و ادبیات موضوع را داشته باشد و بتواند به آنها مسلط بشود.آزمایشهای لازم را با کمک نسخه فعلی کدهای موجود اجرا کند و همچنین پیاده سازیهای لازم و تکمیلی را انجام بدهد.همچنین نتایج به صورت استاندارد و قابل اطمینان جمع بندی و گزارش شوند.

پیشنیازهای ضروری عبارتند از:
تسلط به مباحث یادگیری عمیق به صورت نظری و عملی (زبان برنامه نویسی python)
آشنایی و علاقه به فعالیت پژوهشی (آشنایی به حوزه robustness و سابقه پژوهشی کمک کننده و امتیاز است.)

برای آشنایی بیشتر با فضای کلی پروژه مقالات زیر معرفی میشوند:
Sparse-RS: a Versatile Framework for Query-Efficient Sparse Black-Box Adversarial Attacks

Sparse and Imperceivable Adversarial Attacks


در صورتی که شرایط ذکر شده را دارید و تمایل دارید به تیم ما برای تکمیل این پروژه اضافه شوید، لطفا دو مقاله معرفی شده را به صورت کامل مطالعه کنید و به ایمیل z.golgooni@gmail.com پیام بدهید.

آزمایشگاه یادگیری ماشین مقاوم و تفسیر پذیر برای تکمیل یکی از پروژه‌های خود از دانشجویان کارشناسی دانشگاه شریف که علاقه مند و واجد شرایط لازم هستند، دعوت به همکاری می‌نماید.


اطلاعات بیشتر و نیازمندی‌های مورد نظر این پروژه به شرح زیر هستند:


در سالهای اخیر دانشگاه استنفورد، مدل سازی مبتنی بر امتیاز (score based) از طریق معادلات دیفرانسیل تصادفی را توسط Yang Song پیشنهاد کرده است. در این راستا ما در این پروژه قصد داریم روی افزایش سرعت نمونه برداری و سریعتر اجرا شدن آن کار کنیم. همچنین در صورت امکان و با احتمال پایینتر به بهبود کیفیت نمونه برداری و بررسی بر روی هندسه منیفلد (نظیر مدل های پروتئین یا داده های رباتیک) نیز خواهیم پرداخت. 

زمان تخمینی برای این پروژه ۱۲ ماه است که بسته به عملکرد تیم و روند آزمایش‌ها و نتایج ممکن است تغییر کند.


انتظار می رود دانشجوی همکار بخش‌هایی از برنامه نویسی پروژه به زبان پایتون و پیاده سازی کد الگوریتم ها را به خوبی انجام دهد و به عنوان یکی از اعضا در انجام پروژه همفکری مفید داشته باشد.


پیش نیازهای ضروری عبارتند از: 

جبر خطی

آمار و احتمال

آشنایی با مفاهیم یادگیری ماشین و یادگیری عمیق

برنامه نویسی python



برای آشنایی بیشتر با فضای کلی پروژه دو مقاله زیر معرفی می‌شوند:

1)Score based generative modeling through stochastic differential equations

2)An efficient SDE solver for score-based diffusion models

3)Consistency models


در صورتی که شرایط ذکر شده را دارید و تمایل دارید به تیم ما برای تکمیل این پروژه اضافه شوید، لطفا مقالات معرفی شده را به صورت کامل مطالعه کنید و به ایمیل seyedreza.shiyade@gmail.com  پیام بدهید.

Visual Compositional Generation Research Application

This is a shared research work between Dr. Rohban (RIML Lab) and Dr. Soleymani (MLL) from Sharif University of Technology on Visual Compositional Generation in Diffusion-based Text-to-image Models with a goal of submitting a survey on the related problems in a 3-month milestone.

Project Denoscription:
Large-scale diffusion-based models have achieved state-of-the-art results on text-to-image (T2I) synthesis tasks. Despite their significant ability of generating high quality and prompt-aligned images, these models are exposed to a number of major compositional-related drawbacks such as object missing and improper attribute binding.
Hence, we aim to study and categorize the compositional-related failure modes and the corresponding methods to overcome the problems.
For more information you can read the following papers.
- T2I-CompBench: A Comprehensive Benchmark for Open-world Compositional Text-to-image Generation
- Attend-and-Excite: Attention-Based Semantic Guidance for Text-to-Image Diffusion Models
- Training-Free Structured Diffusion Guidance for Compositional Text-to-Image Synthesis

The Musts:
- Being familiar with Linear Algebra fundamentals is necessary.
- Being familiar with Statistics and Probability fundamentals is necessary.
- Being familiar with Machine Learning and Deep Learning fundamentals is necessary.
- Being familiar with Transformers (Attention Mechanism) and Diffusion Models is recommended (Note that there will be some short training sessions on the mentioned topics during the project).
- Dedicating considerable time to the project is necessary.

Process:
- Deadline of submitting the application: 10/24/2023 - 23:59 (Tehran Time)
- First wave of rejection/acceptance: 10/25/2023 - 23:59 (Tehran Time)
- Short Interviews: 10/26/2023 - 23:59 (Tehran Time)
- Final wave of rejection/acceptance: 10/27/2023 - 23:59 (Tehran Time)

Please fill this form till 10/24/2023 - 23:59 (Tehran Time). Note that the deadlines are somehow harsh and it's important to dedicate as much time as possible.

https://docs.google.com/forms/d/e/1FAIpQLSfRSteyD6y0LUF2RI4GiMa3Bv_N8w_EI5OTSt3F0j1teAMHSA/viewform?usp=sf_link

We would be happy to answer any questions you may have through arashmarioriyad@gmail.com.

@rimllab
#research_application

Unsupervised Anomaly Detection with Generative Models Research Application

This is a 6-month research project in the group of Dr. Rohban (RIML Lab) from the Sharif University of Technology on Improving Density Estimation of Generative Models for Unsupervised Anomaly Detection.

Project Denoscription:
Thanks to the tractability of their likelihood, several deep generative models show promise for seemingly straightforward but important applications like anomaly detection, uncertainty estimation, and active learning. However, the likelihood values empirically attributed to anomalies conflict with the expectations these proposed applications suggest. In this project, we aim to take a closer look at the behavior of distribution densities to better understand the problem, provide solutions for robust training of generative models from the lens of reliable anomaly detection, and investigate subsequent effects of efforts to overcome this challenge on generation properties of generative models.

For more information, you can read the following papers.
- Do Deep Generative Models Know What They Don't Know?
- Diagnosing and Fixing Manifold Overfitting in Deep Generative Models
- Autoencoding Under Normalization Constraints

The Musts:
- Being familiar with Statistics and Probability fundamentals is necessary.
- Being familiar with Machine Learning and Deep Learning fundamentals and experience with PyTorch is necessary.
- Being familiar with Generative Models especially Energy-Based models, Normalizing Flows, and Diffusion models is recommended (Note that there will be some short training sessions on the mentioned topics during the project).
- Since this is a relatively time-intensive project, dedicating considerable time and consistency to the project is necessary.

We would be happy to answer any questions you may have through gsepehr98@gmail.com or @sepiosky telegram ID.

سلام

امروز ساعت ۱۴:۳۰ جلسه‌ی ژورنال کلاب با ارائه‌ی آقای سفید را خواهیم داشت.

Date: 1402/08/17

Speaker: Amin Sefid


Title: Molecular Property Prediction

Abstract: Drug discovery is an expensive, complicated, and time-consuming process with a high possibility of failure.
One part of this complicated process is to determine the properties of drug-like molecules, which conducted by expensive experimental analysis or time-consuming accurate calculations.
With advances in AI in many cases, lots of efforts have been made in the field of property prediction to reduce time and costs.
To this end, we want to explore the challenges and opportunities of this field.

Meeting Link: https://vc.sharif.edu/rohban

#journal_club

سلام

چهارشنبه ساعت ۱۴:۳۰ جلسه‌ی ژورنال کلاب با ارائه‌ی آقای توکلی را خواهیم داشت.

Date: 1402/08/23

Speaker: Seyed Reza Tavakoli

Title: آشنایی با مفاهیم ریاضی مالی

Abstract:
توضیح مدل های مالی
black scholes, Heston

و قیمت گذاری اختیار معامله و نوسانات بازار در یک مقاله از دیدگاه ریاضی
و دسته بندی انواع حل PDE

Meeting Link: https://vc.sharif.edu/rohban

#journal_club

سلام

فردا (چهارشنبه) ساعت ۱۴:۳۰ جلسه‌ی ژورنال کلاب با ارائه‌ی آقای ماری‌اوریاد را خواهیم داشت.

Date: 1402/09/01

Speaker: Arash MariOryad

عنوان:
معرفی مدل‌های دیفیوژنی مولد (Generative Diffusion Models)

چکیده:
- مدل‌های دیفیوژنی دسته‌ای از مدل‌های مولد Score-based هستند که سعی می‌کنند فرایند تولید داده (عکس،‌ متن، و ...) را با شروع از یک توزیع ساده (مانند نرمال استاندارد) و تغییر آن تا رسیدن به یک توزیع دلخواه پیچیده (توزیع‌ داده‌های آموزش) طی تعداد گامی مشخص، یاد گرفته و شبیه‌سازی نمایند.
- به طور دقیق‌تر این مدل‌ها دارای دو فرایند اصلی Forward و Reverse می‌باشند. در مرحله‌ی Forward با شروع از داده‌ی آموزش (مانند یک عکس)، در هر گام مطابق با یک پلن مشخص (که توسط Scheduler تغیین می‌شود) یک نویز گاوسی به داده‌ی فعلی اضافه شده و این فرایند تا زمانی که به یک محتوای کاملا نویزی برسیم ادامه می‌یابد. حال در فرایند Reverse سعی می‌شود در هر گام با پیشبینی نویز اضافی، در نهایت از سمپل حاصل از توزیع ساده (مانند نرمال استاندارد) به سمپلی از توزیع پیچیده (مانند داده‌های آموزش) دست یابیم.
- در این ارائه قصد داریم ضمن آشنا شدن با مفاهیم اولیه و فرایند آموزش مدل‌های دیفیوژنی، با بررسی دقیق‌تر تئوری این مدل‌ها به دانش خود نسبت به مدل‌های مولد Score-based عمق بیشتری ببخشیم.
- برای آشنایی بیشتر می‌توانید به مقاله‌ی زیر مراجعه نمایید:
Denoising Diffusion Probabilistic Models

Meeting Link: https://vc.sharif.edu/rohban

#journal_club

سلام

امروز ساعت ۱۴:۳۰ جلسه‌ی ژورنال کلاب با ارائه‌ی آقای عبدوس را خواهیم داشت.

Date: 1402/09/08

Speaker: Sina Abdous

عنوان:
معرفی تفسیرکننده های شبکه های گرافی (Graph neural networks explainers)

چکیده:
- شبکه‌های عصبی گرافی (Graph Neural Networks یا GNNs) یکی از پیشرفت‌های نوین در حوزه یادگیری ماشین هستند که برای مدل‌سازی داده‌های ساختاریافته به شکل گراف طراحی شده‌اند. این شبکه‌ها قادر به استخراج ویژگی‌ها و یادگیری از روابط میان نودها (گره‌ها) و یال‌های یک گراف هستند. GNN‌ها با استفاده از مکانیزم‌هایی مانند ترکیب خطی و تابع‌های فعال‌سازی، اطلاعات موجود در هر گره و همسایه‌هایش را ترکیب کرده و به یک نمایش کارآمد از داده‌های ساختاریافته دست می‌یابند.
- علی رغم رشد روزافزون دقت مدل های مذکور، ضرورت شفافیت در نحوه عملکرد این مدل ها جهت به کار گیری در محیط های حساس، بیش از پیش مورد نیاز است. بدین منظور، توسعه مفسرهای مرتبط، مورد توجه قرار گرفته است. تفسیرکننده‌های شبکه‌های عصبی گرافی (Graph Neural Network Interpreters) ابزارهایی هستند که به درک و تفسیر نحوه کارکرد و تصمیم‌گیری‌های درونی شبکه‌های عصبی گرافی کمک می‌کنند. این تفسیرکننده‌ها با ارائه دیدگاهی شفاف این امکان را می‌دهند تا درک بهتری از چگونگی تأثیرگذاری ویژگی‌های مختلف گره‌ها و یال‌ها بر نتایج حاصل از شبکه داشته باشیم. این فرآیند شامل تکنیک‌هایی مانند تحلیل حساسیت، شبکه‌های عصبی متقابل (counterfactual neural networks)، و روش‌های تجزیه و تحلیل مسیر است که این امکان را می‌دهد تا تأثیرات متقابل نودها و ارتباطات آن‌ها در یک گراف شناسایی و تفسیر شود. به کارگیری این تفسیرکننده‌ها به ویژه در زمینه‌هایی که نیازمند شفافیت و قابلیت اطمینان بالایی از مدل‌های پیش‌بینی هستند، از اهمیت بالایی برخوردار است و به تقویت اعتماد و درک عمیق‌تر نسبت به عملکرد این شبکه‌های پیچیده کمک می‌کند.
- در این ارائه قصد داریم تا با ساختار کلی مفسرهای مذکور و مفاهیم پایه ای آن ها آشنا شویم.
- برای آشنایی بیشتر می‌توانید به مقالات زیر مراجعه نمایید:
Explainability in Graph Neural Networks
GNNExplainer: Generating Explanations for Graph Neural Networks

Meeting Link: https://vc.sharif.edu/rohban

#journal_club

ارائه‌ی Molecular Property Prediction از آقای سفید در تاریخ ۱۷ آبان ۱۴۰۲

ارائه‌ی Denoising Diffusion Probabilistic Models از آقای ماری‌اوریاد در تاریخ ۱ آذر ۱۴۰۲

ارائه‌ی GNNExplainer از آقای عبدوس در تاریخ ۸ آذر ۱۴۰۲