الگوریتم dbscan: نمودی از مظلومیت ماشین‌لرنینگ در برابر تجاوز دیپ‌لرنینگ

معمولا وقتی اسم کلاسترینگ به گوش می‌خوره، معروف‌ترین اسمی که به ذهن میاد kmeans هست. ولی خب روش‌های معروف دیگه‌ای هم جز kmeans هستند. یکی از معروف‌ترین این روش‌ها dbscan است. این روش این شکلیه که دو تا هایپرپارامتر اپسیلون و مینیمم تعداد همسایگی داره و میاد برای هر نقطه حساب می‌کنه می‌بینه در همسایگی به میزان اپسیلون اون نقطه، چند تا نقطه دیگه وجود دارند، اگر به اندازه اون هایپرپارامتر مینیمم تعداد همسایگی، نقطه وجود داشته باشه، اون نقطه به عنوان core point تعیین می‌شه. در مرحله بعدی می‌بینه که چه core point‌هایی حالا در همسایگی هم هستند و یک chain یا در واقع یک connected component رو تشکیل می‌دن. به مجموعه اون core point‌ها یک کلاستر تخصیص می‌ده. حالا نقاط دیگه یا در همسایگی یکی از این core point‌های یک کلاستر هستند که در این صورت جزو اون کلاستر می‌شن، یا در مجموعه همسایگی هیچ core point ای واقع نمی‌شن و در این صورت بهشون لیبل outlier می‌خوره. dbscan روش جالبیه و برخلاف kmeans می‌تونه بیشتر روی توزیع فوکس کنه و کلاسترهایی با شکل‌های غیر توپی دربیاره، مثلا میتونه در کیسی که یک کلاستر، بیرون یک کلاستر دیگه رو محاصره کرده، کلاسترها رو از هم جدا کنه.

نکته این پست اما اینه که شما اگر الان برید از دانشجوهای هوش مصنوعی دانشگاه شریف هم بپرسید که dbscan چیه، به ندرت می‌دونن که چیه. در زمان‌های نه چندان دور، معمولا dbscan یا در درس یادگیری ماشین بهش اشاره‌ای می‌شد و یا این که اگر درس ارائه انتهای ترم داشت، کسی راجع به dbscan ارائه می‌داد. امروز اما اوضاع فرق کرده. قبلاها در درس یادگیری ماشین، خیلی مباحث نظیر انواع روش‌های کلاسترینگ یا مثلا انواع روش‌های feature reduction بحث می‌شد ولی جدیداها با مدشدن دیپ‌لرنینگ، آتشش به دامن کورس یادگیری ماشین هم گرفته و به جای بحث در مورد یادگیری ماشین، انگار درس دیپه که ارائه می‌شه. خیلی‌ها این نظر رو دارند که دیگه اون روش‌های سابقی که تو ماشین لرنینگ بحث می‌شد با اومدن دیپ لرنینگ معنایی ندارند و نباید وقتی بابت اونها تلاف بشه. نظر شخصی من اما اینه که بخشی از وظیفه یک درس یا کورس، آموزش نحوه تفکر و مدلسازی هست و نه آموزش صرفا بهترین مدل‌سازی. خیلی مسائل و الگوریتم‌ها در همین مباحث یادگیری ماشین غیردیپی هستند که روش‌های دیپ روش جوابی ندارد یا جواب دارند ولی به طرز دیگه‌ای به مساله نگاه می‌کنند. ممکنه مطرح کنید که خب وقتی طرف با مساله کلاسترینگ مواجه شد می‌ره سرچ می‌کنه و می‌بینه که روش dbscan ای هم هست و یادش می‌گیره. منتهای مطلب این لازمه‌اش اینه که حداقل در متن درس ماشین لرنینگ،‌ یک اشاره‌ای بشه که همه یادگیری ماشین، شبکه عصبی نیست و به گوش دانشجو بخوره که روش‌های کلاسترینگ موثر دیگه‌ای هم هست.

#تجارب

پیشنهاد میدم گوش بدید شبتون در آرامش

#متفرقه


🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

🤔 Thinking LLMs: General Instruction Following with Thought Generation

This research paper explores the concept of "Thinking LLMs," or large language models that can generate internal thoughts before responding to user prompts. The authors propose a training method called Thought Preference Optimization (TPO) which uses an iterative process to encourage LLMs to develop thinking abilities. TPO leverages an existing judge model that evaluates responses, implicitly guiding the model to improve its thoughts based on the quality of the resulting responses. The study demonstrates that Thinking LLMs can outperform standard LLMs on various general instruction-following tasks, including those not typically associated with reasoning, such as marketing and health. The research highlights the potential for Thinking LLMs to expand the capabilities of these models beyond traditional reasoning and problem-solving domains.

📎 Link to paper

#TPO #Planning #Reasoning

@LlamaCast

رشد بدون نگهداری: تبدیل نعمت به عذاب

کتابخونه‌ها و پکیج‌هایی که تو این چند سال اخیر با رشد هوش مصنوعی به بازار اومدن، مثل Langchain و Bertopic، و حتی بعضی وقت‌ها خود Hugging Face، از نظر maintainance و جلوگیری از اسپاگتی شدن کدها خیلی اذیت‌کننده هستن. اولش یه ویژگی جذاب ارائه می‌دن و حسابی محبوب می‌شن، اما وقتی نوبت به اضافه کردن ویژگی‌های جدید می‌رسه، خوب کدها و معماری رو مدیریت نمی‌کنن و انگار از لحاظ نرم‌افزاری کمتر توجهی به این فاکتور ندارن. سرعت اضافه شدن ویژگی‌هاشون بیشتر از سرعت نگهداری و بهینه‌سازی کدهاست و بعد از مدتی کار باهاشون خیلی دردناک و خسته‌کننده می‌شه. یک ویژگی مشترک دیگه بین اینها هم داکیومنتیشن‌های افتضاحشونه، گاها حتی داکیومنتیشن ندارند برای فیچرهای جدیدشون، گاها N ورژن داکیومنتیشن دارند که به خاطر تفاوت معماری تو ورژن‌های مختلف گیج‌کننده می‌شه و ....

شاید استفاده درست از اینها، در حد mvp باشه، مثلا وقتی می‌خوایم یک ایده‌ای رو تست بگیریم از اینها استفاده کنیم ولی بعد از اثبات اون mvp دیگه سعی کنیم تا حد امکان خودمون رو از اونها مستقل کنیم (این در مورد امثال langchain صدق می‌کنه وگرنه هاگینگ فیس اینا که بحثشون جداست)

پانوشت: مثلا langchain برای خودش langchain_core.pydantic_v1 و langchain_openai و ... تعریف کرده. خب این چه کار مسخره‌ایه

Junior Data Crawler And Data Analyst

Job Summary:
We are seeking a motivated and detail-oriented Junior Data Crawler and Data Analyst to join our growing data team. The role involves extracting, cleaning, and analyzing data from various sources (websites, APIs, and databases) to provide valuable insights that drive business decisions. The ideal candidate should have a passion for working with data, a strong analytical mindset, and a basic understanding of web crawling techniques and tools.

Key Responsibilities:
1. Data Crawling (Web Scraping)
2. Data Cleaning and Preparation
3. Data Analysis
4. Collaboration & Documentation

Required Skills & Qualifications:

· Education: Bachelor’s or Master's degree in Computer Science, Data Science, Statistics, Engineering, Information Technology, or a related field (or equivalent work experience).

Technical Skills:

· Basic experience with web scraping tools and libraries (e.g., Python with BeautifulSoup, Scrapy, Selenium).
· Familiarity with APIs and data extraction techniques.
· Basic programming/noscripting skills in Python, JavaScript, or another language for data extraction.
· Proficiency in data manipulation using Excel, SQL, or Python (Pandas).
· Experience with data visualization tools (e.g., Power BI, Tableau, Matplotlib) is a plus.

Analytical Skills:

· Strong problem-solving skills with attention to detail.
· Ability to analyze and interpret complex datasets.
· Basic knowledge of statistical concepts is a plus.

Soft Skills:
· Excellent written and verbal communication skills.
· Ability to work independently as well as in a collaborative environment.
· Willingness to learn new technologies and data analysis techniques.

Preferred Qualifications:

· Experience in data cleaning, ETL processes, or working with databases.
· Previous experience with cloud platforms (e.g., AWS, GCP) is a plus.
· Familiarity with agile methodologies for project management.

Benefits:

· Opportunities for growth and learning in data science and engineering.
· A collaborative and dynamic work environment with a focus on innovation.

معرفی شرکت

مجموعه دانش بنیان بیت 24، یکی از بزرگترین شرکت‌های فینتک که به‌طور تخصصی در زمینه ارزهای دیجیتال و تکنولوژی بلاکچین فعالیت می‌کند.
مجموعه بیت24 متشکل از متخصصین نخبه کشور با هدف حذف واسطه‌ها و در راستای رفع نیاز کاربران ایرانی برای مبادله و خرید و فروش ارزهای دیجیتال، پلتفرم امن و آسان بیت24 را طراحی و راه‌اندازی کرده‌اند. با گذشت زمان و رشد و توسعه پلتفرم بیت24 مفتخریم با رضایت بیش از 95 درصدی کاربران خود، پیشرو در بازار معاملات ارزهای دیجیتال باشیم.
مزایای بیت 24:
بیمه درمان تکمیلی
کمک هزینه دوره آموزشی
وام
پاداش
ساعت کاری منعطف
صبحانه
ناهار
بسته ها و هدایای مناسبتی
میان وعده
اتاق بازی
امریه سربازی


ارسال رزومه به نشانی: hr.bit24.cash@gmail.com

اگر کاربر #تلگرام Premium هستید، با Boost کردن کانال ما، در فعال کردن قابلیت انتشار استوری به ما کمک کنید تا بتوانیم محتواهای جذاب را در استوری تلگرام با شما به اشتراک بگذاریم ❤️🌻
👇👇
https://news.1rj.ru/str/boost/AI_DeepMind

سلام . دوستانی که در فرصت تایید ربات نبودن اکانتشون، موفق نشدن کاری انجام بدن تا دسترسیشون به ارسال پیام به گروه محیا شه برای رفع اون به من پیام بدید.

#Paper
#Article

Enhancing Language Learning through Technology:Introducing a New English-Azerbaijani Parallel Corpus

This paper introduces a pioneering English-Azerbaijani (Arabic Script) parallel corpus, designed to bridge the technological gap in language learning and machine translation (MT) for under-resourced languages. Consisting of 548,000 parallel sentences and approximately 9 million words per language, this dataset is derived from diverse sources such as news articles and holy texts, aiming to enhance natural language processing (NLP) applications and language education technology. This corpus marks a significant step forward in the realm of linguistic resources, particularly for Turkic languages, which have lagged in the neural machine translation (NMT) revolution. By presenting the first comprehensive case study for the English-Azerbaijani (Arabic Script) language pair, this work underscores the transformative potential of NMT in low-resource contexts. The development and utilization of this corpus not only facilitate the advancement of machine translation systems tailored for specific linguistic needs but also promote inclusive language learning through technology. The findings demonstrate the corpus's effectiveness in training deep learning MT systems and underscore its role as an essential asset for researchers and educators aiming to foster bilingual education and multilingual communication. This research covers the way for future explorations into NMT applications for languages lacking substantial digital resources, thereby enhancing global language education frameworks. The Python package of our code is available at this https URL, and we also have a website accessible at this https URL.

Full paper:
https://arxiv.org/abs/2407.05189

کانالیمیزی جانلی یایین:
https://news.1rj.ru/str/Machinelearning_Karta

🔴 یک خبر داغ:
ایلان ماسک مدیر عامل اینستاگرام و توییتر پروکسیهایی رو طراحی کرده که به طور خودکار به اینترنت استارلینک وصل میشن.
فعلا تعدادی از این پروکسی ها در اختیار کاربران ایرانی قرار داده شده، و ما براتون اینجا گذاشتیم:

جان عزیزانتون از این چرت و پرتهای تبلیغاتی دس بردارید ی کمی حداقل متنوع باشین کمی ایده بدید چیه اینا کسی بخواد استفاده میکنه گذشت این دوره ها فقط باید بگی فیلترشکن فروشی😂😂

ترامپ رئیس جمهور امریکا شد و اخرین پایگاه جمهوری خواهان و ازادی خواهان امریکا در دست مردمش باقی ماند.

تویت مارکو روبیو سناتور جمهوری خواه ما با "حمایت مردم" برنده شدیم نه "حمایت سلیبریتی ها"

مردم فهمیدن دنیا جایی برای چپ ها نیست

سیاهی لشکر نیاید به کار،
یکی مردِ جنگی بِه از صدهزار

قطعا از پیروزی ترامپ نمیشه تاثیر ایلان ماسک رو کتمان کرد

پس حواستون باشه با چه کسایی معاشرت میکنید

#متفرقه


🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

مدل جدید متن باز که امروز توسط هاگینگ فیس منتشر شد

SmolLM2 is a family of compact language models available in three size: 135M, 360M, and 1.7B parameters. They are capable of solving a wide range of tasks while being lightweight enough to run on-device.

◾️ SmolLM2


#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

◾️ Stable Diffusion 3.5 Medium :A 2B image generation model with a permissive license
◾️ LongVU : a video LM that can handle long videos (1to7B params)
◾️ MaskGCT: A SoTA model for text-to-speech (including long-form generation) and bilingual (Chinese+English)
◾️ MobileLLM: Small models(125M-1B) with NC license and some nice capabilities for on-device usage.
◾️ PD12M: A dataset with 12M image-caption pairs using only public domain data+initially filtered
◾️ Sparsh: An encoder for vision-based tactile sensing.
◾️ SmolLM2: Smol models(135M-1.7B) trained with 11T tokens with very strong metrics (and they compared to Qwen too!
◾️ CogVideoX fine-tuned: A video generation model fine-tuned with 10 million image-to-video examples. The 2B model matches the original 5B one.
◾️ AMD-OLMo: A series of 1B LLMs trained, and one of AMD first releases
◾️ Oasis: A diffusion transformer model that generates Minecraft-like gameplay. This is the downscaled 500M model

#مقاله #ایده_جذاب #متن_باز

✅ @AI_DeepMind
🔸 @AI_Person

آلبر کامو در افسانه سیزیف جمله‌ی وحشتناکی دارد که می‌گوید: “شکاف عمیقی وجود دارد بین آرزوهای انسان و تلاش‌هایی که برای رسیدن به آن آرزوها انجام می‌دهد.“

انسان، دست خودش نیست. رویا می‌پرورد و لزوما هرچقدر خودش را به آب و آتش بزند به تمامیت رویاهایش نمی‌رسد.
در آن شکاف، در آن شکاف که لزوما با تلاش آدمی پر نمی‌شود… در آن شکاف که رویاهایی دست نخورده و نرسیده و کال باقی می‌مانند به زعم من، تمامی دردها و ملال‌های یک انسان نهفته است. شکافی که مملو از نرسیدن‌ها و شکست‌ها و خیرگی‌های انسان به آرزوهای ممتد و مدامش هستند.
و روزی می‌رسد که انسان می‌پذیرد، بعضی از آرزوها قرار است در شکوه یک رویا باقی بماند. نه برای آنکه انسان از تلاش دست کشیده. نه … بعضی از آرزوها باید آرزو بمانند. و انسان تنها خودش می‌داند که چرا دست از خیرگی به آن بر نمی‌دارد

اگر به من باشد، من در تمام عمرم به بافتن رویا مشغولم. بی‌آنکه حریص رسیدن به آن باشم. رویا با تمام جزئیاتش، شکوه تخیل یک انسان است. و تخیل تنها چیزیست که تقدیر، قدرت ستاندن آن را از انسان ندارد.

تولد کامو مبارک

#متفرقه

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

تا حالا سوال شده بپرسی امبدینگ که میگن چیه؟! اگه هنوز شروع نکردی امبد چیه و میخایی nlp یادبگیری اینو پیشنهاد میدم مطالعه کنی

#منابع #کتاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person