این سایت خیلی خوبه! ۵۰۰ نمونه پروژه های دیتاساینس اعم از ML، LLM، ریکامندر سیستم ها و دهها موضوع دیگه که تو‌ صنعت توسط شرکت های معروف پیاده شدن رو جمع کرده.

اگر میخواین یادبگیرین تو صنعت چطوری پروژه های دیتاساینس پیاده میشن این معدن طلا رو از دست ندید!

https://www.evidentlyai.com/ml-system-design

@DevTwitter | <Nima/>

موسسه AllenAI یک ابزار اپن سورس OCR معرفی کرده به نام olmOCR برای استخراج متن تمیز از فایل‌های PDF!
با این ابزارمیتونید در حجم بالا پردازش انجام بدید، و انواع مختلف اسناد رو با سرعت خیلی بالا مدیریت می‌کنه. می‌تونید اون رو به صورت رایگان روی سیستم خودتون اجرا کنی—با سرعت بالای ۳۰۰۰ توکن بر ثانیه، که معادل ۱۹۰ دلار برای هر میلیون صفحه میشه، یا ۱/۳۲ هزینه GPT-4o! (خیلی ارزون‌تره!)
من روی یک فایل فارسی امتحان کردم خیلی عالی بود کیفیتش.

Link: olmocr.allenai.org‎
Github: github.com/allenai/olmocr‎

@DevTwitter | <Mehdi Allahyari/>

این قطعا گوگلو عصبانی میکنه، ChatGPT آپدیت جدید یه اکستنسن به سافاری اضافه میکنه که فعالش کنی موتور جستجوی پیش‌فرض میشه ChatGPT :)

@DevTwitter | <Soroush Ahmadi/>

مایکروسافت Voice و Think Deeper رو داخل کوپایلت نامحدود کرد، بچه‌ها در استفاده کوتاهی نکنید.
copilot.microsoft.com‎

@DevTwitter | <Soroush Ahmadi/>

با C++ یک پروژه جدید روی گیت‌هاب انجام دادم
این کد یک Weighted Graph رو پردازش میکنه و دو الگوریتم مهم برای کوتاه تری مسیر رو پیاده‌سازی میکنه
در کل، بهتون کمک میکنه کوتا ترین مسیر در یک گراف رو پیدا کنید
اگر قابل بود Star کنید
https://github.com/MisaghMomeniB/Graph-Pathfinder-Cpp

@DevTwitter | <Misagh Momeni Bashusqeh/>

یه نفر تو ردیت از Copilot مایکروسافت خواسته بهش یاد بده چطوری ویندوز رو بدون خرید لایسنس فعال کنه، بعد کوپالیت یه دستور PowerShell بهش میده که یه اسکریپت رو از گیت‌هاب اجرا می‌کنه و در نهایت باعث فعال شدن ویندوز ۱۱ میشه.

@DevTwitter | <Geek Alerts/>

به صورت کامل اومدم و سیستم asyncio.Queue و asyncio.Event و نحوه ی ساخت سیستم producer && consumer(worker) رو توضیح دادم و مثال نسبتا ساده ای رو نوشتم.
خوشحال میشم بخونید(ریپست و لایک خوشحال ترم میکنه) و نظرتون رو درموردش بهم بگید.

لینک مقاله

@DevTwitter | <Mohammad Sadeghian/>

دیپ‌سیک یه سیستم فایل به اسم Fire-Flyer یا همون 3FS ساخته برای خوندن حجم زیادی از دیتاهای سمپل به صورت تصادفی، اون هم توی نودهای محاسباتی موقع آموزش مدل‌ها.

اکثر فایل‌سیستم‌های سنتی برای استفاده‌های عمومی طراحی شدن اما توی آموزش مدل‌ها، ما معمولا دیتاهارو به صورت تصادفی انتخاب و می‌خونیم. یعنی چی؟ یعنی اینکه نمی‌تونیم از تکنیک‌های معمولی مثل کش کردن (Read Cache) یا پیش‌خوانی (Prefetching) استفاده کنیم. چون دیتاهایی که الان خوندیم، به این زودی‌ها دوباره خونده نمی‌شه. پس این ابزارها اینجا بی‌فایده‌ان.

به خاطر همین مسئله خوندن تصادفی مهمه و 3FS اومده و این ویژگی‌های کش و پیش‌خوانی رو کلا حذف کرده. چرا؟ چون هم بی‌فایده بودن، هم حافظه سیستم رو الکی اشغال می‌کردن و ممکنه بود روی کارهای دیگه تاثیر منفی بذارن.

بعضی‌ها پرسیدن که چرا از سیستم‌فایل‌های دیگه مثل Ceph یا MinIO و SeaweedFS استفاده نکنیم. جواب ساده‌ست، سرعت. این سیستم‌ها برای این حجم از دیتا و این نوع دسترسی تصادفی طراحی نشدن. اما 3FS تونسته به سرعت ۶.۶ ترابایت بر ثانیه برسه.

https://arxiv.org/html/2408.14158v2

@DevTwitter | <Soroush Ahmadi/>

ساختن اپلیکیشن‌های realtime صوتی و تصویری با استفاده از پروتکل های WebRTC و Websocket خیلی سخته. الان یک لایبرری جدید اومده به اسم FastRTC و عالیه!
بعضی از ویژگی‌های کلیدی:
- تشخیص صدا به صورت اتوماتیک و نوبت‌دهی صحبت
- می‌تونی هر مدل LLM، صوتی یا تصویری رو بهش وصل کنی
- رابط کاربری خودکار Gradio برای تست کردن
- می‌تونی برای استفاده توی محیط واقعی، به هر اپلیکیشن FastAPI وصلش کنی
- پشتیبانی از تماس تلفنی
توی ریپو کلی مثال داره! الان میتونید انواع اپلیکیشن های پیشرفته realtime برای صدا و تصویر درست کنید.
Github: https://github.com/freddyaboulton/fastrtc

@DevTwitter | <Mehdi Allahyari/>

یک پروژه اندرویدی با Clean Arch و اصول solid و تا حدودی ماژولار با کامپوز و هیلت و ktor و رتروفیت با رعایت استاندارد های گوگل

پروژه خیلی تمیزیه و بنظرم میتونه مفید باشه.
لینک گیت هاب :‌
https://github.com/MahdiPorkar-github/CryptoTracker

@DevTwitter | <Mahdi/>

#کوته_نیوز

اسکایپ داره درشو میذاره

@DevTwitter

یکی از منابع خوب واسه cveهای جدید و دسته‌بندی‌شون + PoCهای موجود، استفاده از
cvedb.shodan.io‎
هست، میتونه منبع خوبی برای ابزارهاتون باشه.

پ.ن: زیاد سریع نیست و راه‌های بهتری هست واسه پیاده‌سازیش اما چون پابلیک هستش اوکیه.

@DevTwitter | <Radmehr/>

مدل‌های قبلی OpenAI بیشتر روی استدلال تمرکز داشتن. ولی GPT-4.5 بیشتر روی یادگیری بدون نظارت تمرکز کرده، یعنی بهش کلی دیتا دادن و گذاشتن خودش یاد بگیره.

نتیجه‌ی این کار، مدلیه که دانش گسترده‌تر و درک عمیق‌تری از جهان داره، که منجر به کاهش توهمات و اطمینان بیشتر به مدل میشه.

تضمینی اینکه هیچوقت قرار نیست رایگان باشه و احتمالا توی پنل Plus هم با کلی محدودیت ارائه میشه چون خیلی گرونه، یعنی ۱ میلیون توکن میشه ۷۵ دلار که احتمالا برای هر کاری مناسب نباشه.

ولی اگه قرار باشه جایی استفاده کنیم که دقت مهمه، یا از همین مدل واسه Train کردن بقیه مدل‌ها استفاده کنیم میتونه گزینه خوبی باشه، البته اگه نتیجش افزایش هزینه‌های Train کردن نباشه.

اما نقدها هم به این مدل زیاد هستن، مثلا توی ریاضی، برنامه‌نویسی و بنچمارک‌های دیگه عملکردش در سطح مدل‌هایی مثل Grok 2.0 یا Claude 3.7 بوده و خیلی‌ها گفتن ارزش این مقدار هزینه بیشتر رو نداره.

تاکید می‌کنن که GPT-4.5 فعلا استدلال نمی‌کنه، ولی در آینده مدل‌های هیبریدی میسازن که استدلال هم داشته باشه. مثل کاری که Claude انجام داد.

@DevTwitter | <Soroush Ahmadi/>

آلوده سازی از طریق کرک بازی و نرم‌افزارها بشدت بالا رفته است و گهگاهی گریبان‌گیر اطرافیان، از یوتیوبرها تا گیمرها می شود.
طی تحقیقی بیشر از ۱۱۰۰ مخزن Github شناسایی شده‌اند که برای پخش بدافزار هستند.
جالب اینجاست که اطلاعات به چنل‌های Discord فرستاده می‌شوند (عادی سازی ترافیک) و در آنجا هکرها اطلاعات ارزشمند را جداسازی می کنند.
برنامه‌هایی مثل Photoshop و بازی هایی مثل Roblox و Fortnite در صدر لیست جذب قرار دارند.
در این مورد این بدافزار به دزدیدن اطلاعات می پردازد ولی در مواردی که خودم دیده‌ام سیستم آلوده در حمله DDoS هم استفاده می شود، اینگونه میشود که برای دارندگان سروری که VPN دارند، اخطار Abuse می‌آید!
https://timsh.org/github-scam-investigation-thousands-of-mods-and-cracks-stealing-your-data/

@DevTwitter | <Vahid Nameni/>

ابزار Yaak یک API client برای توسعه دهنده‌های مدرن
این Yaak API Client به صورت Offline کار میکنه با Git سازگاره
و برای HTTP ,GraphQL ,WebSockets ,SSE و gRPC استفاده میشه

Yaak.app
@DevTwitter | <MehrdadLinux/>

این پروژه به شما یاد می‌ده که چطور با استفاده از کدهای ساده و کارآمد، یک سیستم کوتاه‌کننده URL بسازید و لینک‌های طولانی رو به لینک های کوتاه و کاربرپسند تبدیل کنید.
این پروژه با پایتون و فریمورک قدرت‌مند FastAPI نوشته شده
و به همه افراد، از تازه‌کارها گرفته تا افرادی که قصد دارن مهارت‌های برنامه‌نویسی خودشون رو تقویت کنن کمک میکنه

https://github.com/irvaniamirali/zip-link

@DevTwitter | <Amiri/>

‏تو Reddit یه نفر یه فایل EXE ویژوال بیسیک ۴ که میشه برای ۱۹۹۷ رو با Claude 3.7 اومده به پایتون تبدیل کرده.

میگه اجرای فایل‌های VB4 الان دردسره، ولی Claude 3.7 فایل رو آنالیز کرده، UI و فایل‌های صوتی رو پیدا کرده و یه کد پایتون معادلش ساخته، بعد همون بار اول هم کار کرد و کل پروسه کلا ۵ دقیقه طول کشید.

معنی این ماجرا اینه که میشه اپلیکیشن‌ها و بازی‌های قدیمی رو بدون کد اصلی به کمک یه ابزار مثل Claude 3.7 بیایم open-source و reverse-engineer کنیم.

@DevTwitter | <Soroush Ahmadi/>

کد و ریپوی ایجنت تلگرامی (CaliBot) که برای مدیریت تقویم هست آماده شد. البته که هنوز کلی کار داره. ولی هدف آموزش اینجور اپلیکیشن هاست. میتونید کد را استفاده کنید و فیچرهای زیادی بهش اضافه کنید. مثلا به ایمیل هم وصل بشه که وقتی یک قراری را ست کردید به همه اعضا ایمیل بزنه. یا اگه تداخل بین قرارها بود را بگه و درست کنه.
خلاصه که کلی چیز میتونید بهش اضافه کنید. این عکس معماری اپ را نشون میده.
Github: https://github.com/mallahyari/calibot

@DevTwitter | <Mehdi Allahyari/>

ابزاری برای شناسایی آسیب‌پذیری‌های جیلبریک مدل‌های هوش مصنوعی

لینک پروژه:
https://github.com/VetOnce/best-of-n-prompt-jailbreaker

درباره الگوریتم:
https://jplhughes.github.io/bon-jailbreaking/

@DevTwitter | <Amir/>

مدل grok بیشترین سطح آزادی بیان رو داره و برای سوالات سیاسی و اجتماعی بهترینه.
برای کد نویسی قطعا claude 3.7 عالیه، اسمش رو گذاشتم خدای برنامه نویس ها.
خانواده‌ی مدل‌های openai هم مثل چاقوی سوئیسی میمونند، مخصوصا o3 رو خیلی دوست دارم.
برای deepseek هم وقت بیشتری باید بذارم.

@DevTwitter | <Sabber/>

#بپا_نره_درت

این سایت https://nospam.ir هم به درد بخوره.
برام چندمین باره که این اسمس واسم میاد:
"مشترک 3129 برای تکمیل پرونده خود تماس بگیرید"

سرشماره پیامکی رو که سرچ میکنی میبینی پسر چقدر کلاه گذاشتن سر ملت

@DevTwitter | <Sanguine(Ali)/>