سوال میلیون دلاری این است که چطور می‌توان یک مدل زبانی بزرگ (LLM) را وادار کرد که بگوید "نمی‌دانم."

سوال میلیارد دلاری اینه که چطور انسان هارو وادار کنیم بگن "نمی‌دانم"


@Linuxor

پهنای باند (Bandwidth) یعنی چه حجمی از داده "می‌تونه" رد شه، ولی گذردهی (Throughput) یعنی واقعاً "چقدر" رد می‌شه. مثل اینه که یه لوله بزرگ آب داشته باشی (پهنای باند)، اما به خاطر فشار کم یا نشتی، فقط یه بخشی از آب برسه (گذردهی).


@Linuxor

قبل VS Code یادتونه بین Editor ها چه دعوایی داشتیم، اصلا یهویی چی شد همه اومدیم VS Code


@Linuxor

این تیتر هم جالب بود 9 الگورتیمی که بر دنیای ما حکمرانی می‌کنند.

@Linuxor

توی کامپیوتر به موقعیتی که توش برای به دست آوردن یه ویژگی یا مزیت، مجبور به چشم‌پوشی یا کاهش کیفیت ویژگی دیگه ای باشین Trade Off می‌گن؛ این مقاله اومده و 15 تا از Trade Off های معروف کامپیوتر رو جمع آوری کرده :

https://blog.algomaster.io/p/system-design-top-15-trade-offs


@Linuxor

یه نفر اومده منابعی که برای ماشین لرنینگ و هوش مصنوعی خونده رو جمع آوری کرده یه مجموعه خوب ساخته :

ml-resources.vercel.app


@Linuxor ~ flyme2_mars

اگر کد شما درست کار نکرد نگران نباشید. اگر همه چیز درست انجام می‌شد، شما بیکار می‌شدید.


@Linuxor ~ Mosher's Law

خیلیا سایت حتی حرفه ای و خفن می‌سازن و دلسرد می‌شن که چرا سایت ما نمی‌گیره؟

ساده ترین جوابی که می‌شه به این سوال داد اینه : سایت شما ارزش افزوده کمی داره، یعنی چیزی به کسی اضافه نمی‌کنه... یه سایت وردپرسی با ساده ترین دیزاین ولی یه خدمات مفید و بر طرف کننده نیاز، می‌تونه به راحتی از سایت شما با خفن ترین تکنولوژی بازدهی بیشتری داشته باشه.


@Linuxor

این دستگاه که می‌بینید هاب موبایله چینیا ساختنش، مادربرد گوشی رو جدا می‌کنن و بهش وصل می‌کنن و گوشی رو کنترل می‌کنن؛ باهاش توی شبکه های اجتماعی با اکانت های فیک لایک و .... میزنن.


@Linuxor

بهتره که اول خودتو پیدا کنی

ping localhost


@Linuxor

اگه فرض کنیم خلاقیت به معنی استفاده از داده‌های موجود برای ایجاد چیزی نو و متفاوت باشه، هوش مصنوعی هم خلاقیت داره، ولی این خلاقیت با خلاقیت انسان متفاوته.

هوش مصنوعی با استفاده از الگوریتم های ثابت از داده های خودش داده های جدید تولید می‌کنه ولی انسان خلاقیتش با احساساتش در هم تنیده شده برای مثال وقتی یه غم رو تجربه می‌کنه دیگه خلاقیتش مثل قبل نیست و با احساسات ترکیب شده و ممکنه چیزی تولید کنه (مثلا یه آهنگ) که بی سابقه باشه.

از یه طرفی ما انسان ها در نهایت قراره این داده (مثلا همون آهنگه) رو قضاوت کنیم و این داده برای ما بسیار خلاقانه تر دیده می‌شه.


@Linuxor

یه نفر اومده با استک MERN که شامل MongoDB, Express, React, Node. js هستش یه چت اپ Real Time ساخته و یه ویدیوی 4 ساعته گرفته :

https://youtu.be/ntKkVrQqBYY


@Linuxor

گوگل معماری جدیدی به نام «تایتان‌ها» (Titans) برای AI معرفی کرده که میتونه داده‌های بلند مدت رو به خاطر بسپاره.

این از نظر کارایی بهتر از مدل قبلی و معروف Transformers هست.

کارکردش اینجوری که از یک ماژول حافظه عصبی استفاده میکنه و یاد میگیره چه چیزهایی رو به خاطر بیاره و کدوم‌هارو فراموش کنه.

در واقع تو ساختش از حافظه انسان الهام گرفتن، حافظه کوتاه مدت ما دقیق اما محدوده و حافظه بلند مدت ما برای مدت بیشتری دیتا رو ذخیره میکنه.

ما از هر دو این‌ها استفاده میکنیم و این کاری هست که Titans هم انجام میده.
نتیجه اینه که مدل میتونه مسائل بسیار پیچیده‌تر رو حل کنه.

علی بهروز (ایرانی و دانش‌آموخته شریف) محقق ارشد این معماری جدید در گوگل هست.

https://arxiv.org/pdf/2501.00663v1

@Linuxor ~ MrSoroushAhmadi

ضربان قلب یا heartbeat توی سیستم‌های توزیع‌شده یه پیام دوره‌ای از هر نود به سیستم برای اطلاع از وضعیت سلامتشه. این مکانیزم توی بسیاری از سیستم‌ها مثل Apache Kafka برای اطمینان از هماهنگی بین سرورها و تشخیص خرابی استفاده می‌شه. اگه سیگنال heartbeat از یه سرور دریافت نشه، سرور دیگه مسئولیتش رو به عهده می‌گیره تا از دست رفتن داده‌ها یا وقفه در پردازش جلوگیری شه.


@Linuxor

اون واست مثل Swap memory می‌مونه هرچه بیشتر بهش مراجعه کنی بیشتر باید فکر کنی که کمی.


@Linuxor

اگه خواستی درباره سیستم عامل ها بدونی هر روز یکی از قسمت های اینو بخون، خیلی از مباحث سیستم عامل رو با مثال توضیح داده :

https://mohitmishra786.github.io/exploring-os/src/


@Linuxor

وقتی یه وبسرور بالا آوردی، می‌تونی با ابزار زیر عملکردش رو تست کنی

ab -n 1000 -c 50 http://localhost/index.html

این دستور 1000 تا درخواست با همزمانی 50 تایی به localhost ارسال می‌کنه و توی نتیجه بهت می‌گه چقدرش Failed شد و سرور چقدر می‌تونه در ثانیه تحمل کنه.


@Linuxor

همین الان برو اون پروژه ای که چند وقت پیش بخاطر پرباگ بودن ولش کردی رو reopen کن و مشکلاتش رو حل کن که قراره درس بزرگی تو معماری و دیزاین بهت بده


@Linuxor

توی ++C، توابع ()likely و ()unlikely به برنامه‌نویس اجازه می‌ده تا به کامپایلر اطلاع بده که احتمال وقوع یک مسیر خاص توی کد بیشتره یا کمتره. این موضوع می‌تونه بهینه‌سازی عملکرد برنامه را بهبود بده، به ویژه توی branch prediction یا پیش‌بینی انشعاب پردازنده.

وقتی پردازنده با یه دستور شرطی مثلا if یا switch روبه‌رو می‌شه، نیاز داره پیش‌بینی کنه که کدوم مسیر کد اجرا قراره بشه. اگه این پیش‌بینی درست باشه، پردازنده سریع‌تر عمل می‌کنه.

مثلا کد زیرو ببینید

if (likely(value > 0)) {
cout << "Positive value";
} else {
cout << "Non-positive value";
}


اینجا likely به کامپایلر اطلاع می‌ده که شرط value به احتمال زیاد بزرگ تر از 0 هستش پس کامپایلر این مسیرو بهینه مدیریت می‌کنه.


@Linuxor