امروز یه مقاله‌ای در نیچر چاپ شده در مورد اینکه یک کامپیوتر کوانتومی پردازشی رو که کامپیوترهای معمولی در 9000 هزار سال انجام دادم در 36 میکروثانیه انجام می‌ده!(به نقل از)

یه بحثی مطرح شد در مورد اینکه امنیت سیستم‌های رمزنگاری چی میشه؟ اگر کلیدهای رمزنگاری در کسری از ثانیه شکسته بشه چی میشه؟!
بیشترین خطر برای دارائي های مبتنی بر رمزنگاریه! بله یعنی رمز ارزها!

یه مقاله‌ای در مورد تاثیر الگوریتم‌های کوانتومی در امنیت شبکه‌ی بیت کوین دیدم یه سری نکات جالب داشت براتون می نویسم.
https://news.1rj.ru/str/tweetdev/18

1) مساله اصلی که امنیت رمز ارزها رو به خطر می اندازه چیه؟ الگوریتم امضا signing algorithm بلاکچین تراکنش‌هاست.
بلاکچین تراکنش‌های یعنی اون بلاکی که تعدادی زیادی تراکنش درش وجود دارد و با یک هش به خصوص از طریق proof of work امضا می‌شود.
این امضا با امضای انجام تراکنش فرق داره.
این امضای بلاک امضای miner است.
بحث ما اینجا در مورد امضای miner نیست در مورد امضای انجام دهنده‌ی تراکنشه.

2) مشکل دیگه کجاست؟ مشکل اصلی تهدید الگوریتم‌های حمله‌ی کوانتومی به رمزنگاری های عادی(رمزنگاریهای غیر از رمزنگاری post-quantum) بیش از پیش متوجه الگوریتم‌های نامتقارنه، یعنی همون الگوریتم‌های کلید خصوصی و کلید عمومی دارند.
الگوریتم امضای بیت کوین از همین رمزنگاریهای نامتقارنه.

3) همین الانش هم آدرس‌های بیت کوینی که قبل از 2010 ساخته شده اند و باهاش تراکنش کردند کلید خصوصی‌شون با الگوریتم‌های موجود و البته کامپیوترهای کوانتومی بزرگ در ریسکه!
این آدرس‌ها چقدر هستند؟ 4 میلیون آدرس بیت کوین.
چرا؟ چون با الگوریتم مناسب هش نشده بودند!الگوریتم‌های بعد از 2010 امن‌تر بودند.

4) یک تهدید در مورد استخراج کلید خصوصی امضاء وجود داره، یک تهدید بدتر در مورد تراکنش‌ها! این دومی خیلی خطرناک تره به اینا میگن transit attack به قبلی‌ها که کلید خصوصی رو در می‌آورد میگن storage attack


5) یه تیم سال 2022 در دانشگاه ساسکس روی تهدید پردازش کوانتومی برای بیت کوین کار کرده نتایجش جالبه:
این تحقیق برای حملات transit هست یعنی شامل کل تراکنش ها میشه.
همین الان با الگوریتم های موجود برای انکه بتونیم به سیتم رمزک نگاری موجود بیت‌کوین حمله transit کنیم به 1.9 میلیارد qubit نیاز داریم!!! این حمله به تراکنش 10 دقیقه طول می کشه، 317 میلیون qubit یک ساعت و 13 میلیون qubit یه روز طول می‌کشه.
تا جایی که می دونم کامپیوتر با بیشترین qubit رو تا الان ibm ساخته با 127 qubit!!!
پس با توان پردازشی تهدیدی از طرف پردازش کوانتومی متوجه رمز ارزها به طور بخصوص بیت کوین نیست و البته با الگوریتم‌های فعلی کوانتومی!ㅤ
6) اما این به معنی امنیت بیت کوین نیست! چرا؟
چون با اینکه بیت کوین وقت داره یک برنامه مهاجرت به الگوریتم های post-quantum ای داشته باشه ولی چون همه چیز در این شبکه مبتنی بر اجماع هست و این تصمیم به سرعت اتفاق نمی افته وقتی کوانتوم تهدید جدی برای امنیت شبکه به حساب بیاد ممکنه دیگه برای اجماع دیر باشه.

تاثیر تورم آمریکا روی هوش مصنوعی

فدرال رزرو آمریکا به خاطر کنترل نرخ تورم نرخ بهره رو افزایش داده حالا سوال اینجاست که این چه تاثیری روی هوش مصنوعی میذاره؟!
جواب اینکه سرمایه‌گذاری‌ها میره به سمت پروژه‌های زود-بازده در عوض پروژه‌های طولانی مدت. یعنی پروژه‌های بلند پروازانه تعطیل میشه و این قطعا بده!
ㅤ
ولی با این وجود نرخ بهره انقدری کم هست که ارزشی که AI به دست میاد هنوز واسه سرمایه گذاری روی پروژه‌های بلند مدت بی‌ارزه.

منبع: هفته‌نامه deeplearning.ai متعلق به Andrew Ng

در باب اهمیت گرادیان کاهشی Gradian Descent
ㅤ
این توئیت، سوال پرسیده که شکومند‌ترین/زیباترین ایده‌ی یادگیری ماشین رو چی میدونید؟
متخصص‌های خیلی خفن زیادی به این توئيت توجه کردند و به این سوال جواب دادند. یه سری از این‌ جوابا ایناست:
SVD, PCA, GAN, SVM, Manifold Learning,...
و بعضی جوابهای خاص دیگه.

اما این آقای کریس اولا که قبلا در گوگل برین و OpenAI بوده حرف جالبی میزنه میگه: گرادیان کاهشی. میگه گرادیان کاهشی در ML مثل تکامل در زیست شناسی زیباست بعد با مثال‌هایی توضیح میده این رو.

یان لیکان این توئيت رو مورد توجه قرار داده و میگه من از نیپس ۲۰۰۰ که ازم پرسیدم که مهمترین چیزی که در ML یاد گرفتیم چیه میگه از همون موقع جواب دادم گرادیان کاهشی.

دو متد و کی‌ورد کد خیلی جالب و کاربردی که معمولا خود من هم در کدها استفاده نمی‌کنم و اون رو پیاده می‌کنم
مخصوصا issubset
لینک

یکی از اساسی‌ترین قضایای شگفت انگیز آمار قضیه حد مرکزیه!
این شکل به خوبی مفهوم این قضیه رو نشون میده!
اینجا عملا یه مثال از قضیه حد مرکزیه که مجموع تعدادی کافی توزیع دوجمله‌ای توزیع نرمال را تقریب می‌زنه.
منبع برای خوندن کامنت‌های توئیت

سوال نخ‌نمای مصاحبه‌های پایتون!
فرق آبجکت mutable با immutable چیست؟
یادتون باشه تایپ‌های معمولی که انسان برای انتقال مفاهیم استفاده‌ می‌کنه یعنی int و float و string بعلاوه tuple‌ها اینها همگی immutable هستند بصورت خیلی ساده یعنی متدی روی این objectهای call نمی‌شه که شکل‌شون رو عوض کنه.(جلوتر می‌فهمید)

بقیه‌ی انواع تایپ داده‌ها mutable هستند این‌ها رو انسان برای انتقال مفاهیم استفاده نمی‌کنه مثل dict , list و set. یعنی موقع حرف زدن که ساختار دیکشنری و مجموعه و لیست که نمی‌سازیم موقع حرف زدن با عدد یعنی float , int و کلمات یعنی string حرف می‌زنیم.

در اصطلاح به int, float, string, bool می‌گن primitive type یعنی تایپ‌های اولیه.
پس یادتون باشد primitive type + tuple میشه immutable.

اما اینکه dict, list, set میگن mutable هستند یعنی چی؟ یعنی تغییرپذیرند. یعنی اینکه یک لیست اگر عضوی هم بهش اضافه کنیم بازم همون object هست آن شی قبلی حذف نمیشه یه شی دیگه به جاش تولید بشه به زبان پایتونی id آن object ثابت می‌مونه.

https://twitter.com/ylecun/status/1545210275237953537

اتحادیه اروپا داره قانونی تصویب می‌کنه/ یا کرده:
۱. سیستم‌های همیار راننده که همگی مبتنی بر دیپ لرنینگ هستند اجباری می‌شود. مانند سیستم ترمز اتوماتیک AEBS
(۲. این سیستم‌های باید قابل توضیح باشند.)

لیکان نقد می‌کنه میگه:
از نظر من لزومی نداره وقتی تنها سیستم‌های وجود بازار Expainable نیستن بیاد شرط explainbality بذاره!
میگه وقتی بازار دست MobilEye اینتله که سیستمش Expainable نیست چرا باید چنین شرطی باشه بر اساس تست پذیری گواهی بدید!

بحثای زیر این توئيت رو بخونید خیلی جالبه

کتاب سوالات مصاحبه‌ی دیپ لرنینگ
صدها سوال به همراه پاسخ‌نامه

به درد یه زمانی می‌خوره که آدم می‌خواد بره مصاحبه یه دو هفته قبلش دوپینگ کنه

طرح جلد کتاب مصاحبه‌های یادگیری عمیق

ببنید چقدر ترنسفورمرها مهم هستند که standford اومده یا کورس مستقل براش گذاشته
هر بخش‌ش رو یه نفر ارائه از نیروهای فنی بهترین شرکت‌های هوش‌ مصنوعی
از کسانی که خودشون جز افراد اصلی بودند که به پیشبرد معماری ترنسفورمرها کمک کردند.

https://web.stanford.edu/class/cs25/index.html

Introduction to Transformers
Transformers in Language: GPT-3, Codex
Applications in Vision
Transformers in RL & Universal
Scaling transformers
Perceiver: Arbitrary IO with transformers
Self Attention & Non-Parametric Transformers
GLOM: Representing part-whole hierarchies in a neural network
Interpretability with transformers
Transformers for Applications in Audio, Speech and Music: From Language

https://twitter.com/rasbt/status/1572616437977546754
کلا همیشه در مورد اینکه روش‌های tree boosting روی داده جدولی بهتر جواب میده بحث بوده این مقاله اومده روی 40 تا دیتاست از 400 تا داده تا 40k داده رو بررسی کرده.
حالا اینش مهم نیست یه چیز جالبی داره از اون کلی چیز میشه یاد گرفت ۱۳ تا روش regularization روی اومده بررسی کرده که من حتی اسم چندتاش رو نشنیده بودم.
Implicit:
(1) BatchNorm (https://arxiv.org/abs/1502.03167)
(2) stochastic weight averaging (https://arxiv.org/abs/1803.05407)
(3) Look-ahead optimizer (https://arxiv.org/abs/1907.08610)
(4) Weight decay (https://bbabenko.github.io/weight-decay/)

Ensembling techniques:
(5) Dropout (https://arxiv.org/abs/1207.0580)
(6) Snapshot ensembles (https://arxiv.org/abs/1704.00109)

Structural regularization and linearization:
(7) Skip connections (https://arxiv.org/abs/1512.03385)
(8) Shake-Drop (https://arxiv.org/abs/1802.02375)
(9) Shake-Shake (https://arxiv.org/abs/1705.07485)

Augmentation:
(10) Mix-Up (https://arxiv.org/abs/1710.09412)
(11) Cut-Mix (https://arxiv.org/abs/1905.04899)
(12) Cut-Out (https://arxiv.org/abs/1708.04552)
(13) FGSM adversarial learning (https://arxiv.org/abs/1412.6572)

بهتر از همه چی کدشه که تو گیت‌هاب گذاشته 🔥
https://github.com/releaunifreiburg/WellTunedSimpleNets

به نظرم چیزی که تو کدش باید جالب باشه اینه که چطوری این ۱۳ تا روش regularization رو توی parameter searchش میاره

I'm David - currently a senior at Stanford studying CS / ML. I'm spending my free time building projects with LLMs and writing about them. Would love to chat and trade ideas. Currently prototyping some tools to make monitoring / productionizing LLM/ML models easier

Yes for sure, here's the link for the group: https://news.1rj.ru/str/+NkSoONxchxUwNjYx

این گروه برای این فارغ التحصیل standford که روی LLM های کار می کنه لینکش رو گذاشته بود توئیتر
تقریبا یک گروه تلگرامی دیپ لرنینگ بین المللیه میشه احتمالا.
البته هنوز فعالیت خاصی نکرده

خالق backpropagation میگه دیگه انتشار عقبرو به درد نمی‌خوره.
این رو خیلی قبل پیش تو یه مصاحبه گفته. همونجا میگه اون موقعی که اختراع‌ش کردم خیلی باهاش حال نکردم می دونستم بهترین ایده برای پیدا کردن local minima نیست.
ولی امسال #NeurIPS22 اومده یه طرح جایگزین بجاش داده و ارائه کرده.
از اهمیت این ایده بخوام بگم به این پست اشاره می‌کنم اونجا لیکان اومده بود گفته بود خفن‌ترین ایده هوش مصنوعی تا الان چی بوده کلی ادم خفن نظر داده بودند یه تعداد زیادی گفتند Gradient Descent. ایده گرادیان کاهش برای حل مساله خیلی وقت قبل از backpropagation مطرح بوده ولی چون روش محاسباتی کارآمدی براش نبوده شبکه عصبی عرض اندام نمی‌کرده. بخاطر همین backpropagation ستون فقرات یادگیری عمیقه. اینکه میگن ستون فقرات یعنی اگه نبود ما هیچ شبکه عصبی‌ای چه عمیق و چه غیر عمیق رو نمی‌تونستیم آموزش بدیم.

بطور خلاصه ایده‌ش اینه که یک مسیر رفت و یک مسیر برگشت propagation رو با دو مسیر رفت(رو به جلو) عوض کنه. پایه‌‌ی ایده‌ش هم اینه که میگه اون موقع فکر می‌کردیم مغز داره با backpropagation یاد می‌گیره و الان فک می‌کنم اینطوری نیست.
این فقط یه تئوری نبوده بلکه رفته مقاله Feed-Forward رو روی MNIST پیاده‌سازی کرده و نتیجه قابل توجه در سطح backpropagation گرفته.
واسه اینکه بیشتر بخونید ازش اینم بد نیست.

https://twitter.com/LongFormMath/status/1608552174312882177?s=20&t=32v_26cJcTvcx6Gv_HsaMQ
هر موقع روحیه‌تون واسه کار علمی رو از دست دادید این توئیت رو بخونید:))