بسم الله الرحمن الرحیم
در اینجا آنچه را که در باب هر چیزی که در موضوع علوم کامپیوتر و برنامه نویسی و پایتون و علم داده و هوش مصنوعی، جالب، دیدنی و شنیدنی یافتیم با شما به اشتراک می‌گذاریم.

ㅤ
Transformers:


اگر می خواهید معماری Transformerها در شبکه‌های عصبی عمیق رو یاد بگیرید دو تا مسیر دارید:
الف){مسیر طولانی} شروع کنید از RNN ها برید سراغ GRU بعد برید سراغ LSTM بعد با مشکلات و محدودیت‌های LSTM آشنا می‌شید. نویسنده‌های مقاله‌ی GRU می‌آید اولین پایه‌ی ایده‌ی Attention رو مطرح می‌کند. یکی دو سالی انواع مختلف مکانیزم‌های Attention مطرح می‌شده با انواع توابع similarity مختلف بعد یک دفعه سال ۲۰۱۷ مقاله‌ی Attention is all you need از گوگل مطرح‌ میشه و یک نوع خاصی از مکانیزم توجه رو مطرح می‌کنه به اسم Multi-head self attention. یادگیری Transformer از این مسیر واقعه مناسب کار پژوهشیه. کسی می‌خواهد صرفا با این معماری آشنا باشه این مسیر اصلا efficient نیست اگر چه دانش‌ش واقعا عمیق میشه.
تازه وقتی بخو‌اهید خیلی عمیق بشوید می‌بینید که این ایده از یه جائی دیگه هم مطرح شده اون هم بحث Neural Turing Machine و تاپیک عمومی‌تر Memory-augumented Machines که واقعا ایده‌های جذابیه. شاید بعدا در موردشون نوشتم.
یک بلاگ معروفی که این مسیر رو رفته یعنی از RNN شروع کرده رسیده به Transformer. نویسنده این بلاگ یک بلاگر خیلی خفن از OpenAI هست که در زمینه‌های دیگه مثل Self-supervised Learning هم به بهترین شکل آموزش داده.

ب){مسیر کوتاه} مستقیم از خود Transformer شروع کنید به یاد گرفتن و هر مفهومی رو هر جايی با آن مواجه می شود یاد بگیرید. مثلا وقتی از Transformer شروع کنید همانجا با مفهوم word-embeding آشنا می‌شود جلوتر با self-attention در ادامه با cross-attention و ... .
برای این منظور من چهار ویدئو زیر رو توصیه می‌کنم که سه ویدئو اول به بهترین شکل معماری Transformer رو ویژوالایز کردند و چهارمی لکچر دانشگاه نیویورک از آلفردو کازیانی است که از یک نگاه متفاوت با بیان ساده از روابط جبری شروع به توضیح Attention و Transformer می‌کنه.
قسمت اول: positional encoding
توضیحی که در مورد positional encoding آورده هیچ جا نمی‌بینید. خیلی قشنگ فلسفه‌ی طراحی رابطه‌ی positional encoding رو توجیه می‌کنه.
قسمت دوم: self/mult-head attention
قسمت سوم: دیکور ترنسفورمر و masked attention
جلسه ۱۰ تدریس آلفردو کازیانی- دانشگاه نیویورک

#transformer
#attention

https://news.1rj.ru/str/tweetdev

ㅤ
هر آموزشی از Deep Learning دیدید بیاید در کنارش لکچر همون مبحث رو از آلفردو کازیانی ببنید. ایشون ایتالیائي و استاد دانشگاه نیویورک که یک کورس مشترکی با یان لیکان ارائه می‌کنه. نگاه خاصی به معماری‌های دیپ لرنینگ داره که احتمالا از مدل‌های Energy-Based Model یان لیکان گرفته. اگر با موضوع Transformerها کاملا آشنا هستید باز هم دقیقه 48 به بعد این ویدئو رو ببنید که میگه اصلا Transformerها معماری Decode-Encoder نیستند بلکه معماری Decoder-Predictor-Encoder هستند برای فهم این موضوع باید ۱۰ دقیقه از این ویدئو رو دید.

امروز یه مقاله‌ای در نیچر چاپ شده در مورد اینکه یک کامپیوتر کوانتومی پردازشی رو که کامپیوترهای معمولی در 9000 هزار سال انجام دادم در 36 میکروثانیه انجام می‌ده!(به نقل از)

یه بحثی مطرح شد در مورد اینکه امنیت سیستم‌های رمزنگاری چی میشه؟ اگر کلیدهای رمزنگاری در کسری از ثانیه شکسته بشه چی میشه؟!
بیشترین خطر برای دارائي های مبتنی بر رمزنگاریه! بله یعنی رمز ارزها!

یه مقاله‌ای در مورد تاثیر الگوریتم‌های کوانتومی در امنیت شبکه‌ی بیت کوین دیدم یه سری نکات جالب داشت براتون می نویسم.
https://news.1rj.ru/str/tweetdev/18

1) مساله اصلی که امنیت رمز ارزها رو به خطر می اندازه چیه؟ الگوریتم امضا signing algorithm بلاکچین تراکنش‌هاست.
بلاکچین تراکنش‌های یعنی اون بلاکی که تعدادی زیادی تراکنش درش وجود دارد و با یک هش به خصوص از طریق proof of work امضا می‌شود.
این امضا با امضای انجام تراکنش فرق داره.
این امضای بلاک امضای miner است.
بحث ما اینجا در مورد امضای miner نیست در مورد امضای انجام دهنده‌ی تراکنشه.

2) مشکل دیگه کجاست؟ مشکل اصلی تهدید الگوریتم‌های حمله‌ی کوانتومی به رمزنگاری های عادی(رمزنگاریهای غیر از رمزنگاری post-quantum) بیش از پیش متوجه الگوریتم‌های نامتقارنه، یعنی همون الگوریتم‌های کلید خصوصی و کلید عمومی دارند.
الگوریتم امضای بیت کوین از همین رمزنگاریهای نامتقارنه.

3) همین الانش هم آدرس‌های بیت کوینی که قبل از 2010 ساخته شده اند و باهاش تراکنش کردند کلید خصوصی‌شون با الگوریتم‌های موجود و البته کامپیوترهای کوانتومی بزرگ در ریسکه!
این آدرس‌ها چقدر هستند؟ 4 میلیون آدرس بیت کوین.
چرا؟ چون با الگوریتم مناسب هش نشده بودند!الگوریتم‌های بعد از 2010 امن‌تر بودند.

4) یک تهدید در مورد استخراج کلید خصوصی امضاء وجود داره، یک تهدید بدتر در مورد تراکنش‌ها! این دومی خیلی خطرناک تره به اینا میگن transit attack به قبلی‌ها که کلید خصوصی رو در می‌آورد میگن storage attack


5) یه تیم سال 2022 در دانشگاه ساسکس روی تهدید پردازش کوانتومی برای بیت کوین کار کرده نتایجش جالبه:
این تحقیق برای حملات transit هست یعنی شامل کل تراکنش ها میشه.
همین الان با الگوریتم های موجود برای انکه بتونیم به سیتم رمزک نگاری موجود بیت‌کوین حمله transit کنیم به 1.9 میلیارد qubit نیاز داریم!!! این حمله به تراکنش 10 دقیقه طول می کشه، 317 میلیون qubit یک ساعت و 13 میلیون qubit یه روز طول می‌کشه.
تا جایی که می دونم کامپیوتر با بیشترین qubit رو تا الان ibm ساخته با 127 qubit!!!
پس با توان پردازشی تهدیدی از طرف پردازش کوانتومی متوجه رمز ارزها به طور بخصوص بیت کوین نیست و البته با الگوریتم‌های فعلی کوانتومی!ㅤ
6) اما این به معنی امنیت بیت کوین نیست! چرا؟
چون با اینکه بیت کوین وقت داره یک برنامه مهاجرت به الگوریتم های post-quantum ای داشته باشه ولی چون همه چیز در این شبکه مبتنی بر اجماع هست و این تصمیم به سرعت اتفاق نمی افته وقتی کوانتوم تهدید جدی برای امنیت شبکه به حساب بیاد ممکنه دیگه برای اجماع دیر باشه.