🔵پیدا کردن اطلاعات تکراری و حذف آنان امکان ساخت مدل‌هایی را که متن را حفظ می‌کنند را تا 10 برابر کمتر می‌کند! و استپ‌های آموزشی کمتری برای دستیابی به همان دقت یا بهتر دارد.
محققین Google در این مقاله روی دیتاست بزرگ C4 آزمایشاتی انجام داده‌اند. C4 تقریبا 3% سند کپی در خود دارد. مثلا پاراگراف تصویر یک 64 هزار بار در ترین و 61 بار در ولیدیشن این دیتاست اومده!
در کل 280 نمونه رو پیدا کردند که حداقل 50 توکن یا یا یشتر با حداقل 5000 نمونه دیگر دارند.
و 7.8% از مثالها در C4 دارای یک تطبیق زیر رشته‌ای با 50 توکن یا بیشتر با یک نمونه دیگر در C4 است.
(تصویر دوم)

این مقاله می گوید: اگر یک نمونه را بارها مشاهده کنید، احتمالاً بیش برازش روش خواهد شد.(یعنی valid loss از train loss بیشتر شود.)


حذف تکرار در مجموعه داده، دقت مدل آموزش را کم نمیکند
مدل‌های آموزش داده شده روی داده های اصلی C4 و مدل‌های آموزش داده شده روی داده‌های حذف زائد ، پرپلکسیتی مشابهی در مجموعه ولیدیشن داشتند.

(تصویر سوم )
‌
متون تکراری فقط مختص به دیتاست بزرگ C4 نیست در همه دیتاست ها از جمله دیتاهای خبرهای و توییت و... میتونه باشه‌.

کد گیت برای حذف تکرار

https://github.com/google-research/deduplicate-text-datasets.
مقاله مذکور
https://arxiv.org/pdf/2107.06499.pdf]

#مقاله_ترند
#Deduplicating
#LM
#NLG #NLP

@silicon_brain

🟣 شرکت DeepMind پایگاه داده AlphaFold که تمام ساختارهای پروتئینی انسان را در خود دارد منتشر میکند

سال گذشته، برگزارکنندگان دوسالانه پیش بینی ساختار پروتئین (CASP) ، AlphaFold را به عنوان راه حلی برای چالش بزرگ شناسایی ساختار #پروتئین ها، تشخیص دادند. این مشکل نزدیک به 50 سال است که از مسائل حل نشده بیولوژیست.

در واقع AlphaFold یک پیشرفت بزرگ است که نقشی اساسی برای کمک به دانشمندان جهت حل مشکلات مهمی در ساختار پروتئین مرتبط با بیماری هایی مانند آلزایمر، پارکینسون و بیماری هانتینگتون بازی خواهد کرد.

تا اینجا AlphaFold با استفاده از هوش مصنوعی با موفقیت ساختار 20،000 پروتئین را پیش بینی کرده است.

شرکت #deepmind درحال انتشار پایگاه داده خود از پروتئین های بدن انسان و همچنین پروتئین های 20 موجود زنده دیگری است که دانشمندان در تحقیقات خود به آنها اعتماد می کنند. این پایگاه داده به طور رایگان در اختیار محققان قرار میگیرد.
لینک
@silicon_brain

🟣 با توجه به رشد روز افزون هوش مصنوعی و فیلد های مرتبط، افراد زیادی علاقه مند به زمینه های دانشمند داده و مهندس داده شدن...
با توجه به وجود تفاوت های ظریف بین این دو زمینه، بسیاری از افراد در تشخیص جزئیات هر کدام سر درگم میشن. در اینستاگرام سیلیکون برین سعی کردیم تفاوت های #دانشمند_داده و #مهندس_داده رو بیان کنیم.

https://www.instagram.com/p/CR1UtgGAJc9/?utm_medium=copy_link

مقایسه چندین کلاسیفایر scikit-learn در در مجموعه داده های مصنوعی. هدف این مثال نشان دادن مرز تصمیم گیری در کلاسیفایرهای مختلف است.

نقاط آموزشی دایره‌ای پررنگ(solid) و نقاط آزمون شفاف هست

@silicon_brain

🟣تقلب نامه کتابخانه کراس - Keras
قابل توجه دوستانی که با این کتابخانه آشنا نیستند، Keras یک کتابخانه اوپن سورس است که رابط پایتون را برای شبکه های عصبی مصنوعی و مدل های هوش مصنوعیرا فراهم می کند. همچنین Keras بعنوان رابط کتابخانه TensorFlow نیز عمل می کند.
#keras #cheatsheet #tensorflow
@silicon_brain

🟣 عملکرد قوی تر پهپاد مجهز به هوش مصنوعی نسبت به خلبان ها

محققان دانشگاه زوریخ پهبادی که از هوش مصنوعی استفاده می کند را در رقابتی با دو خلبان انسانی کلاس جهانی که پهپادی مشابه را هدایت می کردند، مورد آزمایش قرار دادند. پهپاد مجهز به هوش مصنوعی هر دو خلبان انسانی را از نظر سریع‌ترین دور زده شده شکست داد.

در این ویدیو بصورت زیبایی رقابت خلبان ها با هوش مصنوعی به تصویر کشیده شده است.
#uav #rl
@silicon_brain

🟣 مشکلات معنایی زبان شناسی در پردازش متن
دو مفهوم #Homonym و #Polysemy در زبان میتواند در پردازش زبان های طبیعی چالش بر انگیز باشد، در این پست سعی میکنیم با این دو نوع مفهوم آشنا شیم.
Polysemy :
پلی سمی (تکثر معنی) عبارت است از معانی متفاوت اما مرتبط با یکدیگری که یک واژه دارد. برای مثال واژه ی Bank را در نظر بگیرید و به مثال های زیر توجه کنید:
1. a financial institution
2. the building where a financial institution offers services
3. a synonym for 'rely upon' (e.g. "I'm your friend, you can bank on me"). It

Homonym :
ھم بیان یا Homonym گروھی از واژگان و لغات هستند که از لحاظ تلفظ و نگارش املایی مشابه بوده اما بر معانی غیرمرتبط و متفاوتی اشاره دارند.
به عنوان مثال تلفظ دو واژه site و sight یکسان بوده ولی معنای دو کلمه متفاوت می باشد. site به معنای موقعیت و مکان بوده در حالی که sight به معنای دید و بینش می باشد.
به عنوان مثالی دیگر، lead به معنای سرب می باشد و در معنای دیگرش lead رهبری و هدایت معنی می گردد.
هم بیان ها یا Homonym ها به دو صورت می باشند: در صورتی که تلفظ دو واژه یکسان بوده ولی نوشتار آن دو متفاوت باشد #Homophones نامیده می شوند (مانند مثال اول). همچنین در صورتی که علاوه بر تلفظ، نوشتار دو واژه نیز یکسان باشند تحت عنوان #Homographs شناخته می گردد (مانند مثال دوم).

❓آیا برای زبان فارسی برای هر تیپ از این واژه ها میتوان مثالی ارائه داد؟
@silicon_brain

🟣 نرخ یادگیری (Learning rate) که اغلب با نماد α نمایش داده می‌شود بیانگر سرعت (گام) بروزرسانی وزن‌ها در مدل یادگیری است که نرخ یادگیری را در حین فرآیند آموزش تنظیم می‌کند.
در شکل بالا 3 سناریو برای اندازه نرخ یادگیری در نظر گرفته شده است ( کوچک، مناسب و بزرگ)
#learning_rate #lr
@silicon_brain

🟣کدنویسی بصورت اتوماتیک و real-time توسط بینایی ماشین

این مدل هوش مصنوعی توسط گروه teleporthq توسعه یافته است و قادر است با استفاده از بینایی ماشین کدهای مربوط به اشکالی که توسط دست طراحی می‌شوند را بصورت real-time تولید کند.
لینک
@silicon_brain

🟣نکته ای در مورد معماری ترنسفورمر

مدل‌های مبتنی بر #Transformer قادر هستند که متن های ورودی را بصورت موازی پردازش کنند، و مثل مدل‌های #RNN مجبور نیستند که حتماً متن را به صورت متوالی پردازش کنند.
🔹هر بار که مدل به کلمه‌ای در جمله نگاه می‌کند، آن را پردازش می‌کند. اما این حالت هم میتواند مشکلات خاص خود را داشته باشد به این صورت که اگر کل متن را به صورت موازی پردازش کنید، چگونه ترتیب قرارگیری جملات در متن اصلی را تشخیص می‌دهید؟
❓ترتیب قرارگیری کلمات در جمله مسئله مهمی است. اگر ترتیب قرارگیری کلمات را ندانیم، مدلی از کلمات خواهیم داشت که نمی‌تواند معنا و بافت را از جمله استخراج کند. (پاسخ به زودی... فکر کنید)
@silicon_brain

🟣ثبت موقعیت ورودی قبل از ورود به مدل در ترنسفورمر

راه حل سوال مطرح شده استفاده از ثبت موقعیت ورودی (Positional Encoding) است. برای رفع مشکل مربوط به ترتیب قرارگیری کلمات، معماری Transformer موقعیت کلمات را مستقیماً کدگذاری می‌کند.

🔹موقعیت‌های کدگذاری شده در لایه‌های توجه مدل نقش نشانه را ایفا می‌کنند و آن‌ها را قادر می‌سازند جای کلمه یا توالی متنی که به آن نگاه می‌کنند را تشخیص دهد. این ترفند کوچک به این معناست که مدل‌ها می‌توانند توالی‌های متنی با حجم‌ و طول متفاوت را به صورت موازی پردازش کنند و در عین حال ترتیب قرارگیری آن‌ها را در جمله تشخیص دهند.
@silicon_brain

🟣کتابی برای دوستانی که بدنبال منبع فارسی برای #یادگیری_عمیق هستند

کتاب یادگیری عمیق: اصول، مفاهیم و رویکردها
تالیف و گردآوری: میلاد وزان

فهرست فصل‌ها:
✅ مقدمه ای بر یادگیری ماشین و یادگیری عمیق
✅ یادگیری بانظارت عمیق (شبکه های عصبی پیشخور، بازگشتی و همگشتی)
✅ یادگیری بازنمایی بدون نظارت عمیق (خودرمزنگارها و مدلهای مولد)
✅ یادگیری تقویتی عمیق
✅ یادگیری انتقالی عمیق
✅ یادگیری عمیق هندسی (یادگیری بازنمایی گراف)
#کتاب
@silicon_brain

رمزهارو خودکار بدون داشتن کلید، رمزگشایی کن!
هوش مصنوعی و پردازش زبان طبیعی اینبار در زمینه هک و امنیت وارد شده است. می‌خواهید بدانید X چطور رمز شده است؟ Ciphey اکثر مسائل را در چند ثانیه برایتان حل میکند.

@silicon_brain

در این ساختار دلیل بوجود آمدن هر بخش بالایی، وجود داشتن بخش پایینی است. حتی این هرم را زیر RNN و LSTM هم میتوان ادامه داد.
#bert #transformers #attention #rnn #lstm
@silicon_brain

استفاده گوگل از یادگیری ماشین جهت کاهش مصرف انرژی در Google Cloud

گوگل با استفاده از سیستم های مبتنی بر یادگیری ماشین 40 درصد در مصرف انرژی که برای ذخیره و نگه داری داده های دیتاسنتر استفاده میشود، صرفه جویی میکند.
همچنین استفاده از این سیستم باعث بالا رفتن 15 درصدی عملکرد کلی سیستم فضای ابری میشود.

#google #cloud
@silicon_brain

تفاوت دقت مدل های از پیش آموزش داده شده با مدل های ساده

استفاده از مدل های از پیش آموزش داده شده (#pretrained_model) علاوه بر اینکه باعث افزایش دقت در عملکرد میشود:
🔹به دیتای خیلی کمتری احتیاج دارد
🔹در زمان خیلی کمتری آموزش میبینند
🔹توان محاسباتی خیلی کمتری لازم دارد
این موضوع در واقع به یادگیری انتقالی (#transfer_learning) اشاره دارد.

در حوزه تصویر، #Image_net از مهمترین مدل های از پیش آموزش داده شده است. این مدل با 1.2 میلیون تصویر و 1000 برچسب آموزش دیده شده است.
در حوزه ی متن هم به مدل های زبانی مختلف مانند ELMo، GPT و BERT میتوان اشاره کرد که در کانال بسیار در مورد این مدل های زبانی صحبت شده است.
#BERT #ELMo #GPT
@siliocn_brain