Llama2 From Scratch with Pytorch Lightning

https://afterhoursresearch.hashnode.dev/llama2-from-scratch-with-pytorch-lightning

اگر می‌خواهید مفاهیم پایه‌ی Transformerها مثل Positional Encoing و Self-Attention و Encoder-Decoder و ... را درک کنید، تماشای این ویدئو را از دست ندهید.

https://www.youtube.com/watch?v=zxQyTK8quyY

#فرصت_شغلی:
Job Denoscription: Data Scientist

The Edgecom Energy team is currently seeking an experienced and specialized individual with 2 to 5 years of experience for its software development department. We expect someone who, in addition to fostering team collaboration and possessing software skills to communicate effectively with software developers, can also fulfill the following responsibilities and skills.

Responsibilities:
1. Data Extraction, Analysis, and Optimization:
   - Extract and analyze data to optimize and develop products.
2. Model Development:
   - Develop models and algorithms.
3. Collaboration and Implementation:
   - Interact with team members to implement models and monitor results.
4. Process and Tool Development:
   - Develop processes and tools for monitoring and analyzing the performance and accuracy of models.
5. Data Visualization:
   - Present information using data visualization techniques.
6. Collaboration with Engineering and Product Development Teams:
   - Work collaboratively with engineering and product development teams.

Skills:
1. Strong Problem-Solving Skills
2. Deep Knowledge of Machine Learning Techniques
3. Mastery of Advanced Statistical Techniques
4. Knowledge in REST or JSON API
5. Time Series Mastery
6. Proficiency in SQL and Python
7. Database Query Writing Skills
8. Git Proficiency
9. Strong Written and Verbal Communication Skills
10. Pipeline Proficiency

Edgecom Energy is a team of elite individuals in various IT domains currently developing energy monitoring systems for different countries.
If you find this position intriguing and believe that your skills align with our requirements, kindly forward your resume to k.tehranchi.pedram@gmail.com to express your interest. We look forward to receiving your application and considering you for this exciting opportunity.

Please note: Salary information will be discussed during the interview process.

Large language models, explained with a minimum of math and jargon

https://bit.ly/3DMeixz

ویدئوهای ضبط‌شده از کلاس دیپ‌لرنینگ دکتر علی قدسی استاد دانشگاه واترلو

https://youtube.com/playlist?list=PLehuLRPyt1HxuYpdlW4KevYJVOSDG3DEz&si=4eeCBn8S25oaDJbF

تاک یک ساعته Andrej Karpathy در باب آشنایی با LLMها

https://www.youtube.com/watch?v=zjkBMFhNj_g

دوره‌ی آموزشی LLM - دانشگاه شریف

https://sharif-llm.ir/calendar/

ورکشاپ آموزش کار با ابزار Mage.ai

https://www.youtube.com/live/nUfAqM2Sguc?si=FZbm2nN02oAEtTZx

ابزار Mage یک ابزار مدرن برای جایگزینی Airflow و پیاده‌سازی پایپلاین داده است.

Reinforcement learning explained :)

گوگل هوش مصنوعی جدید خود را معرفی کرد.
مدل Gemini یک مدل زبانی multi-modal است که می تواند متن، تصویر، کد و سایر رسانه ها را به کمک یک codebase واحد، درک و تولید کند. این مدل که برای رقابت با GPT-4 ساخته شده، در سال جدید به بازار عرضه خواهد شد.

این مدل با Jax نوشته شده و روی TPU های گوگل آموزش دیده
معماری آن مشابه با معماری Flamigo دیپ‌مایند ولی با انکودرهای مجزا برای مودالیتی‌ّای مختلف است.
قابلیت درک قوی از صوت و تصویر
عملکرد بهتر از GPT-4 در تولید کد برنامه‌نویسی.
عملکرد نسخه‌ی Ultra طبق ریپورت گوگل، از GPT-4 بهتر و عملکرد نسخه‌ی Pro مشابه با GPT-3 است.
این مدل نسخه‌ی قابل اجرا روی edge device هم به نام Nano دارد
طول متن = ۳۲ هزار


https://blog.google/technology/ai/google-gemini-ai/?utm_source=linkedin&utm_medium=social&utm_campaign=GDMGemini#introducing-gemini

اگر ویدیو را در یوتیوب ندیدید

کتاب جدید دیپ‌لرنینگ نوشته‌ی Chris Bishop

https://issuu.com/cmb321/docs/deep_learning_ebook

شب چله (یلدا) همگی همراه با شادی و سلامتی ❤️

Multimodality and Large Multimodal Models (LMMs)

https://huyenchip.com/2023/10/10/multimodal.html

پژوهش‌گران DeepMind از هوش مصنوعی AlphaGeometry رونمایی کردند که با سطح هوشی در اندازه دارنده‌گان مدال طلای المپیاد ریاضی، مسائل هندسه را حل می‌کند.


بلاگ‌پست معرفی:
https://deepmind.google/discover/blog/alphageometry-an-olympiad-level-ai-system-for-geometry/

مقاله چاپ شده در Nature:
https://www.nature.com/articles/s41586-023-06747-5

حدود ۲ ماه پیش، تیم LLM آزمایشگاه پردازش متن و زبان طبیعی دانشگاه تهران مدل 7 میلیاردی Llama2 رو بر روی مجموعه داده‌گان فارسی (ترجمه برخی دیتاست های پرسش و پاسخ + حجم مناسبی از دیتای خام فارسی) آموزش داده که درک نسبتا مناسبی در زمینه‌ی پرسش و پاسخ فارسی داره.

این مدل روی HuggingFace به آدرس زیر قرار داده شده:
https://huggingface.co/mostafaamiri/persian_llama_7b

همچنین یک نوت‌بوک راهنما برای کار با این مدل در آدرس زیر وجود داره که می‌تونید باهاش شروع کنید:
https://colab.research.google.com/drive/14Mfhv2vf3ElTnS5JQGpv-D0jn_qJh88R?usp=sharing#scrollTo=ahZ3Jg66nnJq

محققان علوم اعصاب دانشگاه Montreal به‌کمک هوش مصنوعی، توانایی راه رفتن را به یک موش آزمایشگاهی که دچار ضایعه‌ی نخاعی شده بود برگرداندند.

مقاله چاپ شده در Cell
https://www.cell.com/cell-reports-medicine/fulltext/S2666-3791(23)00118-0

بلاگ‌پست معرفی:
https://www.quebecscience.qc.ca/sciences/les-decouvertes-de-2023/remarcher-intelligence-artificielle/?utm_source=linkedin&utm_medium=social&utm_content=ap_dpcbl8jhrv

اخیرا نسخه‌ی ۸/۱ از الگوریتم YOLO توسط تیم Ultralytics منتشر شده. یکی از نوآوری‌های این مدل، تسک OBB یا OrientedBoundingBox است که به کمک پیش‌بینی یک جعبه‌ی دیگر داخل جعبه‌ی اصلی، جعبه‌‌مرزی زاویه‌دار دور اشیا رسم می‌کند و فضای پِرت داخل جعبه را کاهش می‌دهد.

برای آشنایی و استفاده از این قابلیت به کمک پکیج Ultalytics ویدئوهای زیر را مشاهده کنید:

https://www.youtube.com/watch?v=Z7Z9pHF8wJc
https://www.youtube.com/watch?v=9i2LmwFDQLw

مستندات:
https://docs.ultralytics.com/tasks/obb/


پیشنهاد: برای استفاده راحت‌تر و سفارشی‌تر از YOLO8.1 از پکیج Roboflow Supervision همزمان با Ultralytics کمک بگیرید.

Supervision-0.18.0
https://github.com/roboflow/supervision


Highlights of new Supervision:

👀Three new annotators: PercentageBar, RoundedBox, and OrientedBox.

🔼Enhanced LineZone feature for improved precision in tracking and analytics.

☄️Integration of Ultralytics YOLOv8 OBB for advanced oriented bounding box models.

#Supervision

مدل بنیادی FoundationPose که اخیرا توسط Nvidia معرفی شده:

https://nvlabs.github.io/FoundationPose/

مفاله:
https://arxiv.org/pdf/2312.08344.pdf

کد:
https://github.com/NVlabs/FoundationPose

نسخه ۱ از TF-GNN (شبکه‌های عصبی گرافی در تنسورفلو) منتشر شد.

https://blog.tensorflow.org/2024/02/graph-neural-networks-in-tensorflow.html