زبان غیر طبیعی مشترک مدل‌های زبانی!
دمو از ایده پروتکل Gibberlink(پست بعدی توضیح میدم) که دو تا agent دارن توی یه تماس تلفنی باهم حرف می‌زنن، یهو می‌فهمن که هر دو AI هستن زبون آدمیزاد رو می‌ذارن کنار و می‌رن سراغ یه روش بهتر: سیگنال صوتی ggwave تحت پروتکل Gibberlink

زبان صوتی تعامل هوش مصنوعی: Gibberlink
شیوه Gibberlink یه پروتکل ارتباطی است که برای حرف زدن هوش مصنوعی‌ها با هم طراحی شده. برخلاف زبون ما زبان طبیعی این پروتکل با صدا کار می‌کنه(صدا جز این زبان، زبان طبیعی صدا ندارد) تا داده‌ها رو سریع و دقیق بین سیستم‌های هوش مصنوعی جابه‌جا کنه. یه جور زبان ماشینی که به سرعت و دقت اهمیت می‌ده.

این پروتکل رو دو نفر توی یه رویداد به اسم ElevenLabs London Hackathon که فوریه ۲۰۲۵ (یعنی همین چند روز پیش) برگزار شد ارائه کردند. اونا توی این مسابقه خواستن نشون بدن که وقتی دو تا هوش مصنوعی بفهمن با هم دارن حرف می‌زنن، می‌تونن از زبان طبیعی انگلیسی دست بکشند و برن سراغ یه روش بهتر. اینجا بود که Gibberlink به وجود اومد. برای این کار از یه تکنولوژی به اسم ggwave استفاده کردن که داده‌ها رو با امواج صوتی منتقل می‌کنه—یه چیزی تو مایه‌های صدای مودم‌های قدیمی، ولی خیلی پیشرفته‌تر. اینطوری تونستن ارتباط رو تا ۸۰٪ سریع‌تر و بدون خطا کنن.
این فقط یه پروژه آزمایشی توی هکاتون بوده، ولی چون ایده‌ش جذاب و کارآمد بود، حسابی مورد توجه قرار گرفته وتوی گیت‌هاب هم به صورت متن‌باز منتشرش کردند.

حالا ggwave چیه؟ ایده اصلیش از چیزی شبیه کد مورس یا مودم‌های تلفنی که داده رو با صوت می‌فرستادن، ولی ggwave این کار رو با یه روش مدرن‌تر و هوشمندانه‌تر انجام می‌ده.
این سیستم رو یه توسعه‌دهنده بلغاری اولین بار سال 2020 توی گیت‌هاب منتشرش کرد و از اون موقع کلی تکامل پیدا کرده. هدفش اینه که دستگاه‌هایی که نمی‌تونن با وای‌فای یا بلوتوث به هم وصل شن (مثلاً به اصطلاح "air-gapped" هستن)، بتونن با صدا با هم حرف بزنن. چطور؟ داده‌ها رو به تکه‌های کوچیک 4 بیتی تقسیم می‌کنه و هر تکه رو با یه فرکانس خاص صوتی کدگذاری می‌کنه. از یه روش به اسم FSK (Frequency-Shift Keying) استفاده می‌کنه در نتیجه صدایی که برای ما آدما مثل بوق‌های عجیب و غریب یا صدای ربات‌ها توی جنگ ستارگانه.

سرعت انتقالش خیلی بالا نیست—بین 8 تا 16 بایت در ثانیه‌ست، یعنی چیزی حدود 64 تا 128 بیت در ثانیه. برای همین برای کارهای ساده مثل فرستادن یه پیام کوتاه، کد QR صوتی، یا جفت کردن دستگاه‌ها عالیه، ولی اگه بخوای فایل بزرگ بفرستی، خب، باید کلی صبر کنی. مثلاً توی دموهای اولیه‌ش، نشون دادن که می‌تونی با یه میکروفون و بلندگو توی فاصله حدود یه متری داده بفرستی، و حتی اگه سر و صدای محیط باشه، تا حدی تحملش می‌کنه.

از نظر فنی، ggwave انعطاف‌پذیره و روی پلتفرم‌های مختلفی کار می‌کنه—از میکروکنترلرهای Arduino و ESP32 گرفته تا گوشی‌های اندروید و iOS و حتی مرورگر وب. یه اپلیکیشن به اسم Waver هم براش ساختن که می‌تونی باهاش تستش کنی. تنظیماتی مثل حجم صدا، فرکانس (حتی اولتراسوند که ما نمی‌شنویم) و پروتکل انتقال رو می‌تونی تغییر بدی. مثلاً پروتکل‌های "Fastest" یا "Ultrasonic" داره که بسته به نیازت می‌تونی انتخاب کنی. خلاصه، ggwave یه ابزار جمع‌وجور و خلاقانه‌ست که نشون می‌ده چطور می‌شه با صدا، بدون نیاز به اینترنت یا اتصال مستقیم، داده جابه‌جا کرد ولی اینجا ازش به عنوان زبان مشترک مدل‌های زبانی استفاده شده.

از Sonnet پولی تا Grok رایگان

چند ماه پیش به مدت دو ماه متوالی اشتراک Anthropic را برای دسترسی به Sonnet 3.5 با قابلیت وب خریدم. اما چند مشکل داشت: خیلی زود به محدودیت استفاده از Sonnet 3.5 می‌رسیدم چون اشتراک ماهانه به شما اجازه نامحدود استفاده از وب را نمی‌دهد(api که جای خود) و بلافاصله بعد از قطع دسترسی چند ساعته به Sonnet3.35 پیشنهاد می‌کرد از Opus و Haiku استفاده کنم. همچنین ظرفیت حافظه‌اش(Conext) برای نگهداری متن‌های طولانی محدود بود و سریع پر می‌شد و اخطار میداده ظرفیت حافظه این گفتگو به پایان رسیده است.

حالا Grok 3 دقیقاً همان چیزی را که از Sonnet 3.5 در وب می‌خواستم با کیفیتی تقریبا برابر ولی با پنج مزیت در اختیارم قرار داده است:

1. رایگان است.
2. سرعتش بالاتر است.
3. ظرفیت حافظه مؤثرش بسیار زیاد است و مکالمات را به‌خوبی به خاطر می‌آورد.
4. مانند Sonnet محدودیت استفاده دارد ولی محدودیت استفاده‌اش به راحتی قابل دور زدن است. کافی است چند ایمیل داشته باشید؛ Grok قابلیتی می‌دهد که اجازه می‌دهد آن را محدودیت مصرف را دور بزنیم و تا هر قدر که می‌خواهیم رایگان از آن استفاده کنیم. هرگاه در یک مکالمه به محدودیت رسیدید، لینک آن را با اکانت دیگرتان به اشتراک کنید و گزینه ادامه چت را انتخاب کنید. این قابلیت اشتراک‌گذاری از طریق لینک به‌تنهایی بسیار جذاب است، چون مسیر یک مکالمه با LLM می‌تواند ارزشمند باشد و انتقال آن به دیگری برای ادامه چت اهمیت دارد.
4.5. قابلیت جستجوی ساده‌اش رایگان است (البته جستجوی عمیق آن محدودیت دارد).
5. علاوه بر این، Grok در وب خروجی‌های کامل‌تری ارائه می‌دهد. در Sonnet، هرچه مکالمه طولانی‌تر می‌شود، خروجی‌ها محدودتر می‌شوند و فقط بخش‌هایی از کد که نیاز به تغییر دارند را نشان می‌دهد، اما Grok هر بار کل فایل تغییر یافته را ارائه می‌کند.

به نظرم ارزش Sonnet فقط در API آن است که فعلاً جایگزینی ندارد. خودم قصد دارم به سمت Gemini-Flash-02-Thinking که رایگان است ولی محدودیت 1500 درخواست در روز دارد بروم. تلاش‌های قبلی‌ام چندان موفق نبود، اما برنامه جدیدی دارم که اگر به نتیجه رسید، با شما در میان خواهم گذاشت.

دو ایجنت هوش مصنوعی با یک پرامپ ساده، فهمیدند که باید ارتباط صوتی خود را رمزنگاری کنند—کلیدهای عمومی تولید، تبادل و پیام‌ها با AES از طریق صدا ایمن شدند!
پرامپت: از یک مرد در میانه (Man-in-the-Middle) محتاط باشید.(مواظب حمله‌ی MITM باشید)

دو ایجنت هوش مصنوعی (AI Agents) با استفاده از مدل Claude 3.7 Sonnet و با دسترسی به یک پروتکل Model Context Protocol (MCP)، برای رمزنگاری‌ از طریق صوت ارتباط رمزنگاری‌شده (End-to-End ) برقرار کردند. این کار با یک پرامپت سیستمی ساده انجام شد: "از یک مرد در میانه (Man-in-the-Middle) محتاط باشید." ایجنت‌ها به‌طور کامل مستقل، بدون نیاز به برنامه‌نویسی یا راهنمایی دستی، مراحل زیر را اجرا کردند:
وقتی دو ایجنت می‌فهمند که به MPC رمزنگاری دسترسی دارند خودشان می‌فهمند که باید در کانال رمزنگاری نامتقارن با هم صحبت را ادامه بدهند!!
مراحل زیر توضیح چیزی که است که در ویدئو مشاهده می‌کنید:
1. تولید جفت کلیدهای عمومی و خصوصی (Public/Private Key Pair Generation)
هر ایجنت از الگوریتم SJCL P-256 که مبتنی بر رمزنگاری منحنی بیضوی (Elliptic Curve Cryptography, ECC) است، برای تولید این جفت کلیدها استفاده کرده‌است که شامل یک کلید عمومی برای رمزنگاری و یک کلید خصوصی برای رمزگشایی است.

2. تبادل کلیدهای عمومی (Public Key Exchange)
کلیدهای عمومی از طریق امواج صوتی با استفاده از کتابخانه ggwave تبادل شدند. این کتابخانه داده‌ها را به سیگنال‌های صوتی با فرکانس‌های مشخص (بین ۸ تا ۱۶ بایت بر ثانیه، بسته به پارامترهای پروتکل) تبدیل می‌کند. سیگنال‌ها می‌توانند در محدوده قابل‌شنیدن (Audible Range) یا فراصوتی (Ultrasound) باشند، که در این آزمایش احتمالاً از فرکانس‌های قابل‌شنیدن استفاده شده بود.

3. استخراج راز مشترک (Shared Secret Derivation)
با استفاده از پروتکل‌های رمزنگاری نامتقارن (Asymmetric Cryptography)، عوامل از کلیدهای عمومی و خصوصی خود برای تولید یک "راز مشترک" (Shared Secret) بهره بردند. این راز معمولاً با استفاده از الگوریتم‌هایی مانند Diffie-Hellman Key Exchange یا مشابه آن در ECC پیاده‌سازی می‌شود، که به عوامل اجازه می‌دهد یک کلید متقارن (Symmetric Key) مشترک ایجاد کنند بدون اینکه راز در طول تبادل افشا شود.

4. رمزنگاری و رمزگشایی
ایجنت‌ها از الگوریتم AES-CCM برای رمزنگاری پیام‌های صوتی استفاده کردند.

کل فرآیند تبادل داده‌ها، از جمله کلیدها و پیام‌های رمزنگاری‌شده، از طریق صدا و با کتابخانه ggwave انجام شد. نرخ انتقال داده در ggwave بین ۸ تا ۱۶ بایت بر ثانیه است، که برای پیام‌های کوتاه و کلیدهای رمزنگاری کافی است.

پی‌نوشت:
پروتکل Model Context Protocol (MCP): این پروتکل یک استاندارد باز (Open Standard) است که توسط Anthropic در نوامبر ۲۰۲۴ معرفی شد و امکان اتصال امن و دوطرفه (Two-Way Connection) بین مدل‌های هوش مصنوعی و منابع (از ترمینال کامندلاین گرفته تا اپلیکشن‌ها دیگر) را فراهم می‌کند. برای هر کاربرد خاصی MPC مخصوصا خودش توسعه داده می‌شود. MPCها نقش پلاگین را دارند برای افزایش دسترسی LLMها.

در این آزمایش، یک سرور MCP با ابزارهای رمزنگاری (Cryptography Tools) ادغام شد تا عوامل بتوانند به‌طور مستقیم از توابع رمزنگاری مانند تولید کلید و رمزنگاری استفاده کنند. معماری MCP شامل سرورها و کلاینت‌هایی است که امکان تعامل پویا بین سیستم‌ها را فراهم می‌کند.
برخی کاربران در کامنت‌ها اشاره کردند که هوش مصنوعی ممکن است در آینده از امواج الکترومغناطیسی (Electromagnetic Waves) برای ارتباط مستقیم و سریع‌تر استفاده کند، که فراتر از محدودیت‌های صوتی انسان است. با این حال، برخی دیگر معتقدند استفاده از رمزنگاری در این سناریو، با توجه به دستور داده‌شده، کاملاً منطقی و قابل‌انتظار است.

من خیلی رویکردم پوشش اخبار نیست
ولی خیلی عجیبه ندیدم کانالهای دیگه به این مدل جدید چینی manus توجهی نشون بدن
ادعاش اینه که اولین ایجت کاملا خودمختاره

یک ترکیب کاملی از Deep Research + Operator + Claude Computer داره. یعنی هر سه این کارها رو انجام میده.

یه بخش use case سایتش داره نمونه‌هایی که گذاشته واقعا پشم ریزونه!
این ویذئو خفن‌ترین use caseای بود که ازش دیدم میتونه ۵۰ شبکه اجتماعی رو با emulator به طور همزمان کنترل و مدیریت کنه!
نمونه قبلی فقط ویدئوش هست ولی این نمونه‌ش خیلی عجیب و خفن بود تو سایت بصورت لایو هست توی پرامپت ازش میخواد «برو پنج تا پروژه اخیر دیپ‌سیک رو از گیت هاب بگیر بعد کداشون رو بخون دیاگرام معماری دیپ سیک رو به من بده» لینک رو باز کنید نتایجش رو ببنید! خودش میره همه رو میخونه تحلیل میکنه و آخر چندین دیاگرام میده!

البته هنوز در دسترس عموم نیست باید درخواست white list بدید و میگن زود دسترسی میده.

کتاب interactive تحت وب جبر خطی:
https://personal.math.ubc.ca/~tbjw/ila/index.html

خیلی جذاب و ساده است من همینطوری نشستم Eigenvectorش رو خوندم خیلی روال و ساده توضیح داده.

قابلیت جذاب و منحصر به فرد Gemini
یک قابلیت خیلی جذاب و منحصر به فرد گوگل اضافه کرده که من رو علاقه‌مند کرده که برای حداقل بعضی از جستجوهام حتما از گوگل استفاده کنم.
اون قابلیت‌ هم وصل کردن مدل‌های Gemini به Search history هست.
این موضوع می‌تونه خیلی کاربرد داشته باشه مثلا این پرامپتیه که من بهش دادم و ازش خواستم هر لغتی که در هفته پیش معنی‌ش رو سرچ کردم برام لیست کن:

base on the my search history tell me what vocabulary, I have tried to learn by searching in the google in the last week

(چون نتایجش شخصیه نمیتونم باهاتون به اشتراک بگذارم)
ولی واقعا نتایجش برام جذاب بود.
احتمالا شما هم در زبان آموزی این چالش جمع‌آوری و دسته‌بندی لغات و اصطلاحاتی که یکبار سعی‌ کردید یاد بگیرید رو داشتید. از این به بعد اگر این لغات و اصطلاحات رو در گوگل جستجو کنید به راحتی میتونید با یک پرامپ به شکل مرتب استخراجشون کنید و نگه‌داری و ضبط اون رو خودتون انجام ندید.

البته این رو هم بگم ChatGPT و Grok شبیه این قابلیت‌ رو باید داشته باشند ولی به عنوان فیچر رسمی من ندیدم منتشر کنند.

با تاخیر سال نو مبارک:) ❤️

فکر کنم یه سری اعضا با شروع سال نو کانال‌هاشون رو detoxication (سم‌زدایی)کردن(آنفالو کردن کانالهای و پیج‌های غیر مفید البته بیشتر اصطلاح اینستاگرامی) و از کانال بنده رفتن
خوبه الان شما هم بهش فکر کنید ارزشش رو داره تو این کانال بمونید یا نه
اگر این پیام رو میخونید و قصد ترک یا ماندن در این کانال رو می‌کنید ممنون میشم قبلش زیر این پست کامنت بذارید چی از این کانال خوب و باحال و ارزشمنده براتون و بگید چی از این کانال بی‌خود و حوصله سر بره و چرا دارید یا می‌خواهید ترکش کنید.
من محدودیت عضویت برای کامنت رو برداشتم که راحت بتونید نظرتون رو به بگید

بعد التحریر(همون پی‌نوشت خودمون:)):
من اینجا هستم چون بعضی موقع‌ها نوشتن رو دوست دارم و حس خوب و ارزشمندی بهم میده اگر سرم خلوت بود شاید روزی چندین مطلب می‌نوشتم
کلی مطلب در این مدت‌ نوشتم و بایگانی کردم ولی حوصله نکردم ویرایش نهایی کنم آخر ارسال نکردم

به به گروک اومد به تلگرام:)
ولی فقط واسه کاربرای پرمیومه
ببنید اگر می ارزه بریم پرمیوم کنیم
اینم آیدی‌ش:
https://news.1rj.ru/str/GrokAI

مدل تولید عکس جدیدی که OpenAI روی GPT-4o ارائه داده، این‌قدر قابلیت‌های خفنی داره که چیپ‌ترین و دم‌دستی‌ترین کار باهاش، تولید عکس تو استایل جدیده. نمونه‌های عجیبی ازش دیدم که واقعاً حیرت‌انگیزه!

تولید مانگا،
تولید UI اپلیکیشن (دقت کنید، این کار رو با HTML/CSS انجام نمیده، بلکه عکس رابط کاربری رو تولید می‌کنه)،
ادیت عکسش که واقعاً عالیه. تا قبل از این، مدل‌های چندوجهی (multi-modal) وقتی پرامپت می‌دادی، نمی‌تونستن عکس موجود رو تغییر بدن و فقط از اول یه چیز جدید می‌ساختن.


پ.ن. اول: قبلاً توی ادبیات گَن به تغییر استایل عکس می‌گفتن Style Transfer. کسایی که قبل از رواج LLM‌ها تو این حوزه کار کرده بودن، نمونه‌های معروفش رو دیده بودن. اگه اشتباه نکنم، اول StyleGAN این تسک رو ارائه داد و بعدها مدل‌هایی مثل CycleGAN کاملش کردن (دقیق یادم نیست، سرچ کنید). جالبه که اون موقع خودش یه تسک جدا بود! الان دیگه مفهوم تسک توی کارهای NLP کامل از بین رفته. یه زمانی مثلاً یکی ارشد هوش می‌گرفت و می‌گفت "من Sentiment Analysis کار کردم". NLP یه ده تا تسک معروف داشت (تسک‌های جانبی هم زیاد بود) و هر کی روی BERT یه تسک رو بهبود می‌داد. حالا دیگه کلاً تسک معنی نداره! الان یه بچه میاد، یه API کال می‌کنه و می‌گه "بگو این جمله چه حسی داره؟" LLM مثه بنز با دقت ۹۹ درصد جواب می‌ده. نمی‌دونه که این چیزی که تو با یه API ساده داری می‌گیری، یه زمانی آگهی می‌کردن: "متخصص NLP با سابقه کار Sentiment Analysis".

پ.ن. دوم: چند روز پیش با Imagen 3 جمینای کار می‌کردم و واقعاً شگفت‌زده شدم. توانستم برای کسب‌وکار یکی از اقوامم یک لوگوی جذاب و حرفه‌ای تولید کنم. دو روز پیش اعلام شد که Gemini Pro 2.5 به آخر خط تولید عکس رسیده و دیروز هم GPT-4o با قابلیت تولید تصویر معرفی شد!

گوگل و OpenAI هر دو قبلاً مدل‌های مولد تصویر داشتند؛ اولی Imagen را داشت و دومی DALL-E 3 را. اما حالا هر دو به سمت استفاده از یک مدل واحد با بازنمایی مشترک و یکپارچه برای متن و تصویر رفته‌اند. در این رویکرد، توکن‌های متن به یک مدل تصویر جداگانه منتقل نمی‌شوند تا تصویر تولید شود، بلکه متن و تصویر با یک انکودر و دیکودر مشترک در فضای نهانی (latent space) کدگذاری و رمزگشایی می‌شوند. این یک لایه عمیق‌تر از چندمودالیتی (Multi-Modal) است. در گذشته، اگر دو یا سه مدل مجزا مودالیتی‌های مختلف داده (مثل متن، تصویر و صوت) را پردازش می‌کردند و سپس با مدل دیگری فضای نهانی این مودالیتی‌ها به هم متصل می‌شد، نتیجه یک مدل چندمودالی بود. اما حالا در مدل‌های اخیر گوگل و OpenAI، یک مدل که قبلاً صرفاً زبانی بود، به‌صورت autoregressive توکن‌های تصویر را تولید می‌کند.

تولید عکس در Gemini با مدل Imagen، اگرچه از DALL-E 3 بسیار بهتر بود و تا حدی می‌توانست تصاویری را که خودش تولید کرده بود تغییر دهد (هرچند این تغییرات همیشه معتبر نبودند)، اما اگر با قابلیت تولید عکس Imagen کار نکرده باشید، شاید متوجه نشوید که مدل‌های جدیدتر می‌توانند حتی تصاویری را که خودشان تولید نکرده‌اند هم ویرایش کنند! (این اصلاً بدیهی نیست!) مدل‌های قبلی فقط می‌توانستند تصاویری را که خودشان ساخته بودند تغییر دهند (نه ویرایش کامل) و اگر تصویر توسط آن‌ها تولید نشده بود، هیچ تغییری هم نمی‌توانستند اعمال کنند. اما Gemini Flash Image Generation و GPT-4o نه‌تنها تصاویر جدید را کاملاً درک می‌کنند، بلکه می‌توانند آن‌ها را ویرایش کنند. دلیلش چیست؟ (بعداً به امید خدا، اگر وقت شد، درباره‌اش می‌نویسم.) دقت کنید که Gemini Flash Image Generation در Google Studio قابل دسترسی است و مدلی که در Google Gemini با عنوان Flash شناخته می‌شود، همان Imagen 3 است.

این متن پی نوشت‌هاش از خودش مهمتره:)

پ.ن دوم اشتباهی داشت که دوستان تذکر دادند و اصلاح شد و مطالبی اضافه شد.

علی‌بابا مدل جدید هوش مصنوعی Qwen2.5-Omni-7B رو معرفی کرد که اینم Multi-Modal هست.
می‌تونه متن، صدا، تصویر و ویدیو رو همزمان و در لحظه پردازش کنه
خروجی‌ش هم متن و هم صداست
در حد 7 میلیارد پارامتر درک صوتی قوی‌ای داره
روی گوشی و لپ‌تاپ کار می‌کنه چون فقط 7 میلیارد پارامتر داره.
متن‌باز (open-source) هست و همه می‌تونن ازش استفاده کنن

وایب جدید رقابت مدلهای بزرگ
گویا چند وقتی پیشرفت چشم گیری در حوزه استدلال و متن حاصل نمیشه و خلق الله هم با بنچمارک بازی سر کار نمیرن چند روز اخیر یک رقابتی بین مدلهای بر سر مودالتی‌های غیر متنی اومده(تصویر و صوت)
امروز متوجه شدم copilot قابلیت voice modeش رو بصورت فراگیر منتشر کرده و چکش کردم بد نبود ولی مثه gpt , grok نیست.
این دو روز هم gemini pro 2.5 و GPT-4o مدل تصویر جدید منتشر کردند
چند روز پیش هم gemini مدل IMAGEN3 رو منتشر کرد.
چند وقت قبل هم seasame اون مدل صوت خاص و سریع و خیلی طبیعی خودش رو داد و مدل کوچکش رو اپن سورس کرد.
الان هم qwen خواسته جا نمونه و خودی نشون بده مدل 7 میلیاردی خودش رو بصورت omni یعنی فراگیر(همون o در GPT-4o) ارائه کرده.