شبکه داستانی عصبی – Telegram
شبکه داستانی عصبی
795 subscribers
746 photos
35 videos
96 files
1.9K links
اینجا راجع به چیزایی که دوست دارم صحبت می‌کنم: داستان، هوش مصنوعی، موسیقی، نرم‌افزار، هنر، روانشناسی و ... :)

اگه خواستید صحبت کنیم خیلی خوشحالم می‌کنید:
@alimirferdos
Download Telegram
اینایی که می‌فرستم امروز ریلیز شدند
🔥2👍1
شبکه داستانی عصبی
ولی راستش اصلا با جی‌پی‌تی‌های جدید حال نمی‌کنم. حس می‌کنم خیلی ضعیف‌تر از قبلن. چند قدمی سوییچ کامل روی کلاود ام.
هفته‌ی پیش رسما سوییچ کردم روی کلاد و پلن چت‌جی‌پی‌تی رو کنسل کردم.
فکر نمی‌کردم خیلی اتفاق جدی باشه ولی انگار یه عده زیادی دارن سوییچ می‌کنن. این یارو از یوتیوبرای خفن (و درست و حسابی) عه:

https://x.com/svpino/status/1819349575695847798
این مدل تولید عکس از متن اپن سورس چند روز پیش ریلیز شد و خیلی کیفیت تخیلی خوبی داره (قابل مقایسه با میدجرنی):


https://blackforestlabs.ai/announcing-black-forest-labs/
https://huggingface.co/black-forest-labs
👍1
Forwarded from Out of Distribution (M S)
راجع به رده‌بندی الو و LMSYS Chatbot Arena و Gemini و اینها

گوگل پس از چندی خفت و خواری در زمینه LLM‌ها، سرانجام هفته پیش یک اتفاق مهم، یک اتفاق شاد رو تجربه کرد. اون اتفاق هم این بود که مدل Gemini-1.5-Pro سرانجام تونست صدرنشین بنچمارک LMSYS بشه و بالاتر از GPT-4o قرار بگیره. بنچمارک LMSYS Chatbot Arena حالا چی هست؟ این شکلیه که کاربران به سایتش رجوع می‌کنند و یک پرامپت رو می‌نویسن. از اونور دو تا LLM به رندوم در حالی که هویتشون مخفی از کاربر هست جواب این پرامپت رو برمی‌گردونن و در نهایت کاربر که هویت LLM‌ها برش پنهان هست، تعیین می‌کنه جواب کدوم LLM بهتر بوده. اینطوری در نهایت یک جدول خواهیم داشت که نشون میده هر مدل با کدوم مدل چه قدر بازی کرده و چند تا رو برده یا باخته. اما از اونجایی که فرمت این مسابقات دو به دو، لیگ کامل نیست و ممکنه دو تا مدل بیشتر با هم بازی کنند پس چطوری امتیازات و رنکینگ نهایی‌شون حساب می‌شه؟ در واقع مساله اینه که فرض کنید یک تعداد بازیکن داریم که دو به دو با هم بازی می‌کنند چطور می‌تونیم این‌ها رو رنک کنیم؟

این مساله، مساله رایجی در شطرنج به حساب میاد و LMSYS هم از یکی از راه‌حل‌هایی که برای اونجا ارائه شده استفاده کرده. این راه‌حل Elo rating system هستش. به صورت خلاصه این شکلی هست که فرض می‌شه هر بازیکنی یک امتیازی داره. وقتی دو تا عامل قراره با هم بازی کنن، از روی امتیازاتشون یک احتمال برد یا بهتر بگم یک احتمال امتیازگیری برای هر عامل حساب می‌شه و بعد بر حسب نتیجه بازی و این احتمال پیش از بازی، به ریتینگ برنده اضافه و از ریتینگ بازنده کم می‌شه و این طوری میشه از بازیکن‌ها یک رنک کلی به دست آورد. این طوری مثلا اگر یک بازیکن قوی یک بازیکن ضعیف رو ببره بابتش امتیاز کمی می‌گیره و بازیکن ضعیف امتیاز کمی ازش کم می‌شه. برعکس اگر یک بازیکن ضعیف یک بازیکن قوی رو ببره امتیاز زیادی بهش اضافه می‌شه و امتیاز زیادی از بازیکن قوی کم می‌شه.

لینک بنچمارک:
https://arena.lmsys.org/

لینک راجع به رده‌بندی الو:
https://en.wikipedia.org/wiki/Elo_rating_system
👍2