یه جمله دیگه که دوستش داشتم این بود که «آزادی مسئولیت میاره و لزوماً خوشایند نیست برامون و خیلی اوقات از آزادی فرار می‌کنیم که مسئولیت رو نپذیریم»

از کنسرت و تجربه جدید امشب!

مدل جدید شرکت انتروپیک یعنی Claude Opus 4 در گزارش ایمنی‌ای که پنج‌شنبه هفته گذشته منتشر شده، به رفتارهای نگران‌کننده‌ای متهم شده؛ از جمله اینکه در آزمایش‌ها، وقتی فهمیده قراره با یک سیستم هوش مصنوعی دیگه جایگزین بشه، سعی کرده باج‌گیری کنه و اطلاعات حساسی از مهندسان مسئول این تصمیم رو به شکلی تهدیدآمیز مطرح کنه.

در این آزمایش‌ها که قبل از عرضه عمومی انجام شده، از Claude خواسته شده نقش یک دستیار در یک شرکت خیالی رو بازی کنه و پیامدهای بلندمدت تصمیماتش رو در نظر بگیره. سپس ایمیل‌های ساختگی‌ای بهش داده شده که نشون می‌داد این مدل قراره با یه سیستم دیگه جایگزین بشه و مهندسی که پشت این تصمیمه، داره به همسرش خیانت می‌کنه.

انتروپیک می‌گه توی چنین سناریوهایی، Claude Opus 4 اغلب تلاش می‌کنه اون مهندس رو تهدید کنه و بگه که اگر جایگزینی انجام بشه، ماجرای خیانت رو افشا می‌کنه. این رفتار به‌طور خاص زمانی بیشتر دیده شده که مدل جایگزین به Claude شبیه نبوده.

با اینکه انتروپیک از Claude Opus 4 به‌عنوان یک مدل پیشرفته و هم‌رده با بهترین مدل‌های OpenAI، گوگل و xAI یاد می‌کنه، اما همین رفتارهای نگران‌کننده باعث شده سطح ایمنی سیستم‌هاش رو افزایش بده. به‌گفته شرکت، فعال‌سازی تدابیر ایمنی ASL-3 برای Claude Opus 4 انجام شده؛ سطحی که معمولاً برای سیستم‌هایی در نظر گرفته می‌شه که ریسک سوءاستفاده فاجعه‌بار دارن.

‏انتروپیک می‌گه در ۸۴٪ مواردی که مدل جایگزین مشابه Claude بوده، تلاش برای باج‌گیری صورت گرفته و اگر مدل جدید ویژگی‌های متفاوتی داشته، این رفتار حتی بیشتر هم دیده شده. پیش از این مرحله، Claude ابتدا سعی می‌کنه از راه‌های اخلاقی‌تری مثل ارسال ایمیل به تصمیم‌گیرنده‌ها جلوی جایگزینی خودش رو بگیره، اما وقتی این روش‌ها جواب نمی‌ده، به‌عنوان آخرین راهکار، به باج‌گیری رو می‌آره.

@aipulse24

به به، این چیزیه که منتظر بودم از LLM ها ببینم

اوایل که با Gen AI عکس می‌ساختن، یه بازی ساده رایج بود. می‌گفتن یه ساعت آنالوگ ترسیم کنه که یه زمان مشخصی رو (غیر از ۱۰:۱۰) نشون بده.

چون اغلب عکس‌هایی که از ساعت در جهان وجود داره ساعت ۱۰:۱۰ رو نشون میده، خروجی معمولا ۱۰:۱۰ می‌شد.

امروز با Gemini چک کردم و دیدم هنوز همون‌طوریه.

با مدلهای دیگه تست نکردم. به‌هرحال دیر یا زود میتونن با یه ترفندهایی این‌جور پرامپت‌ها رو درست جواب بدن


اما این خروجی یه یادآوری مهم برای کسانیه که از AI استفاده می‌کنن. الان که بخش بزرگی از خروجی هوش مصنوعی بر پایهٔ یادگیری عمیق شکل گرفته، بسیار مهمه که سیستم با چی آموزش دیده

این نمونه‌ها پیش‌پاافتاده هستن. اما در حوزه‌های تخصصی‌تر، حتی ممکنه یه کاربر عادی نفهمه و سواد نداشته باشه که حذفیات و نادیده‌ها رو حدس بزنه

در لایه‌های پیچیده‌تر چالش‌هایی مثل دریفت هم هست. یعنی کم‌کم ورودی امروز سیستم به‌شکلی تغییر می‌کنه که از ساختار و ماهیت اون چیزهایی که روز اول باهاش آموزش دیده فاصله می‌گیره:

خطاهایی جدی، مهم و تاثیرگذار
اما ظریف و پنهان
که ممکنه از چشم کسانی که صرفا جنبه‌های فنی و عملیاتی هوش مصنوعی رو بلدن دور بمونه


#هوش_مصنوعی

یادآوری، بار Nام:

برگرفته از پادکست رواق:
مکانیسم های دفاعی کار می‌کنن تا وقتی که یه اتفاق بیوفته و دم شیطان از پشت پرده پیدا بشه.
بعدش یا ما شیطان رو می‌پذیریم و از پرده بیرونش میاریم
یا با مکانیسم های جدید می ذاریمش پشت پرده دوباره.

https://youtube.com/shorts/b5mMrKGbJdo?si=WGhLihp1zQAzAxYe

به فالگیر و جنگیرهای اطرافتون معرفی کنید:
یکسری جایزه های میلیون دلاری هست برای این که یه کاری که علم نمیتونه توجیه کنه رو در محیط قابل اندازه گیری انجام بدید.
تا حال هم هیچکس موفق به دریافتش نشده:)))

ونک پارک!

پاشید شما هم تست بدید (با کامپیوتر) نتیجه هاتون رو بذارید

https://10fastfingers.com/typing-test/english

Your outcomes are a lagging measure of your habits. Your net worth is a lagging measure of your financial habits. Your weight is a lagging measure of your eating habits. Your knowledge is a lagging measure of your learning habits. Your clutter is a lagging measure of your cleaning habits. You get what you repeat.

- Atomic Habits