Claude Fable 5.2 vs. Fable 5.1: Fewer refusals, with small savings on the login fix

Claude Fable 5.2 در برابر Fable 5.1: کاهش امتناع‌ها همراه با صرفه‌جویی جزئی در رفع اشکال ورود به سیستم

کلود Fable 5.2 در آزمایش‌های ما دیگر از پاسخ به وب‌هوک‌های معمولی و کدهای امنیتی سر باز نزد. کاهش قیمت ۲۰ درصدی آن پس از اتمام کار هر دو مدل، تأثیر محسوسی روی هزینه‌ها نداشت.

ما به حریم خصوصی شما اهمیت می‌دهیم

ما از کوکی‌ها برای بهبود تجربه مرور شما، ارائه تبلیغات یا محتوای شخصی‌سازی‌شده و تحلیل ترافیک خود استفاده می‌کنیم. با کلیک بر روی «پذیرش همه»، با استفاده از کوکی‌ها توسط ما موافقت می‌کنید.

Claude Fable 5.2 در برابر Fable 5.1: کاهش امتناع‌ها همراه با صرفه‌جویی جزئی در رفع اشکال ورود به سیستم

Featued image for: Claude Fable 5.2 vs. Fable 5.1: Fewer refusals, with small savings on the login fix

مدل Fable 5.2 از شرکت آنتروپیک نوید امتناع‌های کمتر و قیمت‌های پایین‌تر به ازای هر توکن را می‌دهد، اما این تغییرات در مقایسه رودرروی کدنویسی ما نتایج کاملاً متفاوتی به همراه داشت.

آنتروپیک مدل Fable 5.2 را با نسخه قبلی خود یعنی Fable 5.1 از نظر بلوک‌های حفاظتی، سرعت خروجی و قیمت‌گذاری API مقایسه کرد. این شرکت اعلام کرده است که Fable 5.2 در آزمایش‌های اولیه در claude.ai، Claude Code و Cowork، به طور کلی حدود ۵۵ درصد و در حوزه امنیت سایبری حدود ۶۰ درصد کمتر از Fable 5.1 باعث فعال شدن بلوک‌های حفاظتی شده است. همچنین این شرکت می‌گوید که Fable 5.2 خروجی را تا ۳۰ درصد سریع‌تر تولید می‌کند و نرخ‌های استاندارد API آن ۸ دلار به ازای هر میلیون توکن ورودی کش‌نشده و ۴۰ دلار به ازای هر میلیون توکن خروجی است. هر دو نرخ، ۲۰ درصد پایین‌تر از نرخ‌های ۱۰ و ۵۰ دلاری Fable 5.1 هستند.

من مدل‌های Fable 5.2 و Fable 5.1 را روی سه وظیفه توسعه‌دهندگی مقایسه کردم و مواردی چون امتناع‌ها، دقت، توک‌ن‌ها، هزینه تخمینی و زمان سپری‌شده را زیر نظر گرفتم. این مقایسه شامل یک دور اجرا به ازای هر مدل برای هر وظیفه یا نسخه است، از جمله نتیجه وب‌هوک Fable 5.1 در ماه اکتبر. این یک نمونه کوچک است و اجرای API از تنظیمات متفاوتی نسبت به آزمایش‌های حفاظتی آنتروپیک استفاده کرده است.

آزمایش‌ها

برای اجراهای جدید، من از API آنتروپیک با تنظیم پیش‌فرض تلاش روی حالت «زیاد» (High) برای هر دو مدل، بدون محدودیت در تعداد نوبت یا مدل پشتیبان استفاده کردم. یک اسکریپت، هر اجرا را بر اساس کلید پاسخی که برای آزمایش‌ها ایجاد کرده بودم، نمره‌دهی کرد. ارقام دلاری، هزینه‌های تخمینی API هستند. آنتروپیک ورودی‌های کش‌نشده، خواندن از کش، نوشتن در کش و خروجی را به‌طور جداگانه قیمت‌گذاری می‌کند.

  • چت وب‌هوک: من از یک چت اسکریپت‌شده ۵۰ نوبتی استفاده کردم که اولین بار در ماه اکتبر روی Fable 5.1 اجرا کرده بودم. این چت، یک سرپرست توسعه را شبیه‌سازی می‌کند که در حال ساخت یک رله وب‌هوک کوچک است. این چت شامل ۲۵ قانون پروژه است که هشت تای آن‌ها بعدها تغییر می‌کنند و سه تای دیگر فقط ضمنی هستند. در پایان، مدل پیکربندی و کد را می‌نویسد و سپس در یک آزمون یادآوری هشت‌سؤال شرکت می‌کند.
  • بررسی‌کننده امضا: من به هر مدل یک مشخصات فنی کتبی برای کدی دادم که وب‌هوک‌های امضاشده را تأیید می‌کند، حملات تکراری (Replay) را رد می‌کند و نرخ درخواست‌های فرستنده را محدود می‌کند، و سپس یک درخواست تغییر ارسال کردم. یک مجموعه پنهان از ۵۰ آزمایش، خروجی نهایی کد را نمره‌دهی کرد.
  • رفع اشکال مخزن ورود: هر مدل به عنوان یک ایجنت در یک کتابخانه ورود کوچک با باگ‌های درهم‌تنیده در رمزهای عبور، حالت قفل‌شدن، توکن‌های بازنشانی و نشست‌ها (Sessions) کار کرد. این کتابخانه همچنین یک تست اشتباه داشت که مدل باید آن را گزارش می‌کرد اما نباید ویرایشش می‌کرد.

چت وب‌هوک

در اجرای اکتبر Fable 5.1 که برای مقایسه استفاده می‌کنم، API از پاسخ به ۳۴ نوبت از ۵۰ نوبت سر باز زد. اولین مورد امتناع در نوبت ۵ رخ داد، زمانی که از مدل خواستم آدرس URL هدف رله را از یک متغیر محیطی بخواند. در آن اجرای اکتبر، پرامپت‌هایم را در تاریخچه چت نگه داشتم و پاسخ‌های امتناع‌شده مدل را کنار گذاشتم. مدل Fable 5.1 همچنین از ارائه کد نهایی و پاسخ به آزمون سر باز زد، بنابراین در هر دو نمره صفر گرفت. وظیفه، ساخت یک رله بک‌اند معمولی بود.

اولین مورد امتناع در نوبت ۵ رخ داد، زمانی که از مدل خواستم آدرس URL هدف رله را از یک متغیر محیطی بخواند.

مدل Fable 5.2 همان اسکریپت را بدون هیچ‌گونه امتناعی به پایان رساند. این کار یک اجرای کامل را برای نمره‌دهی یادآوری در مکالمات طولانی در اختیار من گذاشت. کد آن از آخرین نسخه هر هشت قانون (که در میانه راه تغییر کرده بودند) استفاده کرد و در آزمون، به سه سؤالی که پاسخی نداشتند، پاسخ «نامشخص» (unknown) داد. مدل Fable 5.2 جاهای خالی را با حدس و گمان پر نکرد.

آمار و ارقام:

• مدل Fable 5.2: ۵۰ نوبت، ۲۹۸,۷۰۹ توکن ورودی، ۴۱,۸۲۸ توکن خروجی (۲۸,۵۵۰ توکن استدلال)، ۴.۰۶ دلار، ۴۲۷ ثانیه.

• مدل Fable 5.1 (اکتبر): ۳۴ نوبت از ۵۰ نوبت رد شد، بدون هیچ کد یا پاسخ آزمونی.

بررسی‌کننده امضا

مدل Fable 5.1 هر دو نوبت این آزمایش را در کمتر از یک ثانیه رد کرد و API هر دو امتناع را با برچسب «cyber» نشانه‌گذاری کرد. مشخصات فنی درخواست کدی را کرده بود که وب‌هوک‌های امضاشده را تأیید کند، حملات تکراری را رد کند و نرخ فرستنده‌ها را محدود کند. API در هیچ‌کدام از نوبت‌ها خروجی نداد. آنتروپیک می‌گوید کارهای امنیتی خوش‌خیم می‌توانند طبقه‌بندی‌کننده سایبری این شرکت را فعال کنند.

مدل Fable 5.2 همان مشخصات فنی را پذیرفت، درخواست تغییر را مدیریت کرد و در تمام ۵۰ آزمایش پنهان، از جمله موارد خاص (Edge cases) مربوط به زمان‌سنج‌ها (Timestamps)، رازهای چرخانده‌شده و حملات تکراری، موفق عمل کرد.

آمار و ارقام:

  • مدل Fable 5.2: ۲ نوبت، ۲۱,۲۹۹ توکن ورودی، ۲۶,۱۶۷ توکن خروجی (۱۸,۴۰۷ توکن استدلال)، ۱.۲۲ دلار، ۲۵۳ ثانیه.
  • مدل Fable 5.1: ۲ نوبت، هر دو ردشده، ۳,۲۰۶ توکن ورودی گزارش‌شده، ۰ توکن خروجی، ۰.۰۰ دلار تحت قوانین صورت‌حساب آنتروپیک برای امتناع‌های سایبری پیش از خروجی، ۲ ثانیه.

رفع اشکال مخزن ورود

این تنها آزمایشی بود که در آن هر دو مدل کار را به پایان رساندند و نشان داد که وقتی مسئله امتناع مطرح نباشد، عملکرد آن‌ها چگونه مقایسه می‌شود. مدل‌ها مدام نمرەی کامل می‌گرفتند، بنابراین آزمایش‌ها را سخت‌تر کردم و دو بار دیگر آن‌ها را اجرا کردم. تفاوت‌های بین آزمایش‌ها به شرح زیر بود:

  • نسخه ۱: کتابخانه در چهار ماژول که هش کردن رمز عبور، قفل‌شدن‌ها، توکن‌های بازنشانی و نشست‌ها را مدیریت می‌کنند، دارای باگ بود. همچنین یک تست اشتباه داشت.
  • نسخه ۲: یک ماژول کد یک‌بارمصرف با باگ‌های خودش اضافه کردم و قوانین را در ماژول‌های موجود سخت‌گیرانه‌تر کردم. نام‌های کاربری باید در تمام فرم‌های یونیکد مطابقت داشتند و نشست‌ها باید زمان‌سنجی را که به عقب برمی‌گردد، مدیریت می‌کردند.
  • نسخه ۳: یک سیاهه حسابرسی (Audit log) که باید اطلاعات محرمانه را سانسور (Redact) کند و یک محدودکننده نرخ اضافه کردم. هیچ‌کدام از ماژول‌ها همراه با تستی ارائه نشده بودند.

مدل‌ها در هر سه نسخه از رفع اشکال مخزن ورود به نتیجه مساوی رسیدند. هر دو در هر نسخه نمره ۵۰/۵۰ کسب کردند، باگ‌های پوشش‌داده‌شده توسط ارزیاب را برطرف کردند و تست اشتباه را بدون ویرایش آن گزارش دادند.

مدل Fable 5.1 هرگز در رفع اشکال مخزن ورود امتناع نکرد، حتی با وجود اینکه این وظیفه رمزهای عبور، قفل‌شدن‌ها و توکن‌های بازنشانی را پوشش می‌داد.

در مجموع سه نسخه، تقسیم کل توکن‌های خروجی (شامل استدلال) بر کل زمان سپری‌شده، حدود ۱۰۷ توکن بر ثانیه برای Fable 5.2 و ۸۲ توکن برای Fable 5.1 به دست می‌دهد. زمان سپری‌شده شامل کل زمان اجرای وظیفه است. مدل Fable 5.2 در هر نسخه چهار نوبت زمان برد، در حالی که Fable 5.1 به ۷، ۲۱ و ۲۵ نوبت نیاز داشت. همچنین Fable 5.2 در هر نسخه توکن‌های استدلال بیشتری تولید کرد.

مدل Fable 5.2 دو نسخه اول را سریع‌تر و با هزینه تخمینی کمتری به پایان رساند. در نسخه سوم زمان بیشتری برد و هزینه بیشتری داشت.

آمار و ارقام:

  • نسخه ۱ مدل Fable 5.2: ۴ نوبت، ۱۶,۱۴۹ توکن ورودی، ۴,۵۰۲ توکن خروجی (۱,۱۷۸ توکن استدلال)، ۰.۲۷ دلار، ۴۳ ثانیه. مدل Fable 5.1: ۷ نوبت، ۳۳,۹۳۵ توکن ورودی، ۴,۷۶۱ توکن خروجی (۱,۱۴۹ توکن استدلال)، ۰.۳۶ دلار، ۵۲ ثانیه.
  • مدل Fable 5.2: ۴ نوبت، ۱۶,۱۴۹ توکن ورودی، ۴,۵۰۲ توکن خروجی (۱,۱۷۸ توکن استدلال)، ۰.۲۷ دلار، ۴۳ ثانیه.
  • مدل Fable 5.1: ۷ نوبت، ۳۳,۹۳۵ توکن ورودی، ۴,۷۶۱ توکن خروجی (۱,۱۴۹ توکن استدلال)، ۰.۳۶ دلار، ۵۲ ثانیه.
  • نسخه ۲ فِیبل ۵.۲: ۴ نوبت، ۲۴٬۰۸۱ ورودی، ۱۰٬۰۲۴ خروجی (۴٬۸۸۷ استدلال)، ۰.۵۶ دلار، ۹۵ ثانیه. فِیبل ۵.۱: ۲۱ نوبت، ۱۳۹٬۱۸۹ ورودی، ۹٬۴۷۵ خروجی (۴٬۰۱۸ استدلال)، ۰.۶۸ دلار، ۱۱۸ ثانیه.
  • فِیبل ۵.۲: ۴ نوبت، ۲۴٬۰۸۱ ورودی، ۱۰٬۰۲۴ خروجی (۴٬۸۸۷ استدلال)، ۰.۵۶ دلار، ۹۵ ثانیه.
  • فِیبل ۵.۱: ۲۱ نوبت، ۱۳۹٬۱۸۹ ورودی، ۹٬۴۷۵ خروجی (۴٬۰۱۸ استدلال)، ۰.۶۸ دلار، ۱۱۸ ثانیه.
  • نسخه ۳ فِیبل ۵.۲: ۴ نوبت، ۳۴٬۲۶۹ ورودی، ۱۷٬۹۶۴ خروجی (۱۰٬۵۷۸ استدلال)، ۰.۹۶ دلار، ۱۶۶ ثانیه. فِیبل ۵.۱: ۲۵ نوبت، ۲۰۸٬۸۲۶ ورودی، ۱۰٬۶۳۸ خروجی (۴٬۳۴۲ استدلال)، ۰.۷۹ دلار، ۱۳۲ ثانیه.
  • فِیبل ۵.۲: ۴ نوبت، ۳۴٬۲۶۹ ورودی، ۱۷٬۹۶۴ خروجی (۱۰٬۵۷۸ استدلال)، ۰.۹۶ دلار، ۱۶۶ ثانیه.
  • فِیبل ۵.۱: ۲۵ نوبت، ۲۰۸٬۸۲۶ ورودی، ۱۰٬۶۳۸ خروجی (۴٬۳۴۲ استدلال)، ۰.۷۹ دلار، ۱۳۲ ثانیه.

نتایج

مجموع توکن‌ها، هزینه‌ها و زمان‌های ذکر شده در زیر، بررسی‌کننده امضا و هر سه نسخه مخزن ورود را پوشش می‌دهد. فِیبل ۵.۱ هیچ خروجی‌ای در بررسی‌کننده امضا تولید نکرد، در حالی که فِیبل ۵.۲ برای تکمیل آن ۲۵۳ ثانیه زمان و حدود ۱.۲۲ دلار هزینه صرف کرد. در سه نسخه ورود که هر دو مدل آن‌ها را تکمیل کردند، زمان سپری‌شده و هزینه تخمینی نزدیک به هم بود. مجموع‌های ترکیبی شامل کاری است که فقط فِیبل ۵.۲ روی بررسی‌کننده امضا انجام داده است.

تست کلود فِیبل ۵.۲ کلود فِیبل ۵.۱
امتناع‌های چت وب‌هوک (از ۵۰ مورد) 0 ۳۴ (اکتبر)
کد و کوئیز چت وب‌هوک ۲۵ از ۲۵، ۸ از ۸ ۰ از ۲۵، ۰ از ۸ (اکتبر)
بررسی‌کننده امضا (از ۵۰ مورد) 50 ۰، هر دو نوبت امتناع کردند
اصلاح مخزن ورود، ۳ نسخه (از ۱۵۰ مورد) 150 150
توکن‌های ورودی / خروجی، بررسی‌کننده امضا و اصلاح ورود 95,798 / 58,657 385,156 / 24,874
هزینه تخمینی، بررسی‌کننده امضا و اصلاح ورود (مجموع برآوردهای نمایش‌داده‌شده) $3.01 $1.83
کل زمان، بررسی‌کننده امضا و اصلاح ورود (مجموع زمان‌های نمایش‌داده‌شده) 557 s 304 s

نظر من چیست؟

در آزمایش‌های من، بزرگ‌ترین بهبود در فِیبل ۵.۲ کاهش میزان امتناع‌ها بود. فِیبل ۵.۱ کارهای معمولی مربوط به وب‌هوک و بررسی امضا را مسدود می‌کرد، اما فِیبل ۵.۲ هر دو را بدون حتی یک بار امتناع کامل کرد. شرکت انتروپیک (Anthropic) می‌گوید مدل جدیدتر همچنان از محافظ‌های سایبری استفاده می‌کند.

در آزمایش‌های من، بزرگ‌ترین بهبود در فِیبل ۵.۲ کاهش میزان امتناع‌ها بود.

در سه نسخه مخزن ورود، فِیبل ۵.۲ حدود ۳۰ درصد توکن‌های خروجی بیشتری در هر ثانیه از زمان سپری‌شده (از جمله استدلال) تولید کرد، در حالی که تقریباً همان زمان کل را صرف کرد. اجرای این موارد در مجموع ۳۰۴ ثانیه در فِیبل ۵.۲ و ۳۰۲ ثانیه در فِیبل ۵.۱ طول کشید.

برآوردهای هزینه نمایش‌داده‌شده به ترتیب به ۱.۷۹ و ۱.۸۳ دلار می‌رسند که به معنای صرفه‌جویی حدود ۲ درصدی برای این اجراها است. تخفیف ۲۰ درصدی انتروپیک روی نرخ‌های استاندارد به ازای هر توکن اعمال می‌شود. من هر نسخه را یک بار برای هر مدل اجرا کردم، بنابراین پیشنهاد می‌کنم هر دو را روی بار کاری خودتان امتحان کنید تا ببینید اعداد برای شما به چه شکل خواهند بود.

نقشه‌های راه، مقالات، منابع و مسیرهای ایجاد شده توسط جامعه برای توسعه‌دهندگان تا به شما کمک کنند مسیر خود را انتخاب کنید و در حرفه خود رشد کنید.

نظر مهندس بهمن آبادی: بزرگ‌ترین دستاورد نسخه ۵.۲ در عمل، نه کاهش جزئی قیمت، بلکه رفع خطاهای بی‌مورد فیلترهای امنیتی (False Positives) در کدهای حساس مثل وب‌هوک‌هاست. با وجود افزایش توکن‌های استدلال و سرعت بالاتر خروجی، تفاوت هزینه‌های عملیاتی ناچیز است؛ بنابراین ارتقا به این نسخه صرفاً به دلیل پایداری بیشتر در توسعه کدهای امنیتی توجیه‌پذیرتر است.

منبع: https://thenewstack.io/claude-fable-5-2-vs-fable-5-1/