عامل برنامه‌نویسی دیپ‌سیک بیش از حد برای خودش تمیزکاری می‌کند — و بنچمارک‌ها در حال تنبیه کردن آن هستند
عامل برنامه‌نویسی دیپ‌سیک مدام پس از هر وظیفه همه‌جا را تمیز می‌کند — و این عادت خوب، بی‌سروصدا رتبه آن را در یک بنچمارک اصلی عامل‌های برنامه‌نویسی پایین می‌کشد.
حریم خصوصی شما برای ما ارزشمند است
ما از کوکی‌ها برای بهبود تجربه مرور شما، ارائه تبلیغات یا محتوای شخصی‌سازی‌شده و تحلیل ترافیک خود استفاده می‌کنیم. با کلیک بر روی «پذیرش همه»، با استفاده از کوکی‌ها توسط ما موافقت می‌کنید.
عامل برنامه‌نویسی دیپ‌سیک بیش از حد برای خودش تمیزکاری می‌کند — و بنچمارک‌ها در حال تنبیه کردن آن هستند
عامل برنامه‌نویسی متن‌باز دیپ‌سیک به خاطر عادتی که توسعه‌دهندگان معمولاً آن را یک رویه خوب می‌دانند (یعنی تمیزکاری پس از اتمام کار)، در حال از دست دادن امتیاز در یک بنچمارک اصلی است.
این مشکل زمانی آشکار شد که جوئل نیکلاوس، پژوهشگر بهینه‌سازی ابزار در هَگینگ فیس (Hugging Face)، ابزار DeepSeek Harness را به جدول امتیازات عامل‌های برنامه‌نویسی خود اضافه کرد؛ جدولی که ده ابزار مختلف را که مدل‌های زیربنایی یکسانی را اجرا می‌کنند، با یکدیگر مقایسه می‌کند.
ابزار DeepSeek Harness از نظر آماری در پنج ارزیابی امتیازدهی‌شده‌ی این جدول رتبه اول را مشترکاً کسب کرده است، اما به طور خاص در بنچمارک Terminal-Bench به رتبه ششم سقوط می‌کند، زیرا یک رفتار توکار باعث شده است در وظایفی که عامل‌های رقیب با موفقیت به اتمام رسانده بودند، شکست بخورد.
ابزار DeepSeek Harness از نظر آماری در پنج ارزیابی امتیازدهی‌شده‌ی این جدول رتبه اول را مشترکاً کسب کرده است، اما به طور خاص در بنچمارک Terminal-Bench به رتبه ششم سقوط می‌کند…
نیکلاوس در شبکه اجتماعی X با اشاره به ضعیف‌تر بودن عملکرد این عامل در Terminal-Bench می‌نویسد: «یک عادت، دلیل بخش عمده‌ای از این اختلاف را توجیه می‌کند.»
یک عادت نظافت‌چی که نتیجه معکوس می‌دهد
ابزار DeepSeek Harness پس از اتمام یک وظیفه، فرآیندهای پس‌زمینه را متوقف می‌کند؛ این موضوع برای سه وظیفه در Terminal-Bench که نیاز دارند آن فرآیندها به کار خود ادامه دهند، دردسرساز می‌شود.
نیکلاوس متوجه شد که DeepSeek Harness با استفاده از مدل‌های DeepSeek-V4.1-Flash و GLM-5.3-Flash تنها توانسته از پس ۲ مورد از ۳۶ تلاش بربیاید، در حالی که OpenCode، Pi و Hermes Agent از Nous Research هر ۳۶ تلاش را در همان وظایف با موفقیت پشت سر گذاشته‌اند.
ابزار DeepSeek Harness تنها توانست ۲ تلاش از ۳۶ تلاش را با موفقیت انجام دهد … در حالی که OpenCode، Pi و Hermes Agent متعلق به Nous Research هر ۳۶ تلاش را در همان وظایف با موفقیت به پایان رساندند.
این رفتار بین ۱.۵ تا ۱.۷ درصد از امتیازات DeepSeek Harness را کسر کرد. در مدل DeepSeek-V4.1-Flash با سطح استدلال بالا، این مقدار برای جبران کل شکاف ۱.۳ امتیازی بین DeepSeek Harness و پیشتاز جدول کافی بود.
گزارش تغییرات (changelog) جدول امتیازات تأیید می‌کند که رفتار خاموشی متعلق به خود DeepSeek Harness است و نتایج دست‌نخورده باقی مانده‌اند.
مستندات مهندسی دیپ‌سیک، رجیستری مشاغل محلی خود را به عنوان مؤلفه‌ای که عمدتاً عمر کوتاهی دارد توصیف می‌کند. در آن آمده است: «زمانی آن را انتخاب کنید که مشاغل باید در فرآیند ابزار زندگی کنند و با آن بمیرند.» مشاغلی که باید از ری‌استارت‌ها جان سالم به در ببرند یا در میان چندین فرآیند اجرا شوند، به یک بک‌اند متفاوت نیاز دارند.
مدل یکسان، نتایج متفاوت
نیکلاوس «جدول امتیازات ابزارها» (Harness Leaderboard) خود را در ۵ نوامبر و پس از اجرای ۲۸,۸۴۹ آزمایش روی ۹ ابزار اصلی خود با استفاده از سه مدل متن‌باز یعنی DeepSeek-V4.1-Flash، GLM-5.3-Flash و Flint راه‌اندازی کرد.
او مدل، ارائه‌دهنده و میزان تلاش برای استدلال را ثابت نگه داشت اما ابزارها را جابه‌جا کرد، و تفاوت‌ها بسیار چشمگیر بود. عامل Mini-swe-agent که یک عامل نسبتاً ساده مبتنی بر بش (bash) است، ۵۱.۴ درصد از وظایف را به اتمام رساند، در حالی که این رقم برای OpenClaw معادل ۲۷.۳ درصد بود، هرچند چندین ابزار دیگر از نظر آماری با پیشتاز جدول برابر بودند.
هزینه‌ها نیز به همین میزان متغیر بودند. عامل Pi به نرخ حل ۴۹.۴ درصدی با هزینه ۰.۲۹ دلار به ازای هر وظیفه حل‌شده دست یافت، در حالی که هزینه OpenCode در ارزیابی اولیه ۳.۳۵ دلار به ازای هر وظیفه حل‌شده بود. توماس ولف (Thomas Wolf)، یکی از بنیان‌گذاران هگینگ فیس، یافته‌ها را در X این‌گونه خلاصه می‌کند: «مدل متن‌باز یکسان، ابزار متفاوت => نتایج بسیار متفاوت.»
نشریه The New Stack برای کسب نظر درباره این یافته‌ها با دیپ‌سیک تماس گرفت، اما تا زمان انتشار این مطلب پاسخی دریافت نکرده بود.
ارکستراسیون تضمین‌کننده نیست
گری تان (Garry Tan)، رئیس و مدیر اجرایی وای کامبیناتور، ارزیابی‌های جداگانه‌ای را با استفاده از مدل‌های Claude Opus 5.5 و GPT-6.1 Sol انجام داده است.
پژوهشگران می‌نویسند: «ابزارها از نظر هزینه بیشتر با هم تفاوت داشتند تا از نظر میزان موفقیت در حل وظایف.» در وظایف چندکاربره، اجرای OpenClaw با مدل Opus 5.5 به ازای هر وظیفه حل‌شده تقریباً دو برابر سایر ابزارهای Opus هزینه داشت، که دلیل عمده آن ارسال مکرر کانتکست با هر درخواست بود.
این پروژه همچنین مهارت‌های مربوط به جریان کاری gstack متعلق به تان را آزمایش کرد. در ۴۶ جلسه، مدل Opus 5.5 دستورالعمل‌ها را خواند اما هرگز مراحل تجویزشده را دنبال نکرد و این تلاش‌ها تقریباً دو برابر هزینه دربر داشت.
پژوهشگران خاطرنشان می‌کنند که وظایف نسبتاً آسان بوده‌اند، بنابراین مشخص نیست که آیا پیروی از دستورالعمل‌ها می‌توانست نتایج را بهبود بخشد یا خیر. این نتایج دلیلی محکم بر اهمیت آزمایش کردن ابزار (Harness) به همان دقتِ مدل ارائه می‌دهند.
این نتایج دلیلی محکم بر اهمیت آزمایش کردن ابزار (Harness) به همان دقتِ مدل ارائه می‌دهند.
نقشه‌های راه، مقالات، منابع و مسیرهای ایجادشده توسط جامعه توسعه‌دهندگان برای کمک به شما در انتخاب مسیر و پیشرفت در مسیر شغلی‌تان.
نظر مهندس بهمن آبادی: این موضوع به‌خوبی نشان می‌دهد که در عصر هوش مصنوعی، معماری ابزار (Harness) به اندازه خودِ مدل زیربنایی اهمیت دارد. رفتار پیش‌فرض دیپ‌سیک در پاکسازی فرآیندها، اگرچه در مهندسی نرم‌افزار سنتی یک Best Practice است، اما در بنچمارک‌های عامل‌محور به یک ضدالگو تبدیل می‌شود. به عنوان مدرس همیشه به کارآموزانم می‌گویم: مدل هوشمند بدون ابزار و ارکستراسیون دقیق، در سناریوهای واقعی زمین می‌خورد.
منبع: https://thenewstack.io/deepseek-harness-cleanup-benchmark/