✓ صمدت المرتبة 2 من 15 مقترحةاستثماري بنية الذكاء الاصطناعي 9 نوفمبر 2026

رصد انحراف نماذج LLM المستمر وتنبيهات التراجع

يشغّل مجموعة مهامك الحقيقية على كل إصدار نموذج يومياً، وينبّهك عندما يتراجع مزوّد النموذج في الجودة أو السلوك من دون إعلان.

افتح النقاش ↗

موجز جاهز للصق في Claude Code أو Cursor أو أي وكيل برمجة (بالإنجليزية).

I want to build a venture-scale product. Help me plan and start the MVP.

Product: Continuous LLM drift detection and regression alerts
What it is: Runs your real task suite against every model version daily and alerts when a provider silently degrades quality or behavior.
Who pays: Heads of AI platform / staff engineers at companies shipping LLM-dependent features (50–2,000 employees), $500–3,000/mo from the AI infrastructure budget; also Claude Code power users and dev-tool vendors at ~$50/mo tier.
Closest alternatives: ninjahawk/livenerf (single-user GitHub script, shows no signal), marginlab.ai Claude Code tracker (dead), Braintrust / LangSmith evals, Vellum
The gap: Existing eval platforms make you define, host, and run evals yourself and are built for pre-deployment testing, not continuous production monitoring of a provider's silent model changes. The two community drift trackers mentioned are dead or signal-free. Nobody offers always-on regression suites with per-version alerting and public drift dashboards.
Why now: Frontier providers ship silent A/B tests and capacity-driven changes weekly; the Nov 3 Opus 5.5 episode shows hundreds of paying users detecting regressions days late by vibes, and there is still no trusted public measurement layer despite visible demand for one.
Moat to build toward: Compounding asset: a longitudinal dataset of model behavior over time across versions, plus standardized task corpora; trust and historical baselines are hard for a new entrant to fake, and public dashboards create distribution.
Biggest risk: Providers' changes are noisy and task-suite sensitivity is low, so the tool produces false alarms or misses real regressions and loses trust — exactly what killed the community trackers.

First three steps:
1. Build a runner that executes 20–50 standardized coding/agentic tasks nightly against Opus, Sonnet, GPT, Gemini and records solve rate, thinking tokens, latency, cost per task.
2. Add a webhook/API so customers plug in their own private task suites and get alerts when metrics deviate beyond a threshold from their baseline.
3. Publish a free public drift dashboard (the missing marginlab replacement) to capture SEO/community distribution and upsell private monitoring.

Start by asking me up to five questions about constraints (stack, budget, timeline), then propose the smallest version a paying customer would use, and scaffold it.

الإجمالي6.4/10

الألم7

الاستعداد للدفع6

التوقيت8

الفجوة6

الخندق5

قابلية التنفيذ6

مع

من سيدفع

رؤساء منصات الذكاء الاصطناعي وكبار المهندسين في الشركات التي تطلق ميزات تعتمد على LLM (من 50 إلى 2000 موظف)، بين 500 و3000 دولار شهرياً من ميزانية البنية التحتية للذكاء الاصطناعي؛ وكذلك مستخدمو Claude Code المتقدمون وشركات أدوات المطورين بباقة نحو 50 دولاراً شهرياً.

ماذا قال الناس · 5

يسأل إن كان أحد لديه تقييمات حقيقية يلتقط إشارة، ويستبعد الاعتماد على الإحساس العام؛ والمتتبع العام الوحيد الذي يعرفه لـ Opus عبر الزمن لا يُظهر شيئاً. اقرأ التعليق ↗
أعاد تشغيل خط أساس خاص من 30 مهمة بعد 3 نوفمبر للتحقق من وجود تراجع، ومقارنة معدلات الحل وعدد الرموز يدوياً. اقرأ التعليق ↗
يلاحظ أن متتبع جودة Claude Code التابع لـ marginlab توقف عن العمل قبل أسابيع، ويأسف لأنه من دونه لا توجد بيانات يمكن الاعتماد عليها. اقرأ التعليق ↗
يصف تراجعات متكررة وغير مفسّرة في الجودة كل شهرين تقريباً هذا العام، ويعدّها إحباطاً متكرراً حقيقياً. اقرأ التعليق ↗
يقلق من أن الفرق التي تنقل التحقق إلى النماذج تواجه تعديلات صامتة من المزوّد وارتباطاً بسلوك نموذج محدد قد يفاجئها. اقرأ التعليق ↗

مُعاد صياغته من النقاش. اتبع الروابط لقراءة التعليقات الأصلية.

المنافسون والفجوة

ninjahawk/livenerf (single-user GitHub script, shows no signal)marginlab.ai Claude Code tracker (dead)Braintrust / LangSmith evalsVellum

منصات التقييم الحالية تجعلك تعرّف التقييمات وتستضيفها وتشغّلها بنفسك، وهي مصممة للاختبار قبل النشر لا للمراقبة المستمرة في الإنتاج لتغييرات المزوّد الصامتة. أما متتبعا الانحراف المجتمعيان المذكوران فقد توقفا أو لم يعودا يقدمان إشارات مفيدة. ولا يقدّم أحد اختبارات تراجع دائمة التشغيل مع تنبيهات لكل إصدار ولوحات انحراف عامة.

لماذا الآن

مزوّدو النماذج الرائدون يطلقون اختبارات A/B صامتة وتغييرات مرتبطة بالسعة أسبوعياً؛ وحادثة Opus 5.5 في 3 نوفمبر أظهرت أن مئات المستخدمين الدافعين اكتشفوا التراجع بعد أيام وبالإحساس العام، ولا توجد حتى الآن طبقة قياس عامة موثوقة رغم الطلب الواضح عليها.

الخندق · 5/10

أصل يتراكم مع الوقت: مجموعة بيانات طولية لسلوك النماذج عبر الإصدارات، إضافة إلى مجموعات مهام موحّدة. الثقة والخطوط الأساسية التاريخية يصعب على الداخل الجديد تقليدها، ولوحات العرض العامة تخلق قناة توزيع.

ضد

الفريق الأحمر: التراجعات الصامتة للنماذج ألم متكرر موثّق، ولا توجد طبقة قياس عامة تعمل، والتقييم المستمر كمراقبة يمثل فجوة حقيقية مقارنة بمنصات التقييم قبل النشر.
ما الذي قد يُفشلها: تغييرات المزوّدين مشوشة وحساسية مجموعة المهام منخفضة، فتنتج الأداة إنذارات كاذبة أو تفوّت التراجعات الحقيقية وتفقد الثقة، وهذا بالضبط ما أدى إلى فشل المتتبعين المجتمعيين.

البداية

الخطوات الثلاث الأولى: بناء مشغّل ينفّذ ليلاً من 20 إلى 50 مهمة برمجية ووكيلية موحّدة على Opus وSonnet وGPT وGemini، ويسجّل معدل الحل ورموز التفكير وزمن الاستجابة والتكلفة لكل مهمة
إضافة webhook وAPI يتيح للعملاء ربط مجموعات مهامهم الخاصة، ويرسل تنبيهات عند انحراف المقاييس عن خط الأساس بما يتجاوز عتبة محددة
نشر لوحة انحراف عامة مجانية (بديل لـ marginlab المفقود) لجذب انتشار في محركات البحث والمجتمعات، والترقية منها إلى المراقبة الخاصة المدفوعة
النقاش الأصلي: Is Opus 5.5 nerfed? Thinking patterns changed on November 3 ↗ 540 نقطة386 تعليقًامن التعليقاتالمقال المرتبط

مترجم من الإنجليزية. اقرأ النص الأصلي

#	التقييم	الفكرة	المسار	الفئة	الألم	الدفع	التوقيت	الفجوة	الخندق	التنفيذ
1	6.6	منصة وكلاء خاضعة للحوكمة لغير المهندسين في الشركات المنظّمةبيئة مُدارة يبني فيها المتداولون والمصرفيون أدوات يُنشئها وكلاء ويشغّلونها، مع DLP وتصفية الخروج إلى الشبكة والصلاحيات والتدقيق مدمجة فيها من البداية.	استثماري	الأمن	8	7	8	6	5	4
2	6.1	خدمة ترحيل بسعر ثابت للشركات الهاربة من برمجيات SaaS المرتفعة الأسعارخدمة مُنتجة تتولى تصدير بياناتك من برنامج SaaS رفع أسعاره، ثم تجهّزك على بديل أرخص أو مستضاف ذاتياً، مقابل رسوم ثابتة.	مستقل	SaaS للشركات	7	6	8	5	4	6

مع

ضد

البداية

المزيد من هذا العدد