6.7 وكلاء الذكاء الاصطناعي والأنظمة الوكيلة

نظرة عامة والدافع

وكيل الذكاء الاصطناعي هو نموذج لغة كبير (LLM) ملفوف في حلقة: يُمنَح هدفًا، يستطيع استدعاء أدوات، يحتفظ ببعض ذاكرة عما فعله، ويقرر خطوته التالية بنفسه حتى يُلبَّى الهدف أو يستسلم. تلك الحلقة هي الفرق بأكمله بين وكيل ونداءات الأمر-الاستجابة العادية في الفصل 6.3. يجيب نداء واحد عن سؤال. يقرأ وكيل بريده الإلكتروني، يبحث في قاعدة بيانات، يقدّم تذكرة، يفحص النتيجة، ويحاول ثانية. النموذج لم يعد ينتج نصًا فقط؛ إنه يختار أفعالًا في أنظمتك.

يغيّر ذلك التحول مشكلة الهندسة. عندما يكتب نموذج كلمات فقط، مخرَج سيء جملة سيئة. عندما يقود نموذج أدوات، مخرَج سيء يمكن أن يرسل رسالة خاطئة، يحذف سجلًا، أو ينقل أموالًا. فمن الأفضل فهم الوكيل الذكي كمخطِّط غير موثوق يجلس داخل نظام موثوق، ومعظم عملك يذهب إلى تحديد ما يُسمَح لذلك المخطِّط فعله. يبني هذا الفصل مباشرة على أسس نماذج اللغة الكبيرة في الفصل 6.3، واهتمامات الثقة والمساءلة في الفصل 6.5، وممارسات المنصة في الفصل 6.6.

للفرق الكبيرة، الرهانات تنظيمية بقدر ما هي تقنية. تريد المؤسسات وكلاء مربوطين بأنظمة داخلية حقيقية (التذاكر، والمالية، وسجلات العملاء)، مما يعني أن الوكلاء يرثون ضوابط وصول حقيقية والتزامات إدارة تغيير حقيقية. تضيف الحكومة مساءلة عامة: فعل مستقل يؤثر على مواطن يجب أن يكون قابلًا للتفسير، والإشراف عليه، والتدقيق بعد الحدث. النمط قوي. مُنشَر بلا انضباط، إنه طريقة سريعة لأتمتة الأخطاء.

المبادئ الأساسية

• الوكيل نموذج بالإضافة إلى حلقة، وأدوات، وذاكرة، وهدف. تعيش المخاطرة في الحلقة، لا النثر.
• حدد الاستقلالية بالمهمة. امنح أصغر قدر من الحرية الذي ينجز العمل.
• فضّل سير عمل ثابتًا عندما تكون الخطوات معروفة. الجأ لاستقلالية مفتوحة فقط عندما لا تكون.
• عامل كل أداة كسطح هجوم وامنحها أقل امتياز تستطيع العمل به.
• ضع إنسانًا في الحلقة للأفعال ذات العواقب أو التي لا رجعة فيها، واجعل التراجع رخيصًا.
• قيّم على نجاح المهمة، لا على كيف يقرأ النسخ.
• تتبّع كل تشغيلة. فعل لا تستطيع إعادة بنائه فعل لا تستطيع حوكمته.
• التصميم الأبسط الذي يعمل عادة الصحيح. غالبًا ذلك ليس وكيلًا أصلًا.

التوصيات

ابدأ بسير عمل، أضف الاستقلالية فقط حيث يجب

الخطأ الأكثر شيوعًا هو اللجوء إلى وكيل مستقل عندما سيفي خط أنابيب ثابت بالغرض. إن كنت تعرف الخطوات بالفعل (استخرج حقولًا، تحقق منها، ابحث عن سجل، صغ ردًا)، اكتب ذلك كسير عمل منسَّق بالنموذج يملأ فتحات محددة. تكسب الاستقلالية نفسها عندما لا يمكن تحديد المسار مسبقًا فعليًا، مثلًا بحث مفتوح أو فرز عبر أدوات ممكنة كثيرة. حدد الاستقلالية بالمهمة: احبس عدد الخطوات، قيّد مجموعة الأدوات لما يحتاجه هذا الهدف، وضع شرط توقف واضح. قاعدة جيدة هي منح النموذج بالضبط قدر الحرية الذي تتطلبه المشكلة ولا درجة أكثر.

اجعل استخدام الأدوات القدرة الأساسية، واجعله آمنًا

استخدام الأدوات (يُسمَّى أيضًا استدعاء الدالة) هو ما يحوّل نموذجًا إلى وكيل. عرّف كل أداة بمخطط دقيق، تحقق من كل وسيطة يقدّمها النموذج، وطبّق مبدأ أقل امتياز: يحصل وكيل تقارير للقراءة فقط على بيانات اعتماد للقراءة فقط، أبدًا وصول كتابة قد يسيء استخدامه. شغّل الأدوات داخل بيئة معزولة بحيث لا يستطيع نداء سيء الوصول أبعد من نطاق انفجاره. فضّل أدوات ضيقة وحيدة الغرض كثيرة على قليل واسعة، لأن أداة ضيقة أسهل للتفكير فيها، والإذن، والتدقيق. هذا الاقتصاد نفسه الذي يحث عليه الفصل 6.3 لاستخدام أداة نموذج اللغة الكبيرة، مُصبِحًا مركزيًا.

استخدم أنماط استدلال وتخطيط صريحة

يعمل الوكلاء أفضل عندما يكون تفكيرهم مهيكلًا. في نمط استدلال-وفعل (نشرته أبحاث ReAct)، يتناوب النموذج بين الاستدلال حول الموقف واتخاذ فعل، ثم يراقب النتيجة قبل الاستدلال ثانية. للأهداف الأصعب، اجعل النموذج يخطط أولًا (يحلل إلى مهام فرعية) ثم ينفّذ، بحيث تستطيع فحص وحتى الموافقة على الخطة قبل تشغيل أي أداة. أبقِ هذه الحلقات قابلة للمراقبة والمقاطعة. خطة تستطيع قراءتها خطة تستطيع إيقافها.

أبقِ البشر في الحلقة للأفعال ذات العواقب

قرر، لكل أداة وكل فعل، هل يجوز للنموذج التصرف بمفرده أو يجب أن يسأل أولًا. الأفعال القابلة للعكس ومنخفضة الرهان (البحث، الصياغة) يمكن أن تعمل بلا مراقبة. الأفعال ذات العواقب أو التي لا رجعة فيها (إرسال اتصالات خارجية، نقل أموال، تغيير بيانات إنتاج، تقرير حالة مواطن) تحتاج بوابة إنسان في الحلقة بسلطة حقيقية لقول لا. صمم للقابلية للعكس أينما استطعت: فضّل تجهيز تغيير على الالتزام به، واجعل التراجع ميزة من الدرجة الأولى بحيث يكلف فعل خاطئ دقائق، لا حادثة.

عامل نموذج الأمان كعدائي

يوسّع الوكلاء سطح الهجوم الموصوف في الفصل 4.2. التهديد الرئيسي هو حقن الأوامر: تعليمات ضارة مخفية في صفحة ويب، مستند، أو بريد إلكتروني يقرؤه الوكيل ويطيعه. مرتبطة بشدة مشكلة النائب المرتبك، حيث يخدع مهاجم وكيلًا مميَّزًا لإساءة استخدام وصوله الشرعي الخاص، مثلًا تسريب بيانات عبر أداة يُسمَح للوكيل باستدعائها. افترض أن أي محتوى يستوعبه الوكيل يمكن أن يكون معاديًا. افصل التعليمات الموثوقة عن البيانات غير الموثوقة، قيّد الأدوات بحيث لا يستطيع وكيل مخطوف الوصول لأنظمة حساسة، ولا تدع أبدًا مخرَج نموذج خام يُطلِق فعلًا لا رجعة فيه بلا تحقق.

قيّم على نجاح المهمة واختبر الانحدار لعدم الحتمية

احكم على الوكلاء بهل يُنجِزون المهمة، لا بهل يبدو النسخ ذكيًا. ابنِ مجموعة تقييم من أهداف تمثيلية بمعايير نجاح قابلة للفحص (هل حصلت التذكرة على الأولوية الصحيحة، هل طابق الاسترداد السياسة) وشغّلها على كل تغيير أمر، نموذج، أو أداة. لأن الوكلاء غير حتميين، تمريرة واحدة تثبت قليلًا: شغّل كل حالة مرات متعددة وتتبّع معدل نجاح، لا نجاحًا أو فشلًا. هذا يمدد انضباط التقييم دون اتصال وعلى الاتصال في الفصلين 6.3 و6.2 (هندسة التعلم الآلي وMLOps) لأنظمة مخرَجها تسلسل أفعال.

أدرج التشغيلات للمراقبة، والتكلفة، ومعالجة الفشل

لا تستطيع حوكمة ما لا تستطيع رؤيته. تتبّع كل تشغيلة وكيل من طرف إلى طرف (الفصل 6.6): الهدف، كل خطوة استدلال، كل نداء أداة بوسيطاته ونتيجته، الرموز المُنفَقة، والنتيجة النهائية. هذا التتبع مصححك، ومسار تدقيقك، وعداد تكلفتك في آن. ضع ميزانيات صارمة على الخطوات، والوقت، والإنفاق، لأن وكيلًا يدور في حلقة يمكن أن يحرق زمن استجابة ومالًا بسرعة. عالج الفشل صراحة: أعد محاولة أخطاء أداة عابرة بتراجع، لكن اكتشف حلقات حيث يكرر النموذج فعلًا فاشلًا، وافشل بأمان بدل التخبط.

المفاضلات: الإيجابيات والسلبيات

الخيار	الإيجابيات	السلبيات	الأفضل عندما
سير عمل ثابت (النموذج يملأ فتحات)	قابل للتنبؤ، رخيص، سهل الاختبار والتدقيق	صارم؛ ينكسر على مسارات غير متوقَّعة	الخطوات معروفة مسبقًا
وكيل مستقل واحد	مرن؛ يتعامل مع أهداف مفتوحة	أصعب التحكم، والتقييم، والحد	لا يمكن تحديد المسار مسبقًا
تنسيق متعدد الوكلاء	توازٍ؛ أدوار متخصصة	تكلفة تنسيق، أخطاء متراكمة، إنفاق أعلى	تتحلل مهمة فعليًا إلى أجزاء مستقلة
فعل بلا مراقبة	سريع، احتكاك منخفض	تُنفَّذ الأخطاء بلا فحص	الأفعال قابلة للعكس ومنخفضة الرهان
بوابة إنسان في الحلقة	أمان، مساءلة، قابلية عكس	أبطأ؛ يحتاج قدرة مراجع	الأفعال ذات عواقب أو لا رجعة فيها

التوتر المركزي هو الاستقلالية مقابل التحكم. تتعامل استقلالية أكبر مع مواقف أكثر لكنها تتطلب حواجز حماية أكثر، وتقييمًا أكثر، ومالًا أكثر، وتفشل بطرق أصعب التنبؤ بها. تغري تصاميم متعددة الوكلاء الفرق بالأناقة، ومع ذلك يضيف كل وكيل إضافي عبء تنسيق ومكانًا آخر لخطأ صغير يتراكم إلى نتيجة خاطئة. حلّ التوتر بالبدء بأقل استقلالية تحل المشكلة وإضافة حرية فقط عندما تجبرك مهمة ملموسة، دائمًا مقرونة بحاجز حماية مطابق.

أسئلة للنقاش مع فريقك

1. هل تحتاج هذه الميزة وكيلًا فعليًا، أم سيكون سير عمل ثابت أكثر أمانًا وأرخص؟ الاستقلالية مغرية، لكن معظم الأعمال لها خطوات معروفة يتعامل معها خط أنابيب منسَّق بمخاطرة أقل بكثير. لفريق كبير، الافتراض للوكلاء يعني أن كل مجموعة تتحمل أعباء تقييم، وتتبع، وأمان كان تصميم أبسط سيتجنبها. أحضر المهمة المحددة واسأل هل يمكن تحديد خطواتها مسبقًا؛ إن أمكن، الوكيل على الأرجح إفراط هندسة. احجز الاستقلالية المفتوحة لأهداف يتباين مسارها فعليًا حسب الحالة. ينبغي أن تدفع الإجابة معظم الميزات نحو سير عمل وتترك مجموعة صغيرة وعمدية كوكلاء حقيقيين.

2. لكل أداة يستطيع وكيلنا استدعاءها، ما أسوأ شيء يستطيع وكيل مخطوف فعله بها، وما يوقف ذلك؟ تقلب هجمات حقن الأوامر والنائب المرتبك وصول الوكيل الشرعي الخاص ضدك، فالعدسة الصحيحة عدائية (الفصل 4.2). اجرد كل أداة، نطاق امتيازها، وهل تستطيع تعليمة ضارة مهرَّبة عبر محتوى مستوعَب الوصول إليها. للمؤسسات التي تربط وكلاء بأنظمة داخلية، هنا يصبح أقل امتياز، والعزل، وبوابات بشرية على أفعال لا رجعة فيها حقيقية. أحضر قائمة الأدوات وبيانات الاعتماد التي يحملها كل واحد. إن كان أي فعل ذو عواقب قابلًا للوصول بلا تحقق أو فحص بشري، ذلك أول شيء لإصلاحه.

3. كيف سنعرف أن معدل نجاح وكيل انخفض، نظرًا لأن كل تشغيلة تبدو معقولة؟ الوكلاء غير حتميين، فنسخ يُقرَأ جيدًا لا يزال يمكن أن يكون اتخذ الفعل الخاطئ، وتشغيلة خضراء واحدة لا تثبت شيئًا. اسأل هل تملك مجموعة تقييم من أهداف بنتائج قابلة للفحص، تشغَّل مرات كثيرة لكل حالة لإنتاج معدل نجاح لا تمريرة واحدة. للنشرات عالية الرهان أو العامة، ناقش كيف تتيح تتبعات التشغيلة إعادة بناء بالضبط ماذا حدث عندما يسوء شيء (الفصلان 6.5 و6.6). إن كانت إشارتك الوحيدة شكاوى المستخدم، أنت متأخر بالفعل. ينبغي أن تموّل الإجابة أداة تقييم قبل النطاق، لا بعد حادثة.

4. أي أفعال هذا الوكيل لا رجعة فيها فعليًا، من يملك سلطة الموافقة عليها، وهل نملك قدرة مراجع لتوظيف تلك البوابة؟ الإغراء هو ترك النموذج يتصرف بلا مراقبة في كل مكان، لكن بوابة بشرية حقيقية فقط إن كان شخص مسمى بسلطة قول لا متاحًا عندما يسأل الوكيل. لفريق كبير، طابور موافقة لا يملكه أحد يصبح ختمًا مطاطيًا بهدوء، ويتبخر الأمان الذي صممته تحت الحجم. أحضر القائمة الكاملة للأفعال التي يستطيع الوكيل اتخاذها، علّم كل واحد قابلًا للعكس أو لا رجعة فيه، وقدّر الحجم اليومي للحالات منخفضة الثقة التي ستهبط على مراجع. زِن احتكاك وتكلفة توظيف بوابة مقابل نطاق انفجار خطأ بلا مراقبة، وفضّل إعادة تصميم فعل لا رجعة فيه ليكون مُجهَّزًا وقابلًا للتراجع على إضافة مراجع آخر. في إعدادات المؤسسات والحكومة، اربط كل فعل ذي عواقب بضابط مسؤول وسجل إدارة تغيير، لأن فعلًا مستقلًا يؤثر على مواطن أو عميل لم يوافق عليه إنسان بالضبط الفشل الذي سيجده تدقيق.

5. هل نلجأ لتصميم متعدد الوكلاء لأن المهمة تتحلل فعليًا، أم لأنه يبدو أنيقًا؟ تقسيم العمل عبر وكلاء متخصصين مغرٍ، ومع ذلك يضيف كل وكيل إضافي عبء تنسيق ومكانًا آخر حيث يتراكم خطأ صغير إلى نتيجة خاطئة. لمؤسسة كبيرة التكلفة ليست الإنفاق وزمن الاستجابة فقط: نظام متعدد الوكلاء أصعب بكثير للتتبع، والتقييم، والتفكير فيه عند فشله، فيتضاعف عبء الحوكمة مع كل دور تضيفه. أحضر المهمة وأظهر، ملموسًا، أي الأجزاء تعمل مستقلة وبالتوازي، ثم قارن معدل النجاح والتكلفة المقاسين لنسخة متعددة الوكلاء مقابل وكيل واحد على مجموعة التقييم نفسها. إن فاز الوكيل الواحد أو تعادل، التصميم الأنيق إفراط هندسة. للنشرات المنظَّمة أو العامة، تذكّر أن كل وكيل في السلسلة مكون إضافي يجب أن تستطيع هيئة إشراف فحصه، فهيكل مضاف لا تستطيع تبريره التزام مضاف.

6. ما الميزانيات الصارمة على خطوات وكيل، ووقته، وإنفاقه، وكيف سيُلتقَط وكيل يدور في حلقة قبل أن يرفع التكلفة أو زمن الاستجابة؟ يمكن أن يحرق وكيل يكرر فعلًا فاشلًا مالًا ووقتًا بلا تحذير، فالاستقلالية غير المحدودة مخاطرة مالية بقدر ما هي مخاطرة أمان. لفريق كبير يشغّل وكلاء كثيرين، حلقة سيئة السلوك واحدة يمكن أن ترفع فاتورة سحابة أو تستنفد حد معدل يجوّع كل حمل عمل آخر، مما يجعل حدود لكل تشغيلة اهتمامًا تشغيليًا مشتركًا لا مشكلة فريق واحد. أحضر ميزانيات الخطوة، والوقت، والرمز الحالية لكل وكيل، الإنذار الذي يُطلَق عندما تتجاوز تشغيلة تلك، وكشف الحلقة الذي يفشل بأمان بدل التخبط. زِن ميزانيات صارمة، التي قد تقطع مهمة صعبة شرعيًا، مقابل فضفاضة تدع التكلفة تفلت. في إعدادات المؤسسات والحكومة حيث يجب التنبؤ بالإنفاق وتبريره، وكيل تكلفته غير محدودة بند لا تستطيع الدفاع عنه في مراجعة ميزانية أو تدقيق.

المنظور القطاعي

الشركة الناشئة. اشحن وكيلًا ضيقًا واحدًا يلمس قيمتك الأساسية، على نموذج مستضاف، بأصغر مجموعة أدوات تفي بالغرض وحد صارم على الخطوات والإنفاق. قاوم العرض التوضيحي متعدد الوكلاء: انتباه هندستك النادر أفضل إنفاقًا في تحديد استقلالية وكيل واحد وتتبع تشغيلاته من تنسيق أدوار لا تستطيع صيانتها. أبقِ كل فعل ذي عواقب خلف بوابة “صياغة، لا إرسال أبدًا” واحدة بحيث يكلف خطأ نقرة للتراجع، لا حادثة.

الشركة الصغيرة. لا تملك أحدًا لتشغيل أداة تقييم أو بيئة معزولة، ففضّل وكلاء مضمَّنين في أدوات تثق بها بالفعل، وفعّل فقط الاستقلالية التي تستطيع الإشراف عليها بالعين. عامل أي وكيل يستطيع الإرسال، أو الدفع، أو الحذف نيابة عنك كشيء يُبقَى مطفأ حتى يؤكد شخص كل فعل، لأن رسالة آلية خاطئة لعميل تكلفك العلاقة. فضّل موردين يُظهرون لك ماذا فعل الوكيل ويتيحون لك إيقاف الأتمتة.

المؤسسة الكبرى. المشكلة هي حوكمة وكلاء عبر فرق كثيرة: أنماط مشتركة لتحديد الاستقلالية، بيانات اعتماد أداة بأقل امتياز، عزل، بوابات إنسان في الحلقة، وتتبع من طرف إلى طرف بحيث لا تعيد أي مجموعة اختراع حواجز الحماية. اربط وكلاء بأنظمة داخلية تحت ضوابط الوصول نفسها التي سيحملها إنسان، احجب أفعالًا لا رجعة فيها خلف موافقين مسمَّين وإدارة تغيير، وأدر المحفظة بمقاييس معدل نجاح، وميزانيات لكل تشغيلة، واختبار حقن عدائي. وحّد طبقة التتبع والتقييم بحيث يمكن إعادة بناء وتدقيق سلوك أي وكيل.

الحكومة. يحد الشراء، والشفافية، والمساءلة العامة كل خيار. أبقِ الوكلاء على جمع الحقائق والصياغة، واحجز كل قرار يؤثر على مواطن لإنسان مسؤول، لأن المسؤولية عن قرار قطاع عام لا يمكن تفويضها لنموذج. سجّل كل تشغيلة بحيث تستطيع هيئة إشراف رؤية أي مصادر استُشيرت وماذا فُعِل، اطلب من الموردين الإفصاح عن أدوات الوكيل وقيوده، وأثبت عبر مجموعة تقييم عدائية أن الوكيل يرفض التصرف أبعد من مهمته المحدودة.

أمثلة

الشركة الناشئة. تبني شركة تحليلات ناشئة من خمسة أشخاص وكيل فرز دعم. يقرأ تذكرة واردة، يبحث في الوثائق، ويصيغ إما ردًا أو يوجّه التذكرة لإنسان، وتلك مجموعة الأدوات بأكملها. بيانات الاعتماد للقراءة فقط بالإضافة إلى فعل “إنشاء مسودة” واحد لا يرسل أبدًا بلا نقر شخص على إرسال. تُتتبَّع كل تشغيلة بحيث يستطيع المؤسسون رؤية لماذا وُجِّهت تذكرة إلى حيث وُجِّهت، وتشغّل مجموعة تقييم ليلية من خمسين تذكرة حقيقية الوكيل خمس مرات لكل واحد لتتبع معدل دقة توجيه. عندما يغريهم عرض توضيحي ذكي متعدد الوكلاء من منافس، يبقون بوكيل واحد لأن مهمتهم لا تتحلل.

المؤسسة الكبرى. يبني بنك وكيلًا لمساعدة موظفي العمليات في تسوية مدفوعات فاشلة. يتكامل مع أنظمة داخلية تحت ضوابط الوصول نفسها التي يملكها موظف بشري، ممنوحة عبر بيانات اعتماد خدمة بأقل امتياز محدودة النطاق للتسوية فقط. يستطيع الوكيل التحقيق بحرية (قراءة دفاتر الأستاذ، البحث في تاريخ المعاملات) لكن أي فعل ينقل مالًا أو يحرر سجلًا مُجهَّز ويتطلب موافق بشري مسمى، مُلبِّيًا إدارة التغيير. تُعامَل المستندات المستوعَبة كغير موثوقة لتخفيف حقن الأوامر، تعمل الأدوات معزولة، وتُتتبَّع كل تشغيلة من طرف إلى طرف للتدقيق. تحجب مجموعة تقييم دون اتصال كل تغيير نموذج أو أمر، وتحبس ميزانيات لكل تشغيلة الخطوات والإنفاق بحيث لا يستطيع وكيل يدور في حلقة رفع التكلفة أو زمن الاستجابة.

الحكومة. تجرّب وكالة استحقاقات وكيلًا لمساعدة أخصائيي الحالة في تجميع حقائق مطالبة: سحب سجلات، فحص قواعد الأهلية، وصياغة ملخص. ترسم الوكالة خطًا صارمًا: يجمع الوكيل ويصيغ، لكن أخصائي حالة بشري يتخذ ويملك كل قرار يؤثر على مواطن، لأن المساءلة عن قرارات القطاع العام لا يمكن تفويضها لنموذج (الفصل 6.5). تُسجَّل كل تشغيلة كليًا، مُظهِرة أي مصادر استُشيرت وماذا صِيغ، بحيث تستطيع هيئة إشراف تدقيق أي حالة. الاستقلالية محدودة عمدًا بالقراءة-والصياغة، الأدوات بأقل امتياز ومعزولة، وتؤكد مجموعة تقييم عدائية أن الوكيل يرفض التصرف أبعد من جمع الحقائق.

حالة العمل: الدوافع والعائد على الاستثمار وتكلفة الملكية الإجمالية

يسلّم الوكلاء عائدًا بأتمتة عمل متعدد الخطوات كان يحتاج شخصًا للنقر بين الأنظمة: الفرز، والتسوية، والبحث، والعمليات الروتينية. تظهر القيمة كعمل مُكمَل بلا إنسان في كل خطوة، أوقات دورة أسرع، وموظفين محررين لمهام كثيفة الحكم. لأن الوكلاء يبنون على نماذج لغة كبيرة وأدوات موجودة، الوقت لنموذج أولي عامل قصير، وذلك بالضبط لماذا تفرط الفرق في البناء.

تكلفة الملكية الإجمالية هي حيث يختلف الوكلاء عن ميزات نموذج لغة كبيرة عادية. فوق تكلفة الاستدلال تدفع مقابل تكاملات الأدوات، وسباكة العزل والإذن، وأداة التقييم، ومكدس التتبع والمراقبة (الفصل 6.6)، والمراجعين البشريين الذين يوظّفون بوابات الموافقة. يضيف وكيل يدور في حلقة أو سيء الحدود تكلفة متغيرة يمكن أن ترتفع بلا تحذير، فميزانيات الخطوات والإنفاق جزء من التصميم، لا فكرة لاحقة. تكلفة عدم التبني عمليات أبطأ وكدح يدوي يؤتمته منافسوك. تكلفة التبني بإهمال فعل مستقل يرسل رسالة خاطئة، يسرّب بيانات، أو يتخذ قرارًا غير مساءَل. اعرض القضية على القيادة بقرن هدف أتمتة ملموس واحد بخطة ملموسة لحواجز الحماية، والتقييم، والإشراف البشري، وكن صادقًا أن حواجز الحماية معظم التكلفة.

الأنماط المضادة والمزالق

• وكيل حيث يفي سير عمل بالغرض. تحمل مخاطرة الاستقلالية الكاملة لمهمة كانت خطواتها معروفة.
• أدوات وبيانات اعتماد واسعة جدًا. أداة “افعل أي شيء” واحدة بدل أدوات ضيقة بأقل امتياز.
• عمى حقن الأوامر. تغذية محتوى غير موثوق لوكيل يحمل امتيازات حقيقية.
• لا بوابة بشرية على أفعال لا رجعة فيها. ترك النموذج يرسل، يدفع، أو يحذف بلا فحص.
• مسرحية متعدد الوكلاء. تقسيم مهمة بسيطة عبر وكلاء، دفع تكلفة تنسيق بلا مكسب.
• تقييم قائم على المشاعر. الحكم بكيف يُقرَأ النسخ بدل معدل نجاح المهمة.
• حلقات غير محدودة. لا حد على الخطوات، الوقت، أو الإنفاق، بحيث يحرق وكيل عالق مالًا وزمن استجابة.
• تشغيلات غير مُتتبَّعة. لا سجل لماذا فعل الوكيل، تاركًا إياك غير قادر على التصحيح، أو التدقيق، أو المحاسبة.

نموذج النضج

• المستوى 1، الشروع: يُصنَع الوكلاء نماذج أولية ارتجالية بوصول أداة واسع وبلا حدود. يُحكَم على النجاح بالعروض التوضيحية، تفاعليًا، بعد أن ينكسر شيء. لا مجموعة تقييم، لا تتبع، ولا بوابة بشرية على أفعال ذات عواقب.
• المستوى 2، التطوير: بعض الوكلاء لديهم حلقات محدودة وأدوات بأقل امتياز، ويوجد تتبع أساسي، لكن الممارسة تتفاوت فريقًا بفريق. تلتقط مجموعة تقييم يدوية تراجعات جسيمة في بضعة مشاريع بينما لا تملك أخرى شيئًا. تحرس موافقة بشرية أكثر الأفعال وضوحًا التي لا رجعة فيها، لكن التغطية متفاوتة وغير موثقة.
• المستوى 3، التوحيد القياسي. تحكم أنماط مشتركة الاستقلالية، وأذونات الأداة، والعزل، وبوابات الإنسان في الحلقة، موثقة ومفروضة عبر كل فريق. يُحجَب أو يُتحقَّق من كل فعل ذي عواقب، يُتتبَّع الوكلاء من طرف إلى طرف، وتعمل مجموعة تقييم آلية بتسجيل معدل نجاح على كل تغيير. يُعامَل حقن الأوامر كتهديد قائم باستجابة معرَّفة.
• المستوى 4، الإدارة. محفظة الوكلاء مقاسة ومتحكَّم بها مقابل خطوط أساس. يُتتبَّع معدل النجاح لكل مهمة، معدل اجتياز دفاع حقن الأوامر، التكلفة وعدد الخطوات لكل تشغيلة، زمن استجابة الموافقة البشرية، وحوادث الحلقة أو الفشل كمقاييس؛ تُفرَض عتبات التراجع والقتل على ذلك الدليل بدل الشكاوى. تُراقَب ميزانيات لكل تشغيلة على الخطوات، والوقت، والإنفاق، ويطلق تراجع في أي مقياس فعلًا قبل النطاق، لا بعد حادثة.
• المستوى 5، التنسيق الشامل. تُطابَق الاستقلالية مع مخاطرة المهمة بسياسة وتُضبَط باستمرار مع وصول النتائج. يربط تقييم دون اتصال وعلى الاتصال مستمر سلوك الوكيل بنتائج الأعمال، وتتقاعد المؤسسة، تعيد تحديد نطاق، أو تعيد ترخيص الوكلاء روتينيًا مع تحول الصورة الخطرة. التتبع، وميزانيات التكلفة، ومسارات التدقيق موحَّدة عبر المحفظة؛ تُختبَر دفاعات الحقن والنائب المرتبك عدائيًا؛ المساءلة عن الأفعال المستقلة واضحة وقابلة للتدقيق.

أفكار للنقاش

1. أي ميزات نموذج لغة كبير حالية لديك أصبحت وكلاء بهدوء، وهل حُدِّدت استقلالية كل واحد عمدًا؟
2. لكل أداة وكيل، ما أرخص طريقة يستطيع مهاجم إساءة استخدامها بها عبر محتوى محقون، وما يوقف ذلك؟
3. أين اخترت تصاميم متعددة الوكلاء، وهل تستطيع إظهار أن تكلفة التنسيق أتت بثمارها مقابل وكيل واحد؟
4. أي أفعال وكيل لا رجعة فيها فعليًا، وهل يمكن إعادة تصميم كل واحد ليكون قابلًا للعكس أو مُجهَّزًا؟
5. لو اتخذ وكيل فعلًا ضارًا غدًا، هل تستطيع إعادة بناء بالضبط ماذا فعل ومن كان مسؤولًا؟

النقاط الرئيسية

• الوكيل نموذج لغة كبير في حلقة بأدوات، وذاكرة، وهدف. تعيش المخاطرة في الحلقة والأدوات، لا النص.
• فضّل سير عمل ثابتًا عندما تكون الخطوات معروفة؛ احجز الاستقلالية لأهداف مفتوحة فعليًا وحدها بإحكام.
• استخدام الأداة القدرة الأساسية. امنح كل أداة أقل امتياز، ومخططًا مُتحقَّقًا منه، وبيئة معزولة.
• احجب الأفعال ذات العواقب واللارجعة فيها خلف إنسان بسلطة حقيقية، وصمم للتراجع الرخيص.
• عامل الوكلاء كعدائيين: دافع ضد حقن الأوامر وإساءة النائب المرتبك (الفصل 4.2).
• قيّم على معدل نجاح المهمة عبر تشغيلات كثيرة، وتتبّع كل تشغيلة للتصحيح، والتحكم بالتكلفة، والتدقيق (الفصلان 6.5 و6.6).
• غالبًا الإجابة الصحيحة هي عدم بناء وكيل أصلًا.

المراجع والقراءات الإضافية

• Shunyu Yao et al., ReAct: Synergizing Reasoning and Acting in Language Models.
• Timo Schick et al., Toolformer: Language Models Can Teach Themselves to Use Tools.
• Anthropic, Building Effective Agents (engineering guidance on workflows versus agents).
• OWASP Foundation, OWASP Top 10 for Large Language Model Applications (including prompt injection and excessive agency).
• Simon Willison, writing on prompt injection and the “lethal trifecta” for AI agents.
• Norman Hardy, The Confused Deputy (the classic statement of the confused-deputy problem).
• Chip Huyen, AI Engineering: Building Applications with Foundation Models.
• Stuart Russell and Peter Norvig, Artificial Intelligence: A Modern Approach (intelligent agents and rational action).