6.7 اے آئی ایجنٹس اور ایجنٹی نظام

جائزہ اور محرکات

AI ایجنٹ ایک بڑا زبان کا ماڈل (LLM) ہے جو چکر میں لپٹا ہے: اسے مقصد دیا جاتا ہے، وہ ٹولز کال کر سکتا ہے، وہ جو کر چکا اس کی کچھ یادداشت رکھتا ہے، اور وہ اپنا اگلا قدم خود طے کرتا ہے جب تک مقصد پورا نہ ہو یا وہ ہار نہ مان لے۔ وہ چکر ہی ایجنٹ اور باب 6.3 کی سادہ prompt-جواب والی کالز کے درمیان پورا فرق ہے۔ ایک کال سوال کا جواب دیتی ہے۔ ایجنٹ اپنی ای میل پڑھتا ہے، ڈیٹا بیس میں تلاش کرتا ہے، ٹکٹ فائل کرتا ہے، نتیجہ جانچتا ہے، اور دوبارہ کوشش کرتا ہے۔ ماڈل اب صرف متن پیدا نہیں کر رہا؛ وہ آپ کے نظاموں میں اعمال چن رہا ہے۔

یہ تبدیلی انجینئرنگ کا مسئلہ بدل دیتی ہے۔ جب ماڈل صرف الفاظ لکھتا ہے تو برا آؤٹ پٹ برا جملہ ہے۔ جب ماڈل ٹولز چلاتا ہے تو برا آؤٹ پٹ غلط پیغام بھیج سکتا ہے، ریکارڈ حذف کر سکتا ہے، یا رقم منتقل کر سکتا ہے۔ اس لیے ذہین ایجنٹ کو قابل اعتماد نظام کے اندر بیٹھے غیر معتبر منصوبہ ساز کے طور پر بہترین سمجھا جاتا ہے، اور آپ کا زیادہ تر کام یہ محدود کرنے میں جاتا ہے کہ اس منصوبہ ساز کو کیا کرنے کی اجازت ہے۔ یہ باب براہ راست باب 6.3 کی LLM بنیادوں، باب 6.5 کے اعتماد اور جوابدہی کی تشویشوں، اور باب 6.6 کے پلیٹ فارم کے عمل پر بنتا ہے۔

بڑی ٹیموں کے لیے داؤ تکنیکی جتنے ہی تنظیمی ہیں۔ انٹرپرائزز چاہتے ہیں کہ ایجنٹس حقیقی اندرونی نظاموں (ٹکٹنگ، مالیات، گاہک کے ریکارڈ) سے جڑیں، جس کا مطلب ہے کہ ایجنٹس حقیقی رسائی کے کنٹرولز اور حقیقی تبدیلی کے انتظام کی ذمہ داریاں وراثت میں پاتے ہیں۔ حکومت عوامی جوابدہی جوڑتی ہے: وہ خودمختار عمل جو شہری کو متاثر کرے اسے بعد میں قابل وضاحت، قابل نگرانی، اور قابل آڈٹ ہونا چاہیے۔ یہ نمونہ طاقتور ہے۔ نظم و ضبط کے بغیر تعینات ہو تو یہ غلطیوں کو خودکار کرنے کا تیز طریقہ ہے۔

بنیادی اصول

• ایجنٹ ماڈل جمع چکر، ٹولز، یادداشت، اور مقصد ہے۔ خطرہ چکر میں رہتا ہے، نثر میں نہیں۔
• خودمختاری کو کام تک محدود کریں۔ کم سے کم آزادی دیں جو کام کرا دے۔
• جب قدم معلوم ہوں تو مقررہ ورک فلو کو ترجیح دیں۔ کھلی خودمختاری تب لیں جب وہ معلوم نہ ہوں۔
• ہر ٹول کو حملے کی سطح سمجھیں اور اسے کم سے کم استحقاق دیں جس کے ساتھ وہ کام کر سکے۔
• نتیجہ خیز یا ناقابل واپسی اعمال کے لیے انسان کو لوپ میں رکھیں، اور واپسی کو سستا بنائیں۔
• کام میں کامیابی پر تخمینہ کریں، اس پر نہیں کہ ٹرانسکرپٹ کیسا پڑھتا ہے۔
• ہر رن کا سراغ رکھیں۔ جس عمل کو آپ دوبارہ تشکیل نہ دے سکیں اس پر نظم و نسق نہیں کر سکتے۔
• سب سے سادہ ڈیزائن جو کام کرے عموماً درست ہے۔ اکثر وہ ایجنٹ بالکل نہیں ہوتا۔

سفارشات

ورک فلو سے شروع کریں، خودمختاری صرف وہاں جوڑیں جہاں مجبور ہوں

سب سے عام غلطی خودمختار ایجنٹ تک پہنچنا ہے جب مقررہ پائپ لائن کام کر دیتی۔ اگر آپ پہلے سے قدم جانتے ہیں (فیلڈز نکالیں، ان کی توثیق کریں، ریکارڈ تلاش کریں، جواب کا مسودہ بنائیں) تو اسے منظم ورک فلو کے طور پر لکھیں جس میں ماڈل مخصوص خانے بھرے۔ خودمختاری اپنی جگہ تب کماتی ہے جب راستہ واقعی پہلے سے طے نہ ہو سکے، مثلاً کھلی تحقیق یا بہت سے ممکنہ ٹولز میں چھانٹی۔ خودمختاری کو کام تک محدود کریں: قدموں کی تعداد کی حد لگائیں، ٹول کا مجموعہ اس مقصد کے لیے جو چاہیے اس تک محدود کریں، اور واضح روکنے کی شرط طے کریں۔ اچھا اصول یہ ہے کہ ماڈل کو بالکل اتنی آزادی دیں جتنی مسئلہ مانگے اور ایک درجہ بھی زیادہ نہیں۔

ٹول کے استعمال کو بنیادی صلاحیت بنائیں، اور اسے محفوظ بنائیں

ٹول کا استعمال (جسے function calling بھی کہتے ہیں) وہ چیز ہے جو ماڈل کو ایجنٹ بناتی ہے۔ ہر ٹول کو درست schema سے متعین کریں، ماڈل کی دی ہر argument کی توثیق کریں، اور کم از کم استحقاق کا اصول لاگو کریں: صرف پڑھنے والے رپورٹنگ ایجنٹ کو صرف پڑھنے کی اسناد ملیں، کبھی تحریری رسائی نہیں جس کا وہ غلط استعمال کر سکے۔ ٹولز sandbox کے اندر چلائیں تاکہ بری کال اپنے دھماکے کے دائرے سے آگے نہ پہنچ سکے۔ چند وسیع ٹولز پر بہت سے تنگ، ایک مقصد والے ٹولز کو ترجیح دیں، کیونکہ تنگ ٹول پر استدلال، اجازت دینا، اور آڈٹ آسان ہے۔ یہ وہی ضبط ہے جس پر باب 6.3 LLM کے ٹول کے استعمال کے لیے زور دیتا ہے، یہاں مرکزی بنایا گیا۔

واضح استدلال اور منصوبہ بندی کے نمونے استعمال کریں

ایجنٹس بہتر کام کرتے ہیں جب ان کی سوچ ساختہ ہو۔ استدلال-اور-عمل کے نمونے میں (ReAct تحقیق سے مقبول)، ماڈل صورتحال پر استدلال اور عمل کرنے کے درمیان بدلتا ہے، پھر دوبارہ استدلال سے پہلے نتیجہ دیکھتا ہے۔ مشکل مقاصد کے لیے ماڈل سے پہلے منصوبہ بنوائیں (ذیلی کاموں میں تقسیم) پھر عمل کروائیں، تاکہ کوئی ٹول چلنے سے پہلے آپ منصوبے کا معائنہ بلکہ منظوری بھی دے سکیں۔ ان چکروں کو قابل مشاہدہ اور قابل مداخلت رکھیں۔ جو منصوبہ آپ پڑھ سکیں اسے آپ روک سکتے ہیں۔

نتیجہ خیز اعمال کے لیے انسانوں کو لوپ میں رکھیں

فی ٹول اور فی عمل طے کریں کہ ماڈل اکیلے عمل کر سکتا ہے یا پہلے پوچھنا لازمی ہے۔ الٹنے کے قابل، کم داؤ کے اعمال (تلاش، مسودہ بندی) بغیر نگرانی چل سکتے ہیں۔ نتیجہ خیز یا ناقابل واپسی (بیرونی ابلاغ بھیجنا، رقم منتقل کرنا، پروڈکشن ڈیٹا بدلنا، شہری کے کیس کا فیصلہ) کو human-in-the-loop دروازہ چاہیے جس کے پاس انکار کا حقیقی اختیار ہو۔ جہاں ممکن ہو الٹنے کی صلاحیت کے لیے ڈیزائن کریں: تبدیلی commit کرنے پر اسے stage کرنے کو ترجیح دیں، اور undo کو اولین درجے کا فیچر بنائیں تاکہ غلط عمل منٹوں کی لاگت لے، واقعے کی نہیں۔

سلامتی کے ماڈل کو مخالفانہ سمجھیں

ایجنٹس باب 4.2 میں بیان کی گئی حملے کی سطح کو وسیع کرتے ہیں۔ سرخی والا خطرہ prompt injection ہے: ویب صفحے، دستاویز، یا ای میل میں چھپی بدنیت ہدایات جو ایجنٹ پڑھتا اور مانتا ہے۔ اس سے قریبی تعلق confused deputy problem کا ہے، جہاں حملہ آور مراعات یافتہ ایجنٹ کو اپنی جائز رسائی کا غلط استعمال کرنے پر چکمہ دیتا ہے، مثلاً کسی ایسے ٹول سے ڈیٹا نکالنا جسے کال کرنے کی ایجنٹ کو اجازت ہے۔ فرض کریں کہ ایجنٹ جو مواد جذب کرتا ہے وہ معاند ہو سکتا ہے۔ قابل اعتماد ہدایات کو غیر معتبر ڈیٹا سے الگ کریں، ٹولز کو یوں محدود کریں کہ ہائی جیک شدہ ایجنٹ حساس نظاموں تک نہ پہنچ سکے، اور خام ماڈل آؤٹ پٹ کو توثیق کے بغیر ناقابل واپسی عمل ٹرگر کرنے نہ دیں۔

کام میں کامیابی پر تخمینہ کریں اور غیر متعین پن کی regression ٹیسٹنگ کریں

ایجنٹس کو اس سے پرکھیں کہ وہ کام پورا کرتے ہیں یا نہیں، اس سے نہیں کہ ٹرانسکرپٹ ذہین لگتا ہے۔ قابل جانچ کامیابی کے معیارات والے نمائندہ مقاصد کا تخمینے کا سیٹ بنائیں (کیا ٹکٹ کو درست ترجیح ملی، کیا واپسی پالیسی سے مطابق تھی) اور اسے ہر prompt، ماڈل، یا ٹول کی تبدیلی پر چلائیں۔ چونکہ ایجنٹس غیر متعین ہیں، ایک پاس کم ثابت کرتا ہے: ہر کیس کئی بار چلائیں اور پاس یا فیل کی بجائے کامیابی کی شرح ٹریک کریں۔ یہ ابواب 6.3 اور 6.2 (مشین لرننگ انجینئرنگ اور MLOps) کے offline اور online تخمینے کے نظم و ضبط کو ان نظاموں تک بڑھاتا ہے جن کا آؤٹ پٹ اعمال کا سلسلہ ہے۔

مشاہدے، لاگت، اور ناکامی کے سنبھالنے کے لیے رنز کو آلہ دار بنائیں

آپ جسے دیکھ نہ سکیں اس کا نظم و نسق نہیں کر سکتے۔ ہر ایجنٹ کے رن کا سرے سے سرے تک سراغ رکھیں (باب 6.6): مقصد، ہر استدلال کا قدم، ہر ٹول کال اپنی argument اور نتیجے کے ساتھ، خرچ شدہ tokens، اور آخری نتیجہ۔ یہ سراغ بیک وقت آپ کا debugger، آپ کا آڈٹ کا نشان، اور آپ کا لاگت کا میٹر ہے۔ قدموں، وقت، اور خرچ پر سخت بجٹ طے کریں، کیونکہ چکر میں پھنسا ایجنٹ تاخیر اور پیسہ تیزی سے جلا سکتا ہے۔ ناکامی کو واضح طور پر سنبھالیں: عارضی ٹول کی غلطیوں کو backoff کے ساتھ دوبارہ کوشش کریں، مگر وہ چکر شناخت کریں جہاں ماڈل ناکام عمل دہرائے، اور بے ترتیب ہاتھ پاؤں مارنے کی بجائے محفوظ طور پر ناکام ہوں۔

سمجھوتے: فوائد اور نقصانات

انتخاب	فوائد	نقصانات	بہترین جب
مقررہ ورک فلو (ماڈل خانے بھرتا ہے)	قابل پیش گوئی، سستا، ٹیسٹ اور آڈٹ میں آسان	سخت؛ غیر متوقع راستوں پر ٹوٹتا ہے	قدم پہلے سے معلوم ہوں
خودمختار واحد ایجنٹ	لچکدار؛ کھلے مقاصد سنبھالتا ہے	کنٹرول، تخمینہ، اور حد بندی مشکل	راستہ پہلے سے طے نہ ہو سکے
کثیر ایجنٹ orchestration	متوازیت؛ مخصوص کردار	ہم آہنگی کی لاگت، مرکب غلطیاں، زیادہ خرچ	کام واقعی آزاد حصوں میں بٹتا ہو
بغیر نگرانی عمل	تیز، کم رگڑ	غلطیاں بغیر جانچ کے چلتی ہیں	اعمال الٹنے کے قابل اور کم داؤ کے ہوں
Human-in-the-loop دروازہ	حفاظت، جوابدہی، الٹنے کی صلاحیت	سست؛ ریویو کرنے والوں کی گنجائش چاہیے	اعمال نتیجہ خیز یا ناقابل واپسی ہوں

مرکزی کھنچاؤ خودمختاری بمقابلہ کنٹرول ہے۔ زیادہ خودمختاری زیادہ صورتحالیں سنبھالتی ہے مگر زیادہ guardrails، زیادہ تخمینہ، اور زیادہ پیسہ مانگتی ہے، اور ان طریقوں سے ناکام ہوتی ہے جن کی پیش گوئی مشکل ہے۔ کثیر ایجنٹ ڈیزائن ٹیموں کو خوبصورتی سے لبھاتے ہیں، پھر بھی ہر اضافی ایجنٹ ہم آہنگی کا اوور ہیڈ اور چھوٹی غلطی کے غلط نتیجے میں مرکب ہونے کی ایک اور جگہ جوڑتا ہے۔ کھنچاؤ کو سب سے کم خودمختاری سے شروع کر کے حل کریں جو مسئلہ سلجھائے اور آزادی صرف تب جوڑیں جب ٹھوس کام مجبور کرے، ہمیشہ مماثل guardrail کے ساتھ۔

اپنی ٹیم کے ساتھ بحث کے سوالات

1. کیا اس فیچر کو واقعی ایجنٹ چاہیے، یا مقررہ ورک فلو محفوظ اور سستا ہوگا؟ خودمختاری دلکش ہے، مگر زیادہ تر کاموں کے قدم معلوم ہوتے ہیں جنہیں منظم پائپ لائن کہیں کم خطرے سے سنبھالتی ہے۔ بڑی ٹیم کے لیے ایجنٹس پر ڈیفالٹ کرنے کا مطلب ہے کہ ہر گروہ تخمینے، سراغ رکھنے، اور سلامتی کا وہ بوجھ اٹھاتا ہے جس سے سادہ ڈیزائن بچتا۔ مخصوص کام لائیں اور پوچھیں کہ کیا اس کے قدم پہلے سے طے ہو سکتے ہیں؛ اگر ہو سکتے ہیں تو ایجنٹ غالباً ضرورت سے زیادہ انجینئرنگ ہے۔ کھلی خودمختاری ان مقاصد کے لیے رکھیں جہاں راستہ واقعی ہر کیس میں مختلف ہو۔ جواب کو زیادہ تر فیچرز کو ورک فلو کی طرف دھکیلنا اور چھوٹا، دانستہ مجموعہ حقیقی ایجنٹس کے طور پر چھوڑنا چاہیے۔

2. ہمارا ایجنٹ جو ہر ٹول کال کر سکتا ہے اس کے لیے بدترین کیا ہے جو ہائی جیک شدہ ایجنٹ اس سے کر سکتا ہے، اور اسے کیا روکتا ہے؟ Prompt injection اور confused-deputy کے حملے ایجنٹ کی اپنی جائز رسائی کو آپ کے خلاف موڑتے ہیں، اس لیے درست عدسہ مخالفانہ ہے (باب 4.2)۔ ہر ٹول، اس کے استحقاق کا دائرہ، اور آیا جذب شدہ مواد میں اسمگل کی گئی بدنیت ہدایت اس تک پہنچ سکتی ہے اس کی فہرست بنائیں۔ ایجنٹس کو اندرونی نظاموں سے جوڑنے والے انٹرپرائزز کے لیے یہ وہ جگہ ہے جہاں کم از کم استحقاق، sandboxing، اور ناقابل واپسی اعمال پر انسانی دروازے حقیقی بنتے ہیں۔ ٹولز کی فہرست اور ہر ایک کی رکھی اسناد لائیں۔ اگر کوئی نتیجہ خیز عمل توثیق یا انسانی جانچ کے بغیر قابل رسائی ہے تو وہی پہلی چیز ہے جسے ٹھیک کرنا ہے۔

3. ہمیں کیسے پتا چلے گا کہ ایجنٹ کی کامیابی کی شرح گر گئی، جبکہ ہر رن قابل یقین لگتا ہے؟ ایجنٹس غیر متعین ہیں، اس لیے ٹرانسکرپٹ جو اچھا پڑھے پھر بھی غلط عمل کر چکا ہو سکتا ہے، اور ایک سبز رن کچھ ثابت نہیں کرتا۔ پوچھیں کہ کیا آپ کے پاس قابل جانچ نتائج والے مقاصد کا تخمینے کا سیٹ ہے، جو ہر کیس کئی بار چلا کر ایک پاس کی بجائے کامیابی کی شرح دے۔ زیادہ داؤ یا عوامی تعیناتیوں کے لیے بحث کریں کہ رن کے سراغ آپ کو بالکل دوبارہ تشکیل دینے دیتے ہیں کہ جب کچھ غلط ہو تو کیا ہوا (ابواب 6.5 اور 6.6)۔ اگر آپ کا واحد اشارہ صارفین کی شکایات ہیں تو آپ پہلے ہی بہت دیر کر چکے۔ جواب کو واقعے کے بعد نہیں بلکہ پیمانہ بڑھانے سے پہلے تخمینے کا harness فنڈ کرنا چاہیے۔

4. اس ایجنٹ کے کون سے اعمال واقعی ناقابل واپسی ہیں، انہیں منظور کرنے کا اختیار کس کے پاس ہے، اور کیا ہمارے پاس اس دروازے کا عملہ دینے کے لیے ریویو کرنے والوں کی گنجائش ہے؟ لالچ ہر جگہ ماڈل کو بغیر نگرانی عمل کرنے دینے کا ہے، لیکن انسانی دروازہ تبھی حقیقی ہے جب انکار کے اختیار والا نام زد شخص تب دستیاب ہو جب ایجنٹ پوچھے۔ بڑی ٹیم کے لیے منظوری کی قطار جس کا کوئی مالک نہ ہو خاموشی سے مہر لگانے والی بن جاتی ہے، اور آپ کی ڈیزائن کی حفاظت حجم کے نیچے بخارات بن جاتی ہے۔ ایجنٹ کے کر سکنے والے اعمال کی پوری فہرست لائیں، ہر ایک کو الٹنے کے قابل یا ناقابل واپسی نشان زد کریں، اور اس کم اعتماد والے معاملات کے روزانہ حجم کا اندازہ لگائیں جو ریویو کرنے والے پر اتریں گے۔ دروازے کی رگڑ اور عملے کی لاگت کو بغیر نگرانی غلطی کے دھماکے کے دائرے کے مقابل تولیں، اور ناقابل واپسی عمل کو stage کیے، undo کے قابل عمل میں دوبارہ ڈیزائن کرنے کو ایک اور ریویو کرنے والا جوڑنے پر ترجیح دیں۔ انٹرپرائز اور سرکاری ترتیبوں میں ہر نتیجہ خیز عمل کو جوابدہ افسر اور تبدیلی کے انتظام کے ریکارڈ سے جوڑیں، کیونکہ شہری یا گاہک کو متاثر کرنے والا خودمختار عمل جسے کسی انسان نے منظور نہ کیا ہو ٹھیک وہ ناکامی ہے جو آڈٹ پائے گا۔

5. کیا ہم کثیر ایجنٹ ڈیزائن اس لیے چن رہے ہیں کہ کام واقعی تقسیم ہوتا ہے، یا اس لیے کہ یہ خوبصورت لگتا ہے؟ کام کو مخصوص ایجنٹس میں بانٹنا دلکش ہے، پھر بھی ہر اضافی ایجنٹ ہم آہنگی کا اوور ہیڈ اور ایسی ایک اور جگہ جوڑتا ہے جہاں چھوٹی غلطی غلط نتیجے میں مرکب ہو۔ بڑے ادارے کے لیے لاگت صرف خرچ اور تاخیر نہیں: کثیر ایجنٹ نظام کے ناکام ہونے پر اسے سراغ لگانا، تخمینہ کرنا، اور اس پر استدلال کرنا کہیں مشکل ہے، اس لیے ہر کردار جو آپ جوڑیں نظم و نسق کا بوجھ کئی گنا کرتا ہے۔ کام لائیں اور ٹھوس طور پر دکھائیں کہ کون سے حصے آزادانہ اور متوازی چلتے ہیں، پھر اسی تخمینے کے سیٹ پر کثیر ایجنٹ ورژن کی ناپی کامیابی کی شرح اور لاگت کا واحد ایجنٹ سے موازنہ کریں۔ اگر واحد ایجنٹ جیتے یا برابر رہے تو خوبصورت ڈیزائن ضرورت سے زیادہ انجینئرنگ ہے۔ ضابطے کے پابند یا عوامی تعیناتیوں کے لیے یاد رکھیں کہ زنجیر کا ہر ایجنٹ ایک اور جزو ہے جس کا معائنہ نگرانی کے ادارے کو کر سکنا چاہیے، اس لیے جو ساخت آپ جائز نہ ٹھہرا سکیں وہ اضافی ذمہ داری ہے۔

6. ایجنٹ کے قدموں، وقت، اور خرچ پر سخت بجٹ کیا ہیں، اور چکر میں پھنسا ایجنٹ لاگت یا تاخیر بڑھانے سے پہلے کیسے پکڑا جائے گا؟ ناکام عمل دہراتا ایجنٹ بغیر انتباہ پیسہ اور وقت جلا سکتا ہے، اس لیے لامحدود خودمختاری حفاظتی جتنی ہی مالی خطرہ ہے۔ بہت سے ایجنٹس چلانے والی بڑی ٹیم کے لیے ایک بگڑا چکر کلاؤڈ بل بڑھا سکتا ہے یا شرح کی حد ختم کر سکتا ہے جو ہر دوسرے کام کے بوجھ کو بھوکا رکھتی ہے، جو فی رن حدوں کو ایک ٹیم کا مسئلہ نہیں بلکہ مشترک آپریشنل تشویش بناتا ہے۔ ہر ایجنٹ کے موجودہ قدم، وقت، اور token کے بجٹ، الرٹنگ جو ان سے تجاوز پر چلے، اور چکر کی شناخت جو بے ترتیب ہاتھ پاؤں مارنے کی بجائے محفوظ طور پر ناکام ہو لائیں۔ تنگ بجٹ، جو جائز طور پر مشکل کام کاٹ سکتے ہیں، کو ڈھیلے بجٹ کے مقابل تولیں جو لاگت بے قابو ہونے دیں۔ انٹرپرائز اور سرکاری ترتیبوں میں جہاں خرچ کی پیش گوئی اور جواز ضروری ہے، وہ ایجنٹ جس کی لاگت لامحدود ہو بجٹ ریویو یا آڈٹ میں آپ کے دفاع کے قابل نہیں مد ہے۔

شعبہ جاتی نقطۂ نظر

اسٹارٹ اپ۔ ایک تنگ ایجنٹ بھیجیں جو آپ کی بنیادی قدر کو چھوتا ہو، میزبانی والے ماڈل پر، سب سے چھوٹے ٹول کے مجموعے کے ساتھ جو کام کرے اور قدموں اور خرچ پر سخت حد کے ساتھ۔ کثیر ایجنٹ ڈیمو کی مزاحمت کریں: آپ کی کم یاب انجینئرنگ کی توجہ ان کرداروں کو ہم آہنگ کرنے سے جنہیں آپ برقرار نہیں رکھ سکتے ایک ایجنٹ کی خودمختاری محدود کرنے اور اس کے رنز کا سراغ رکھنے پر بہتر خرچ ہوتی ہے۔ ہر نتیجہ خیز عمل کو ایک “مسودہ بناؤ، کبھی نہ بھیجو” دروازے کے پیچھے رکھیں تاکہ غلطی کو الٹنا ایک کلک کی لاگت لے، واقعے کی نہیں۔

چھوٹا کاروبار۔ آپ کے پاس تخمینے کا harness یا sandbox چلانے والا نہیں، اس لیے ان ٹولز میں ضم ایجنٹس کو ترجیح دیں جن پر آپ پہلے سے بھروسہ کرتے ہیں، اور صرف وہ خودمختاری چالو کریں جس کی آپ آنکھ سے نگرانی کر سکیں۔ کوئی بھی ایجنٹ جو آپ کی طرف سے بھیج، ادا، یا حذف کر سکے اسے اس وقت تک بند رکھیں جب تک انسان ہر عمل کی تصدیق نہ کرے، کیونکہ گاہک کو غلط خودکار پیغام آپ کو تعلق کی لاگت دیتا ہے۔ ان فروخت کنندگان کو ترجیح دیں جو دکھاتے ہیں کہ ایجنٹ نے کیا کیا اور خودکاری بند کرنے دیتے ہیں۔

بڑا ادارہ۔ مسئلہ بہت سی ٹیموں میں ایجنٹس کا نظم و نسق ہے: خودمختاری محدود کرنے، کم از کم استحقاق کی ٹول اسناد، sandboxing، human-in-the-loop دروازوں، اور سرے سے سرے تک سراغ رکھنے کے مشترک نمونے تاکہ کوئی گروہ guardrails دوبارہ ایجاد نہ کرے۔ ایجنٹس کو اندرونی نظاموں سے انہی رسائی کے کنٹرولز کے تحت جوڑیں جو انسان کے پاس ہوں، ناقابل واپسی اعمال نام زد منظور کنندگان اور تبدیلی کے انتظام کے پیچھے دروازہ دار کریں، اور پورٹ فولیو کو کامیابی کی شرح کی میٹرکس، فی رن بجٹ، اور مخالفانہ injection ٹیسٹنگ سے منظم کریں۔ سراغ اور تخمینے کی تہہ معیاری کریں تاکہ کسی بھی ایجنٹ کا برتاؤ دوبارہ تشکیل اور آڈٹ ہو سکے۔

حکومت۔ خریداری، شفافیت، اور عوامی جوابدہی ہر انتخاب کو محدود کرتی ہیں۔ ایجنٹس کو حقائق جمع کرنے اور مسودہ بنانے تک رکھیں، اور شہری کو متاثر کرنے والا ہر فیصلہ جوابدہ انسان کے لیے محفوظ رکھیں، کیونکہ عوامی شعبے کے فیصلے کی ذمہ داری ماڈل کو تفویض نہیں ہو سکتی۔ ہر رن لاگ کریں تاکہ نگرانی کا ادارہ دیکھ سکے کون سے ذرائع دیکھے گئے اور کیا کیا گیا، فروخت کنندگان سے ایجنٹ کے ٹولز اور حدود کا افشا مانگیں، اور مخالفانہ تخمینے کے سیٹ سے ثابت کریں کہ ایجنٹ اپنے محدود دائرے سے آگے عمل کرنے سے انکار کرتا ہے۔

مثالیں

اسٹارٹ اپ۔ پانچ افراد کا تجزیات کا اسٹارٹ اپ معاونت کی چھانٹی کا ایجنٹ بناتا ہے۔ یہ آنے والا ٹکٹ پڑھتا ہے، دستاویزات میں تلاش کرتا ہے، اور یا جواب کا مسودہ بناتا ہے یا ٹکٹ انسان کو route کرتا ہے، اور بس یہی ٹولز کا مجموعہ ہے۔ اسناد صرف پڑھنے کی ہیں جمع ایک “مسودہ بناؤ” عمل جو بغیر انسان کے send دبانے کے کبھی نہیں بھیجتا۔ ہر رن کا سراغ رکھا جاتا ہے تاکہ بانی دیکھ سکیں ٹکٹ جہاں route ہوا وہاں کیوں ہوا، اور پچاس حقیقی ٹکٹوں کا رات کا تخمینے کا سیٹ ہر ایک پر ایجنٹ کو پانچ بار چلاتا ہے تاکہ routing کی درستگی کی شرح ٹریک ہو۔ جب حریف کا ہوشیار کثیر ایجنٹ ڈیمو انہیں لبھاتا ہے تو وہ واحد ایجنٹ رہتے ہیں کیونکہ ان کا کام تقسیم نہیں ہوتا۔

بڑا ادارہ۔ بینک ایجنٹ بناتا ہے جو آپریشنز کے عملے کو ناکام ادائیگیوں کی مصالحت میں مدد دیتا ہے۔ یہ اندرونی نظاموں سے انہی رسائی کے کنٹرولز کے تحت جڑتا ہے جو انسانی کلرک کے پاس ہیں، صرف مصالحت تک محدود کم از کم استحقاق کی سروس کی اسناد سے۔ ایجنٹ آزادانہ تفتیش کر سکتا ہے (کھاتے پڑھیں، لین دین کی تاریخ تلاش کریں) مگر کوئی بھی عمل جو رقم منتقل کرے یا ریکارڈ ترمیم کرے stage ہوتا ہے اور نام زد انسانی منظور کنندہ مانگتا ہے، تبدیلی کے انتظام کو پورا کرتے ہوئے۔ جذب شدہ دستاویزات prompt injection کند کرنے کو غیر معتبر سمجھی جاتی ہیں، ٹولز sandbox میں چلتے ہیں، اور ہر رن آڈٹ کے لیے سرے سے سرے تک ٹریس ہوتا ہے۔ Offline تخمینے کا سیٹ ہر ماڈل یا prompt کی تبدیلی کا دروازہ ہے، اور فی رن بجٹ قدموں اور خرچ کی حد لگاتے ہیں تاکہ چکر میں پھنسا ایجنٹ لاگت یا تاخیر نہ بڑھا سکے۔

حکومت۔ فوائد کی ایجنسی کیس ورکرز کو دعوے کے حقائق جمع کرنے میں مدد کے لیے ایجنٹ کا pilot چلاتی ہے: ریکارڈ کھینچنا، اہلیت کے قواعد جانچنا، اور خلاصے کا مسودہ بنانا۔ ایجنسی سخت لکیر کھینچتی ہے: ایجنٹ جمع اور مسودہ بناتا ہے، مگر انسانی کیس ورکر ہر وہ فیصلہ کرتا اور اس کا مالک ہے جو شہری کو متاثر کرتا ہے، کیونکہ عوامی شعبے کے فیصلوں کی جوابدہی ماڈل کو تفویض نہیں ہو سکتی (باب 6.5)۔ ہر رن مکمل لاگ ہوتا ہے، جو دکھاتا ہے کون سے ذرائع دیکھے گئے اور کیا مسودہ بنا، تاکہ نگرانی کا ادارہ کوئی بھی کیس آڈٹ کر سکے۔ خودمختاری دانستہ پڑھنے-اور-مسودے تک محدود ہے، ٹولز کم از کم استحقاق اور sandbox شدہ ہیں، اور مخالفانہ تخمینے کا سیٹ تصدیق کرتا ہے کہ ایجنٹ حقائق جمع کرنے سے آگے عمل کرنے سے انکار کرتا ہے۔

کاروباری جواز: محرکات، ROI اور TCO

ایجنٹس وہ کثیر قدمی کام خودکار کر کے واپسی دیتے ہیں جس کے لیے پہلے شخص کو نظاموں کے بیچ کلک کرنا پڑتا تھا: چھانٹی، مصالحت، تحقیق، اور معمول کے آپریشنز۔ قدر ہر قدم میں انسان کے بغیر مکمل ہوئے کام، تیز سائیکل ٹائم، اور فیصلے کے بھاری کاموں کے لیے آزاد عملے کے طور پر نظر آتی ہے۔ چونکہ ایجنٹس موجودہ LLMs اور ٹولز پر بنتے ہیں، کام کرتے prototype تک وقت مختصر ہے، جو ٹھیک وجہ ہے کہ ٹیمیں ضرورت سے زیادہ بناتی ہیں۔

ملکیت کی کل لاگت وہ جگہ ہے جہاں ایجنٹس سادہ LLM فیچرز سے مختلف ہیں۔ inference کی لاگت کے اوپر آپ ٹول کے انضمام، sandboxing اور اجازت کی پلمبنگ، تخمینے کے harness، سراغ اور مشاہدے کے اسٹیک (باب 6.6)، اور منظوری کے دروازوں کا عملہ دینے والے انسانی ریویو کرنے والوں کی ادائیگی کرتے ہیں۔ چکر میں پھنسا یا بری طرح محدود ایجنٹ متغیر لاگت جوڑتا ہے جو بغیر انتباہ ابھر سکتی ہے، اس لیے قدموں اور خرچ پر بجٹ ڈیزائن کا حصہ ہیں، بعد کا خیال نہیں۔ نہ اپنانے کی لاگت سست آپریشنز اور دستی مشقت ہے جو آپ کے حریف خودکار کرتے ہیں۔ لاپرواہی سے اپنانے کی لاگت خودمختار عمل ہے جو غلط پیغام بھیجے، ڈیٹا لیک کرے، یا ناجوابدہ فیصلہ کرے۔ قیادت کے سامنے دلیل ایک ٹھوس خودکاری کے ہدف کو guardrails، تخمینے، اور انسانی نگرانی کے ٹھوس منصوبے سے جوڑ کر رکھیں، اور ایماندار رہ کر کہ guardrails زیادہ تر لاگت ہیں۔

ضد نمونے اور خامیاں

• ورک فلو کافی ہوتا تو ایجنٹ۔ ایسے کام کے لیے خودمختاری کا پورا خطرہ لینا جس کے قدم معلوم تھے۔
• حد سے وسیع ٹولز اور اسناد۔ تنگ، کم از کم استحقاق والوں کی بجائے ایک “سب کچھ کرو” ٹول۔
• prompt injection سے اندھا پن۔ غیر معتبر مواد ایسے ایجنٹ کو کھلانا جس کے پاس حقیقی مراعات ہیں۔
• ناقابل واپسی اعمال پر انسانی دروازہ نہیں۔ ماڈل کو بغیر جانچ بھیجنے، ادا، یا حذف کرنے دینا۔
• کثیر ایجنٹ تھیٹر۔ سادہ کام کو ایجنٹس میں بانٹنا، بغیر فائدے کے ہم آہنگی کی لاگت ادا کرنا۔
• اندازے پر تخمینہ۔ کامیابی کی شرح کی بجائے ٹرانسکرپٹ کے پڑھنے کے انداز سے پرکھنا۔
• لامحدود چکر۔ قدموں، وقت، یا خرچ پر حد نہیں، اس لیے پھنسا ایجنٹ پیسہ اور تاخیر جلاتا ہے۔
• بغیر سراغ کے رنز۔ ایجنٹ نے کیا کیا اس کا کوئی ریکارڈ نہیں، آپ کو debug، آڈٹ، یا حساب دینے سے قاصر چھوڑتا ہوا۔

پختگی کا ماڈل

• سطح 1، آغاز: ایجنٹس وسیع ٹول کی رسائی اور بغیر حدوں کے فی البدیہہ prototype ہوتے ہیں۔ کامیابی ڈیموز سے، ردعملی طور پر، کچھ ٹوٹنے کے بعد پرکھی جاتی ہے۔ کوئی تخمینے کا سیٹ، کوئی سراغ، اور نتیجہ خیز اعمال پر کوئی انسانی دروازہ نہیں۔
• سطح 2، ترقی: کچھ ایجنٹس کے چکر محدود اور ٹولز کم از کم استحقاق کے ہیں، اور بنیادی سراغ رکھنا موجود ہے، مگر عمل ٹیم سے ٹیم مختلف ہے۔ دستی تخمینے کا سیٹ چند منصوبوں میں بڑی regressions پکڑتا ہے جبکہ دوسروں میں نہیں۔ انسانی منظوری سب سے واضح ناقابل واپسی اعمال کی حفاظت کرتی ہے، مگر کوریج ناہموار اور غیر دستاویزی ہے۔
• سطح 3، معیار بندی: مشترک نمونے خودمختاری، ٹول کی اجازتوں، sandboxing، اور human-in-the-loop دروازوں کو منظم کرتے ہیں، ہر ٹیم میں دستاویزی اور نافذ۔ ہر نتیجہ خیز عمل دروازہ دار یا توثیق شدہ ہے، ایجنٹس سرے سے سرے تک ٹریس ہوتے ہیں، اور کامیابی کی شرح کی اسکورنگ والا خودکار تخمینے کا سیٹ ہر تبدیلی پر چلتا ہے۔ Prompt injection کو متعین جواب کے ساتھ مستقل خطرہ سمجھا جاتا ہے۔
• سطح 4، انتظام: ایجنٹ کا پورٹ فولیو بنیادی خطوط کے مقابل ناپا اور کنٹرول کیا جاتا ہے۔ فی کام کامیابی کی شرح، prompt injection کے دفاع کی پاس کی شرح، فی رن لاگت اور قدموں کی گنتی، انسانی منظوری کی تاخیر، اور چکر یا ناکامی کے واقعات میٹرکس کے طور پر ٹریک ہوتے ہیں؛ rollback اور بند کرنے کی حدیں شکایات کی بجائے اس شہادت پر نافذ ہوتی ہیں۔ قدموں، وقت، اور خرچ پر فی رن بجٹ مانیٹر ہوتے ہیں، اور کسی بھی میٹرک میں regression واقعے کے بعد نہیں بلکہ پیمانے سے پہلے عمل ٹرگر کرتی ہے۔
• سطح 5، ہم آہنگی: خودمختاری پالیسی سے کام کے خطرے سے ملائی جاتی ہے اور نتائج آنے پر مسلسل ایڈجسٹ ہوتی ہے۔ مسلسل offline اور online تخمینہ ایجنٹ کے برتاؤ کو کاروباری نتائج سے جوڑتا ہے، اور ادارہ خطرے کی تصویر بدلنے پر معمول سے ایجنٹس کو ریٹائر، دوبارہ دائرہ بند، یا دوبارہ اجازت دیتا ہے۔ سراغ رکھنا، لاگت کے بجٹ، اور آڈٹ کے نشان پورے پورٹ فولیو میں یکساں ہیں؛ injection اور confused-deputy کے دفاع کی مخالفانہ جانچ ہوتی ہے؛ خودمختار اعمال کی جوابدہی واضح اور قابل آڈٹ ہے۔

بحث کے لیے خیالات

1. آپ کے موجودہ LLM فیچرز میں سے کون سے خاموشی سے ایجنٹس بن گئے ہیں، اور کیا ہر ایک کی خودمختاری مقصد سے محدود کی گئی ہے؟
2. ہر ایجنٹ ٹول کے لیے، حملہ آور کے لیے injected مواد سے اس کا غلط استعمال کرنے کا سستا ترین طریقہ کیا ہے، اور اسے کیا روکتا ہے؟
3. آپ نے کثیر ایجنٹ ڈیزائن کہاں چنے ہیں، اور کیا آپ دکھا سکتے ہیں کہ ہم آہنگی کی لاگت واحد ایجنٹ کے مقابل ادا ہوئی؟
4. ایجنٹ کے کون سے اعمال واقعی ناقابل واپسی ہیں، اور کیا ان سب کو الٹنے کے قابل یا stage کرنے کے لیے دوبارہ ڈیزائن کیا جا سکتا ہے؟
5. اگر ایجنٹ کل نقصان دہ عمل کرے تو کیا آپ بالکل دوبارہ تشکیل دے سکتے ہیں کہ اس نے کیا کیا اور جوابدہ کون تھا؟

اہم نکات

• ایجنٹ ٹولز، یادداشت، اور مقصد کے ساتھ چکر میں LLM ہے۔ خطرہ چکر اور ٹولز میں رہتا ہے، متن میں نہیں۔
• جب قدم معلوم ہوں تو مقررہ ورک فلو کو ترجیح دیں؛ خودمختاری واقعی کھلے مقاصد کے لیے رکھیں اور اسے سختی سے محدود کریں۔
• ٹول کا استعمال بنیادی صلاحیت ہے۔ ہر ٹول کو کم از کم استحقاق، توثیق شدہ schema، اور sandbox دیں۔
• نتیجہ خیز اور ناقابل واپسی اعمال کو حقیقی اختیار والے انسان کے پیچھے دروازہ دار کریں، اور سستی واپسی کے لیے ڈیزائن کریں۔
• ایجنٹس کو مخالفانہ سمجھیں: prompt injection اور confused-deputy کے غلط استعمال سے دفاع کریں (باب 4.2)۔
• بہت سے رنز میں کام کی کامیابی کی شرح پر تخمینہ کریں، اور debug، لاگت کے کنٹرول، اور آڈٹ کے لیے ہر رن کا سراغ رکھیں (ابواب 6.5 اور 6.6)۔
• اکثر درست جواب ایجنٹ بنانا ہی نہیں ہے۔

حوالہ جات اور مزید مطالعہ

• Shunyu Yao et al., ReAct: Synergising Reasoning and Acting in Language Models.
• Timo Schick et al., Toolformer: Language Models Can Teach Themselves to Use Tools.
• Anthropic, Building Effective Agents (engineering guidance on workflows versus agents).
• OWASP Foundation, OWASP Top 10 for Large Language Model Applications (including prompt injection and excessive agency).
• Simon Willison, writing on prompt injection and the “lethal trifecta” for AI agents.
• Norman Hardy, The Confused Deputy (the classic statement of the confused-deputy problem).
• Chip Huyen, AI Engineering: Building Applications with Foundation Models.
• Stuart Russell and Peter Norvig, Artificial Intelligence: A Modern Approach (intelligent agents and rational action).