6.6 AI অবকাঠামো ও পরিচালনা

পরিচিতি ও প্রেরণা

AI অবকাঠামো ও পরিচালনা হলো AI ওয়ার্কলোড যে বিশেষায়িত কম্পিউট, সংরক্ষণ ও সার্ভিং সিস্টেম দাবি করে তা প্রভিশন, সূচিবদ্ধ ও পরিচালনার শৃঙ্খলা, ব্যয়-সাশ্রয়ীভাবে, নির্ভরযোগ্যভাবে ও পর্যবেক্ষণযোগ্যভাবে। আধুনিক AI চালানো ব্যয়বহুল। বড় মডেল প্রশিক্ষণ ও সার্ভিংয়ে দুর্লভ এক্সিলারেটর (GPU ও TPU), উচ্চ-ব্যান্ডউইথ নেটওয়ার্কিং, পুনরুদ্ধারের জন্য বড় পরিসরের ভেক্টর সংরক্ষণ (ডেটাকে সংখ্যাসূচক ভেক্টর হিসেবে সূচিবদ্ধ করা যাতে অনুরূপ আইটেম দ্রুত পাওয়া যায়), এবং বিলম্ব ও থ্রুপুটের জন্য টিউন করা সার্ভিং স্তর লাগে। এই অবকাঠামো সঠিক করাই টেকসইভাবে স্কেল করা AI এবং কম সরবরাহ করতে করতে নীরবে বাজেট খাওয়া AI-র পার্থক্য।

বড় দলের জন্য মূল সমস্যা পরিসর, দুর্লভতা ও খরচ। এক্সিলারেটর সীমিত ও দামি, তাই সূচিবদ্ধকরণ ও ব্যবহার অত্যন্ত গুরুত্বপূর্ণ। নিষ্ক্রিয় GPU পোড়া অর্থ, এবং খারাপভাবে ব্যাচ করা অনুমান প্রতি অনুরোধের খরচ বহুগুণ করে। পুনরুদ্ধার-ভারী অ্যাপ্লিকেশনের এমন ভেক্টর ডেটাবেস দরকার যা বাড়লেও দ্রুত থাকে। জেনারেটিভ AI অ্যাপ্লিকেশনের নিরাপদে চলতে ও সময়ের সঙ্গে উন্নত হতে প্রম্পট সংস্করণ, মূল্যায়ন পাইপলাইন এবং পর্যবেক্ষণযোগ্যতা (কখনো LLMOps বলা হয়) দরকার। ভাগ করা অবকাঠামো ও পরিচালনগত শৃঙ্খলা ছাড়া প্রতিটি দল একই লড়াই লড়ে এবং খরচ পেঁচিয়ে ওঠে।

সরকারি ও নিয়ন্ত্রিত প্রতিষ্ঠান ডেটা সার্বভৌমত্ব, নিরাপত্তা ও পূর্বাভাসযোগ্য ব্যয় ঘিরে প্রয়োজন যোগ করে। সংবেদনশীল ডেটা ও মডেল নিয়ন্ত্রিত সীমানা ছেড়ে না যাওয়ার জন্য তাদের অন-প্রেম বা সার্বভৌম-ক্লাউড ডিপ্লয়মেন্ট লাগতে পারে। তাদের অবকাঠামো ব্যয় পূর্বাভাস ও যথার্থ করতে এবং নিরাপত্তা ও উপলব্ধতা মান পূরণ করতে হয়। এই পরিবেশে AI অবকাঠামো সিদ্ধান্ত বহু-বছরের পরিণতি বহন করে, তাই ক্রয়, নিরাপত্তা ও প্রস্থান মাথায় রেখে সেগুলো নিন।

মূল নীতিসমূহ

• এক্সিলারেটর কম্পিউটকে মজুত নয়, সূচিবদ্ধ ও ব্যবহার করার দুর্লভ, ব্যয়বহুল সম্পদ গণ্য করুন।
• কাঁচা ক্ষমতা নয়, প্রতি উপযোগী কাজের একক খরচ অপ্টিমাইজ করুন।
• মডেল ও হার্ডওয়্যার কাজের আকারে মেলান; বৃহত্তম বিকল্প কদাচিৎ সবচেয়ে ব্যয়-কার্যকর।
• সার্ভিং বিলম্ব ও থ্রুপুটের জন্য নকশা করুন, ব্যাচিং ও ক্যাশিংকে প্রথম-শ্রেণির কৌশল হিসেবে।
• AI সিস্টেম পর্যবেক্ষণযোগ্য করুন: খরচ, বিলম্ব, মান ও ত্রুটি নিরন্তর অনুসরণ করুন।
• প্রম্পট ও মডেল কোডের মতো একই কঠোরতায় সংস্করণ ও মূল্যায়ন করুন।
• অবকাঠামো ও সার্ভিং পছন্দে বহনযোগ্যতার জন্য পরিকল্পনা করুন এবং আবদ্ধতা এড়ান।

সুপারিশ

এক্সিলারেটর কম্পিউট পরিকল্পনা ও নিয়ন্ত্রণ করুন

প্রশিক্ষণ ও অনুমানের চাহিদা আলাদাভাবে পূর্বাভাস দিন, কারণ তাদের আকার ভিন্ন। প্রশিক্ষণ বিস্ফোরক ও সূচিবদ্ধযোগ্য; অনুমান ধারাবাহিক ও বিলম্ব-সংবেদনশীল। দুর্লভ GPU ও TPU দল জুড়ে ভাগ করতে, কাজ অগ্রাধিকার দিতে এবং ব্যবহার বাড়াতে সূচিবদ্ধকারী ও কোটা ব্যবহার করুন। ব্যবহার মাপুন এবং দীর্ঘস্থায়ী নিষ্ক্রিয়তাকে সারানোর সমস্যা গণ্য করুন। খরচ নিয়ন্ত্রণে ভিত্তি লোডের জন্য সংরক্ষিত ক্ষমতা এবং বিস্ফোরণের জন্য অন-ডিমান্ড বা স্পট ক্ষমতা মেশান। সস্তা বা ছোট এক্সিলারেটর, বা হালকা মডেলের জন্য CPU অনুমান যথেষ্ট হবে কি না বিবেচনা করুন। আপনার পরিসরে খরচ, ডেটা-সার্বভৌমত্ব প্রয়োজন এবং বিস্ফোরণ প্যাটার্নের ভিত্তিতে ক্লাউড, অন-প্রেম ও হাইব্রিডের মধ্যে বাছুন, এবং একটি প্রস্থান পথ রাখুন।

পুনরুদ্ধার অবকাঠামো গড়ুন: এমবেডিং ও ভেক্টর ডেটাবেস

পুনরুদ্ধার-বর্ধিত অ্যাপ্লিকেশনের জন্য এমবেডিং (সংখ্যাসূচক ভেক্টর উপস্থাপনা যা অনুরূপ আইটেম কাছাকাছি রাখে) তৈরি এবং আপনার পরিসরে দ্রুত আনুমানিক নিকটতম-প্রতিবেশী অনুসন্ধান (প্রতিটি তুলনা না করে সবচেয়ে অনুরূপ ভেক্টর খোঁজা) সমর্থনকারী একটি ভেক্টর ডেটাবেসে সংরক্ষণের অবকাঠামো দাঁড় করান। তিনটি বিষয়ের জন্য পরিকল্পনা করুন: এমবেডিং তৈরির খরচ ও বিলম্ব, নথি বদলালে সূচির সতেজতা, এবং সূচি সামঞ্জস্যপূর্ণ রাখার পরিচালনগত বোঝা। একটি নিবেদিত ভেক্টর ডেটাবেস, বিদ্যমান ডেটাবেসের ভেক্টর-সক্ষম এক্সটেনশন বা একটি ম্যানেজড সেবা আপনার পরিসর ও আবদ্ধতা সহনশীলতায় সবচেয়ে ভালো মানায় কি না মূল্যায়ন করুন। পুনরুদ্ধার বিলম্ব ও রিকল পর্যবেক্ষণ করুন, কারণ পুনরুদ্ধার মান সরাসরি অ্যাপ্লিকেশন মান নির্ধারণ করে।

মডেল সার্ভিং অপ্টিমাইজ করুন: ব্যাচিং, ক্যাশিং ও বিলম্ব

সার্ভিংয়ে অনুমান খরচ ও ব্যবহারকারী অভিজ্ঞতা ঠিক হয়। একসঙ্গে একাধিক অনুরোধ প্রক্রিয়া করে এক্সিলারেটর থ্রুপুট বাড়াতে ব্যাচিং ব্যবহার করুন, বিলম্বের বিপরীতে ব্যাচ আকার ভারসাম্য করে। আক্রমণাত্মকভাবে ক্যাশিং ব্যবহার করুন: অভিন্ন বা শব্দার্থিকভাবে অনুরূপ অনুরোধ ক্যাশ করুন, এমবেডিং ক্যাশ করুন, এবং ভাগ করা প্রসঙ্গ পুনর্গণনা এড়াতে প্ল্যাটফর্ম সমর্থন করলে প্রম্পট বা প্রিফিক্স ক্যাশিং কাজে লাগান। স্পষ্ট বিলম্ব লক্ষ্য ঠিক করুন, এবং কেবল গড় নয়, লেজের বিলম্ব মাপুন। অনুরোধ সঠিক-আকারের মডেলে রুট করুন: সহজ কেসের জন্য ছোট মডেল, দরকার হলেই বড়। চাহিদা অনুযায়ী সার্ভিং অটোস্কেল করুন, এবং আপনি আপনার ক্ষমতা ও খরচ বক্ররেখা জানতে লঞ্চের আগে লোড-টেস্ট করুন।

LLMOps চর্চা করুন: প্রম্পট সংস্করণ, মূল্যায়ন পাইপলাইন ও পর্যবেক্ষণযোগ্যতা

প্রম্পটকে সোর্স নিয়ন্ত্রণে সংস্করণ করা নিদর্শন গণ্য করুন, পর্যালোচনা ও রোলব্যাকের সামর্থ্যসহ। এমন মূল্যায়ন পাইপলাইন গড়ুন যা প্রম্পট বা মডেল বদলালেই স্বয়ংক্রিয়ভাবে অফলাইন টেস্ট স্যুট চালায়, যাতে আপনি রিলিজের আগে রিগ্রেশন ধরেন। স্যাম্পলিং ও গোপনীয়তা সুরক্ষাসহ ইনপুট, আউটপুট, বিলম্ব, টোকেন ব্যবহার, খরচ ও ত্রুটি লগ করে প্রোডাকশন ব্যাপকভাবে যন্ত্রসজ্জিত করুন। অনলাইন মান সংকেত ও ব্যবহারকারী প্রতিক্রিয়া অনুসরণ করুন। এই পর্যবেক্ষণযোগ্যতা আপনাকে অবনতি ধরতে, খরচ নিয়ন্ত্রণ করতে, ব্যর্থতা ডিবাগ করতে এবং নিরাপদে সিস্টেম উন্নত করতে দেয়: প্রোডাকশনে জেনারেটিভ AI-র পরিচালনগত মেরুদণ্ড।

নির্মমভাবে ও পর্যবেক্ষণযোগ্যভাবে খরচ পরিচালনা করুন

দল ও ব্যবহার ক্ষেত্রে AI ব্যয় আরোপ করুন যাতে খরচ দৃশ্যমান ও মালিকানাধীন হয়। বাজেট ও সতর্কতা ঠিক করুন, প্রতি অনুরোধ ও প্রতি ফল খরচ পর্যবেক্ষণ করুন, এবং সবচেয়ে বড় খরচ চালকগুলো নিয়মিত পর্যালোচনা করুন। আপনার হাতের লিভার টানুন: মডেল সঠিক-আকার, ক্যাশিং, ব্যাচিং, প্রম্পট ও প্রসঙ্গ ছাঁটা, এবং প্রয়োজন পূরণ করে সবচেয়ে সস্তা ডিপ্লয়মেন্ট বাছা। AI খরচ ব্যবহারের সঙ্গে বিস্ময়কর উপায়ে স্কেল করতে পারে, তাই অপ্রীতিকর বিস্ময় এড়াতে নিরন্তর খরচ পর্যবেক্ষণযোগ্যতা অপরিহার্য।

ট্রেড-অফ: সুবিধা ও অসুবিধা

সিদ্ধান্ত	বিকল্প A	বিকল্প B	বিনিময়
কম্পিউট অবস্থান	ক্লাউড	অন-প্রেম	স্থিতিস্থাপকতা ও কম অগ্রিম খরচ বনাম নিয়ন্ত্রণ, সার্বভৌমত্ব ও স্থির-অবস্থা অর্থনীতি
ক্ষমতা	সংরক্ষিত	অন-ডিমান্ড/স্পট	পূর্বাভাসযোগ্য খরচ বনাম নমনীয়তা ও বিঘ্ন ঝুঁকি
ব্যাচ আকার	বড় ব্যাচ	ছোট ব্যাচ	থ্রুপুট ও খরচ বনাম বিলম্ব
মডেল আকার	বড় মডেল	ছোট মডেল	মান বনাম খরচ ও গতি
ভেক্টর স্টোর	নিবেদিত ডেটাবেস	বিদ্যমান ডেটাবেস এক্সটেনশন	পরিসরে কর্মক্ষমতা বনাম সরলতা ও কম সিস্টেম
ক্যাশিং	আক্রমণাত্মক	ন্যূনতম	কম খরচ ও বিলম্ব বনাম সতেজতা ও জটিলতা

প্রধান বিনিময় খরচ বনাম বিলম্ব ও মান। ব্যাচিং, ক্যাশিং ও ছোট মডেল খরচ কাটে কিন্তু বিলম্ব যোগ বা মান কমাতে পারে। সঠিক ভারসাম্য আপনার অ্যাপ্লিকেশনের সহনশীলতার ওপর নির্ভর করে। অন-প্রেম বনাম ক্লাউড নিয়ন্ত্রণ ও স্থির-অবস্থা অর্থনীতিকে স্থিতিস্থাপকতা ও কম প্রতিশ্রুতির বিপরীতে বিনিময় করে, একটি সিদ্ধান্ত ডেটা-সার্বভৌমত্ব প্রয়োজন ও পরিসর দ্বারা প্রবলভাবে আকার পাওয়া।

আপনার দলের সঙ্গে আলোচনার প্রশ্ন

1. আজ আমাদের প্রতি উপযোগী ফলের খরচ কত, এবং কোন লিভার তা সবচেয়ে বেশি সরাবে? কাঁচা ক্ষমতা ও প্রতি-অনুরোধ গড় সেই সংখ্যা লুকায় যা গুরুত্বপূর্ণ: একটি প্রকৃত একক মূল্য পৌঁছাতে খরচ কত, এবং তা ব্যবহারের সঙ্গে কীভাবে স্কেল করে। একটি বড় দলের জন্য অপ্টিমাইজড ও অ-অপ্টিমাইজড ডিপ্লয়মেন্টের মধ্যকার ফাঁক প্রায়ই ব্যয়ে কয়েকগুণ, তাই এই প্রশ্ন বিলের একটি অস্পষ্ট উদ্বেগকে সমাধানের একটি র‍্যাঙ্ক করা তালিকায় পরিণত করে। দল ও ব্যবহার ক্ষেত্র অনুযায়ী বর্তমান খরচ আরোপ, প্রতি-অনুরোধ ও প্রতি-ফল প্রবণতা, এবং সবচেয়ে বড় খরচ চালক আনুন। লাভের ক্রমে লিভার আলোচনা করুন: মডেল সঠিক-আকার, ক্যাশিং (প্রিফিক্স ও শব্দার্থিক ক্যাশিংসহ), ব্যাচিং, এবং প্রম্পট বা প্রসঙ্গ ছাঁটা। সরকারে বহু-বছরের ব্যয় পূর্বাভাস ও যথার্থ করার চাপ যোগ করুন। উত্তর প্রতিটি শীর্ষ খরচ চালককে একজন মালিক ও একটি লিভার দেওয়া উচিত, কাঁধ ঝাঁকানি নয়।

2. আমাদের বর্তমান অনুমান প্রদানকারী কাল তার দাম দ্বিগুণ করলে বা বন্ধ হয়ে গেলে, আমরা কত দ্রুত বদলাতে পারতাম? নীরব আবদ্ধতা গড়া সহজ এবং পালানো যন্ত্রণাদায়ক, এবং সার্ভিং স্ট্যাক সেটি সবচেয়ে গভীরে লুকায়। এন্টারপ্রাইজ এবং বিশেষত সরকারের জন্য বহনযোগ্যতা একটি ক্রয় ও ধারাবাহিকতা প্রয়োজন, সৌজন্য নয়। আপনার স্থাপত্য আনুন: মডেল অভ্যন্তরীণ ইন্টারফেসের পেছনে বসে কি না, প্রম্পট ও মূল্যায়ন স্যুট বহনযোগ্য কি না, এবং আপনি কতটা প্রদানকারী-নির্দিষ্ট সার্ভিং আচরণের ওপর নির্ভর করেন। লক্ষ করার সংকেত হলো কেউ কখনো আপনার মূল্যায়ন স্যুট একটি দ্বিতীয় প্রদানকারী বা দ্বিতীয় ডিপ্লয়মেন্ট লক্ষ্যের বিপরীতে চালিয়েছে কি না। বদলাতে মাস লাগলে ও মূল পথ পুনর্লিখন করতে হলে তা এখন সম্বোধন করার নকশা ত্রুটি গণ্য করুন, কারণ সার্বভৌম ও অন-প্রেম বিকল্প সামান্য নোটিশে বাধ্যতামূলক হতে পারে।

3. এখন আমাদের এক্সিলারেটর ব্যবহার কত, এবং নিষ্ক্রিয় GPU ও অ-ব্যাচ করা অনুমান কতটা পোড়াচ্ছে? এক্সিলারেটর দুর্লভ ও ব্যয়বহুল, তাই দীর্ঘস্থায়ী নিষ্ক্রিয়তা ও প্রতি-অনুরোধ সার্ভিং নীরবে আরও সামর্থ্যে অর্থায়ন করতে পারত এমন বাজেট নিংড়ে নেয়। দল জুড়ে GPU ভাগ করা একটি বড় প্রতিষ্ঠানের জন্য এই প্রশ্ন প্রকাশ করে সূচিবদ্ধকরণ, কোটা ও অগ্রাধিকার আসলে ব্যবহার উচ্চ রাখে নাকি মজুত, কম-ব্যবহৃত হার্ডওয়্যারই নিয়ম। প্রকৃত ব্যবহার সংখ্যা, আপনার ব্যাচিং ও ক্যাশিং অবস্থান এবং আপনার লেজের বিলম্ব মাপ আনুন, কেবল গড় নয়, কারণ ব্যবহারকারীরা ধীর লেজ অনুভব করে। আলোচনা করুন প্রশিক্ষণ ও অনুমান চাহিদা আলাদাভাবে পূর্বাভাস করা হয় কি না, তাদের ভিন্ন আকার দেওয়া, এবং হালকা কেসে একটি ছোট মডেল বা CPU অনুমান যথেষ্ট হবে কি না। উত্তর পুনরুদ্ধার করার নির্দিষ্ট নিষ্ক্রিয় ক্ষমতা এবং ব্যাচ বা সঠিক-আকারের মডেলে রুট করার নির্দিষ্ট অনুরোধের দিকে নির্দেশ করা উচিত।

4. একটি প্রম্পট বা মডেল পরিবর্তন পাঠানো হলে, একটি নীরব মান বা খরচ রিগ্রেশন ব্যবহারকারীদের কাছে পৌঁছানো কী ঠেকায়? একটি সার্ভিং স্ট্যাক বিলম্ব ও আপটাইমে সুস্থ দেখাতে পারে যখন এটি যে উত্তর ফেরত দেয় তা নীরবে খারাপ হয় বা একটি নতুন প্রম্পট প্রতি অনুরোধে টোকেন ব্যবহার দ্বিগুণ করে। অনেক গোষ্ঠী স্বাধীনভাবে প্রম্পট সম্পাদনা ও মডেল বদলানো একটি বড় দলের জন্য একটি গেটহীন পরিবর্তন ঘটার অপেক্ষায় থাকা প্রোডাকশন ঘটনা, এবং ভাগ করা প্ল্যাটফর্মে প্রতিটি দলের সঙ্গে ক্ষতির পরিসর বাড়ে। আপনার মূল্যায়ন কভারেজ আনুন: কোন প্রম্পট ও মডেলের অফলাইন টেস্ট স্যুট আছে, সেই স্যুট প্রতিটি পরিবর্তনে স্বয়ংক্রিয়ভাবে চলে কি না, কোন মান ও খরচ সীমা একটি রিলিজ গেট করে, এবং আপনি কত দ্রুত রোলব্যাক করতে পারেন। আলোচনা করুন প্রম্পট পর্যালোচনাসহ সোর্স নিয়ন্ত্রণে থাকে কি না, নাকি কেউ এখনো হাতে একটি লাইভ সিস্টেম প্রম্পট সম্পাদনা করতে পারে। এন্টারপ্রাইজ ও সরকারি পরিবেশে প্রতিটি পরিবর্তন একটি নিরীক্ষা ট্রেইল ও একজন নামকরা অনুমোদনকারীর সঙ্গে বাঁধুন, কারণ “এটি কে বদলেছে এবং আপনি কী পরীক্ষা করেছেন” জিজ্ঞেস করা একজন নিয়ন্ত্রকের এমন উত্তর দরকার যা রেকর্ড করা, মনে রাখা নয়।

5. ক্লাউড, অন-প্রেম ও সার্বভৌম ডিপ্লয়মেন্টের মধ্যে আমরা কীভাবে ঠিক করি, এবং আমরা কি পাইলটের বদলে প্রকৃত স্থির-অবস্থা অর্থনীতির দাম ঠিক করেছি? কম্পিউট-অবস্থান পছন্দ বছরের পর বছর আপনার খরচ বক্ররেখা, ডেটা-সার্বভৌমত্ব অবস্থান এবং প্রস্থান বিকল্প ঠিক করে, তবু এটি প্রায়ই একটি পাইলটের ক্লাউড বিলে নেওয়া হয় যা পরিসরে প্রোডাকশনের মতো কিছু দেখায় না। একটি বড় প্রতিষ্ঠানের জন্য স্থিতিস্থাপক ক্লাউড ক্ষমতা শুরু করা সস্তা এবং অনুমান ধারাবাহিকভাবে চললে সবচেয়ে বড় একক লাইন হতে পারে, যেখানে অন-প্রেম কম প্রতিশ্রুতি নিয়ন্ত্রণ ও স্থির-অবস্থা অর্থনীতির বিনিময়ে দেয়। পূর্বাভাস প্রশিক্ষণ ও অনুমান পরিমাণ, সংরক্ষিত বা মালিকানাধীন হার্ডওয়্যার অন-ডিমান্ডকে হারানোর ব্রেক-ইভেন বিন্দু, আপনার ডেটা-আবাসন ও নিরাপত্তা সীমাবদ্ধতা, এবং হাইব্রিডের পক্ষে যুক্তি দেওয়া বিস্ফোরণ প্যাটার্ন আনুন। সরকারি ও নিয়ন্ত্রিত পরিবেশে সার্বভৌম-ক্লাউড বা অন-প্রেম প্রয়োজন ওজন করুন যা সামান্য নোটিশে বাধ্যতামূলক হতে পারে, এবং নিশ্চিত করুন স্থাপত্য মডেলকে একটি অভ্যন্তরীণ ইন্টারফেসের পেছনে রাখে যাতে একটি বাধ্যতামূলক সরণ মূল পথ পুনর্লিখন না করে।

6. আমরা কি সত্যিই আমাদের AI ব্যয়ের মালিক, এবং প্রতিটি দল কি যে খরচ চালায় তা দেখতে ও তার জন্য জবাব দিতে পারে? AI খরচ ব্যবহারের সঙ্গে মানুষকে অবাক করা উপায়ে স্কেল করে, এবং আরোপ ছাড়া বিল একটি অস্বচ্ছ সংখ্যা হিসেবে নামে যা কমানোর দায়িত্ব কোনো দল অনুভব করে না। একটি বড় প্রতিষ্ঠানে কেউ মালিক নয় এমন খরচ কেউ অপ্টিমাইজ করে না, তাই প্রশ্ন হলো ব্যয় বাজেট, সতর্কতা ও প্রতি-ফল প্রবণতাসহ দল ও ব্যবহার ক্ষেত্রে ট্যাগ করা কি না, নাকি অর্থ এসকেলেট করলেই আবিষ্কৃত। আপনার খরচ-আরোপ মডেল, দল অনুযায়ী বৃহত্তম চালক, এবং প্রতিটি মালিক যে লিভার নিয়ন্ত্রণ করে তা আনুন: সঠিক-আকার, ক্যাশিং, ব্যাচিং ও প্রসঙ্গ ছাঁটা। এন্টারপ্রাইজ ও সরকারি বাজেটের জন্য বহু-বছরের অবকাঠামো ব্যয় পূর্বাভাস ও যথার্থ করার শৃঙ্খলা যোগ করুন, কারণ একটি সরকারি সংস্থা যা লাইন ধরে তার কম্পিউট বিল ব্যাখ্যা করতে পারে না তার পর্যালোচনায় তা রক্ষা করতে কষ্ট হবে।

খাতভেদে দৃষ্টিভঙ্গি

স্টার্টআপ। এড়াতে পারেন এমন কোনো অবকাঠামোর মালিক হবেন না। একটি হোস্টেড অনুমান API কল করুন, সহজ অনুরোধ একটি ছোট সস্তা মডেলে রুট করুন এবং একটি বড়টি কঠিন কেসের জন্য সংরক্ষণ করুন, এবং আক্রমণাত্মকভাবে ক্যাশ করুন যাতে পুনরাবৃত্ত প্রম্পট কিছুই খরচ করে না। নিজে পরিচালনার বদলে একটি ম্যানেজড ভেক্টর ডেটাবেস ব্যবহার করুন, প্রম্পট git-এ রাখুন প্রতিটি পরিবর্তনের আগে একটি সংক্ষিপ্ত মূল্যায়ন স্ক্রিপ্টসহ, এবং প্রতি অনুরোধে খরচ লগ করুন যাতে একটি ছুটে-চলা বিল ব্যথা দেওয়ার আগে দেখা দেয়। আপনার দুর্লভতম সম্পদ প্রকৌশল মনোযোগ, তাই পরিচালনাযোগ্যতা কিনুন এবং বদলানো সস্তা রাখুন।

ছোট ব্যবসা। কোনো প্ল্যাটফর্ম দল নেই, তাই সার্ভিং, পুনরুদ্ধার ও পর্যবেক্ষণযোগ্যতা আপনি কর্মী দেওয়া সিস্টেমের বদলে ইতিমধ্যে ব্যবহার করা টুলের ভেতরে কেনা জিনিস গণ্য করুন। স্বচ্ছ, পূর্বাভাসযোগ্য মূল্যনির্ধারণসহ ম্যানেজড অনুমান এবং ম্যানেজড ভেক্টর অনুসন্ধান পছন্দ করুন, এবং প্রথম দিন থেকে একটি কঠিন ব্যয় সীমা ও একটি বিলিং সতর্কতা ঠিক করুন। সিদ্ধান্তটি সৎভাবে কেনা-বনাম-গড়া হিসেবে ফ্রেম করুন: GPU বা একটি ভেক্টর সূচি চালানো আপনার পরিমাণে কদাচিৎ লাভ দেয়, এবং একটি হোস্টেড API-র পেছনে একটি ছোট মডেল সাধারণত পরিশ্রমের ভগ্নাংশে প্রয়োজন মেটায়।

এন্টারপ্রাইজ। সমস্যা অনেক দল জুড়ে একটি ভাগ করা, পাকা-পথ প্ল্যাটফর্ম: ব্যবহার বাড়াতে সূচিবদ্ধকারী, কোটা ও অগ্রাধিকারসহ পুল করা এক্সিলারেটর, প্রমিত ব্যাচিং ও ক্যাশিং, সঠিক-আকারের রাউটার, এবং প্রতিটি দল ও ব্যবহার ক্ষেত্রে আরোপিত খরচ। স্বয়ংক্রিয় মূল্যায়ন স্যুট দিয়ে প্রম্পট ও মডেল পরিবর্তন গেট করুন, ইন্টারফেস স্তর প্রমিত করুন যাতে প্রদানকারী ও ডিপ্লয়মেন্ট লক্ষ্য বদলানো যায়, এবং প্রতিটি গোষ্ঠী ব্যয়বহুল, কম-ব্যবহৃত অবকাঠামো পুনরাবিষ্কারের বদলে প্রতি ফলের খরচ প্রথম-শ্রেণির মেট্রিক হিসেবে পরিচালনা করুন।

সরকার। ডেটা সার্বভৌমত্ব, নিরাপত্তা ও পূর্বাভাসযোগ্য ব্যয় প্রতিটি পছন্দ আকার দেয়। সংবেদনশীল ডেটা ও মডেল নিয়ন্ত্রিত সীমানার ভেতরে রাখতে অন-প্রেম বা সার্বভৌম-ক্লাউড ডিপ্লয়মেন্ট পছন্দ করুন, ক্রয়ে যথার্থ করতে পারেন এমন কোটাসহ বিভাগ জুড়ে দুর্লভ GPU সূচিবদ্ধ করুন, এবং বহু-বছরের ব্যয় লাইন ধরে রক্ষা করতে ক্ষমতা পূর্বাভাস করুন। একটি রেকর্ড করা নিরীক্ষা ট্রেইলসহ প্রম্পট ও মডেল সংস্করণ ও মূল্যায়ন করুন, খরচ ও মানের ওপর ব্যাপক পর্যবেক্ষণযোগ্যতা রাখুন, এবং মডেল একটি অভ্যন্তরীণ ইন্টারফেসের পেছনে রাখুন যাতে একটি নতুন প্রদানকারী বা সার্বভৌম প্ল্যাটফর্মে বাধ্যতামূলক সরণ আপনাকে আটকে ফেলে না।

উদাহরণ

স্টার্টআপ। একটি AI লেখা ফিচার চালানো একটি ছোট স্টার্টআপ কোনো GPU-র মালিক না হয়ে তার বিল সুস্থ রাখে। এটি একটি হোস্টেড অনুমান API কল করে, সহজ অনুরোধ একটি সস্তা ছোট মডেলে রুট করে এবং বড়টি কঠিন কেসের জন্য রাখে, এবং পুনরাবৃত্ত প্রম্পটের উত্তর ক্যাশ করে। এটি প্রতিটি পরিবর্তনের আগে চলা একটি সংক্ষিপ্ত মূল্যায়ন স্ক্রিপ্টসহ git-এ তার প্রম্পট সংরক্ষণ করে, একটি ভেক্টর ডেটাবেস পরিচালনা না করতে পুনরুদ্ধারের জন্য একটি ম্যানেজড ভেক্টর ডেটাবেস ব্যবহার করে, এবং প্রতি অনুরোধে খরচ লগ করে যাতে প্রতিষ্ঠাতারা একটি বিস্ময় হওয়ার আগে ব্যয় বাড়তে দেখতে পারে।

এন্টারপ্রাইজ। একটি উচ্চ-ট্রাফিক LLM ফিচার চালানো একটি মিডিয়া কোম্পানি অনুমান খরচ উল্লেখযোগ্যভাবে কাটে। এটি সহজ অনুরোধ একটি ছোট মডেলে রুট করে এবং কঠিনগুলোর জন্য একটি বড় মডেল সংরক্ষণ করে। এটি পুনরাবৃত্ত কোয়েরির উত্তর ক্যাশ করে এবং তার ভাগ করা সিস্টেম প্রম্পটের জন্য প্রিফিক্স ক্যাশিং চালু করে। এটি ব্যবহার উচ্চ রাখতে একটি ভাগ করা সূচিবদ্ধকারীর মাধ্যমে GPU চালায়, পরিবর্তন গেট করা স্বয়ংক্রিয় মূল্যায়ন স্যুটসহ git-এ সব প্রম্পট সংস্করণ করে, এবং প্রতি অনুরোধে খরচ যন্ত্রসজ্জিত করে যাতে প্রতিটি পণ্য দল নিজের ব্যয়ের মালিক।

সরকার। কঠোর ডেটা-সার্বভৌমত্ব নিয়মসহ একটি জাতীয় সংস্থা তার AI সিস্টেম অন-প্রেমে ডিপ্লয় করে যাতে সংবেদনশীল ডেটা ও মডেল তার নিয়ন্ত্রিত পরিবেশ ছাড়ে না। এটি কোটা ও অগ্রাধিকারসহ বিভাগ জুড়ে দুর্লভ GPU সূচিবদ্ধ করে, বহু-বছরের ক্রয় যথার্থ করতে ক্ষমতা পূর্বাভাস করে, এবং সরকারি নথির ওপর পুনরুদ্ধারের জন্য একটি ভেক্টর-অনুসন্ধান প্ল্যাটফর্ম গড়ে। প্রম্পট ও মডেল রিলিজের আগে সংস্করণ ও মূল্যায়ন করা হয়। ব্যাপক পর্যবেক্ষণযোগ্যতা খরচ ও মান অনুসরণ করে, এবং স্থাপত্য একটি প্রস্থান পথ রক্ষা ও আবদ্ধতা এড়াতে মডেল একটি অভ্যন্তরীণ ইন্টারফেসের পেছনে রাখে।

ব্যবসায়িক যুক্তি: প্রেরণা, ROI ও TCO

শৃঙ্খলাবদ্ধ AI অবকাঠামোর প্রেরণা সরল। পরিসরে AI ব্যয়বহুল, এবং অপ্টিমাইজড ও অ-অপ্টিমাইজড ডিপ্লয়মেন্টের মধ্যকার ফাঁক প্রায়ই ব্যয়ে কয়েকগুণ। ROI আসে উচ্চতর এক্সিলারেটর ব্যবহার, ব্যাচিং ও ক্যাশিংয়ের মাধ্যমে কম প্রতি-অনুরোধ খরচ, সঠিক-আকারের মডেল, এবং অতি-প্রভিশনিং এড়ানো থেকে। পর্যবেক্ষণযোগ্যতা ও মূল্যায়ন পাইপলাইন ব্যয়বহুল ঘটনা ঠেকিয়ে এবং নিরাপদ পুনরাবৃত্তি সক্ষম করে লাভ দেয়।

TCO জুড়ে এক্সিলারেটর কম্পিউট (অনেক ওয়ার্কলোডের জন্য বৃহত্তম লাইন), ভেক্টর সংরক্ষণ, সার্ভিং অবকাঠামো, নেটওয়ার্কিং, এবং তা চালানোর প্ল্যাটফর্ম ও পরিচালনা কর্মী। বিনিয়োগ না করার খরচের বিপরীতে ওজন করুন: ছুটে-চলা অনুমান বিল, গ্রহণ ক্ষুণ্ণ করা খারাপ বিলম্ব, এবং স্কেল করতে অক্ষমতা। সরকারের জন্য সার্বভৌমত্ব বা নিরাপত্তা প্রয়োজন পূরণে ব্যর্থতার খরচ যোগ করুন। প্রতিটি দলের ব্যয়বহুল, কম-ব্যবহৃত অবকাঠামো গড়ার বদলে অনেক দলকে দক্ষভাবে AI ডিপ্লয় করতে দেওয়া একটি পাকা-পথ প্ল্যাটফর্ম এবং প্রতি-ফল খরচ প্রবণতা দেখিয়ে নেতৃত্বের কাছে যুক্তি দিন।

অ্যান্টি-প্যাটার্ন ও ফাঁদ

• নিষ্ক্রিয় এক্সিলারেটর। যে দলগুলো কম-ব্যবহার করে তাদের জন্য দুর্লভ GPU নিবেদিত করা।
• ব্যাচিং বা ক্যাশিং নেই। প্রতিটি অনুরোধ আলাদাভাবে সার্ভ করা এবং ভাগ করা প্রসঙ্গ পুনর্গণনা।
• ডিফল্টে বৃহত্তম মডেল। যেখানে একটি ছোট চলত সেখানে একটি ব্যয়বহুল মডেল ব্যবহার।
• খরচ অন্ধত্ব। বিল আসার আগে কোনো আরোপ, বাজেট বা প্রতি-অনুরোধ খরচ দৃশ্যমানতা নেই।
• অসংস্করণ প্রম্পট। সংস্করণ বা মূল্যায়ন গেট ছাড়া প্রোডাকশনে প্রম্পট বদলানো।
• লেজের বিলম্ব অবহেলা। ব্যবহারকারীরা ধীর লেজে ভোগার সময় গড় বিলম্ব অপ্টিমাইজ করা।
• নীরব আবদ্ধতা। বহনযোগ্যতা ছাড়া এক প্রদানকারীর সার্ভিং স্ট্যাকে গভীরভাবে গড়া।

পরিপক্বতা মডেল

1. সূচনা। সবচেয়ে জোরে চাওয়ার প্রতিক্রিয়ায় অ্যাড হক GPU বরাদ্দ, ব্যাচিং বা ক্যাশিং নেই, বিল আসার আগে কোনো খরচ দৃশ্যমানতা নেই, প্রম্পট লাইভ সম্পাদিত ও অসংস্করণ, ন্যূনতম মনিটরিং।
2. বিকাশ। কিছু দল ভাগ করা সূচিবদ্ধকরণ, ক্যাশিং ও সংস্করণ-নিয়ন্ত্রিত প্রম্পট গ্রহণ করে, কিন্তু চর্চা প্রতিষ্ঠান জুড়ে অসঙ্গত: এক গোষ্ঠী ব্যাচ ও মূল্যায়ন করে যখন আরেকটি এখনো প্রতিটি অনুরোধ আলাদাভাবে সার্ভ করে এবং হাতে প্রম্পট বদলায়।
3. মানসম্মতকরণ। একটি নথিবদ্ধ, পাকা-পথ প্ল্যাটফর্ম প্রতিষ্ঠান-ব্যাপী প্রয়োগ করা: কোটা ও অগ্রাধিকারসহ ভাগ করা সূচিবদ্ধকরণ, প্রমিত ব্যাচিং, ক্যাশিং ও সঠিক-আকার, পুনরুদ্ধারের জন্য ভেক্টর অবকাঠামো, প্রতিটি প্রম্পট বা মডেল পরিবর্তন গেট করা স্বয়ংক্রিয় মূল্যায়ন পাইপলাইন, এবং দল ও ব্যবহার ক্ষেত্রে খরচ আরোপ।
4. ব্যবস্থাপনা। প্ল্যাটফর্ম ভিত্তিরেখার বিপরীতে মাপা ও নিয়ন্ত্রিত: এক্সিলারেটর ব্যবহার, প্রতি উপযোগী ফলের খরচ, লেজের বিলম্ব, পুনরুদ্ধার রিকল এবং প্রতি-পরিবর্তন মান রিগ্রেশন সতর্কতা ও সীমাসহ অনুসরণ করা, খরচ প্রতিটি দল মালিকানাধীন, এবং একটি পরিবর্তনে যাওয়া-না-যাওয়ার সিদ্ধান্ত অন্তর্দৃষ্টির বদলে প্রমাণে নেওয়া হয়।
5. সমন্বয়। অবকাঠামো নিরন্তর উন্নত ও খাপ-খাওয়ানো: রুটিং, ব্যাচিং ও স্কেলিং লাইভ খরচ ও মান সংকেতে নিজেকে টিউন করে, চাহিদা ও সীমাবদ্ধতা সরলে দল জুড়ে এবং ক্লাউড, অন-প্রেম ও সার্বভৌম লক্ষ্যের মধ্যে ক্ষমতা পুনঃভারসাম্য করা হয়, বহনযোগ্যতা মহড়া করা হয়, এবং অবকাঠামো পরিকল্পনা পণ্য, নিরাপত্তা ও ক্রয়ের সঙ্গে একীভূত।

আলোচনার ভাবনা

• অগ্রাধিকার ওয়ার্কলোডকে বঞ্চিত না করে আপনি এক্সিলারেটর ব্যবহার কীভাবে বাড়ান?
• আপনার বিলম্ব প্রয়োজনের জন্য সঠিক ব্যাচিং ও ক্যাশিং ভারসাম্য কোথায়?
• অন-প্রেম বা সার্বভৌম ডিপ্লয়মেন্ট কখন ক্লাউডের চেয়ে তার খরচ যথার্থ করে?
• অনেক দল জুড়ে আপনি AI ব্যয় কীভাবে আরোপ ও নিয়ন্ত্রণ করেন?
• একটি প্রম্পট বা মডেল পরিবর্তন প্রোডাকশনে পৌঁছানো থেকে কী গেট করা উচিত?
• প্রদানকারী বদলাতে পারার মতো সার্ভিং অবকাঠামো আপনি কীভাবে যথেষ্ট বহনযোগ্য রাখেন?

প্রধান শিক্ষা

• এক্সিলারেটর দুর্লভ ও ব্যয়বহুল; সুচিন্তিতভাবে সূচিবদ্ধ, ভাগ ও ব্যবহার করুন।
• ব্যাচিং, ক্যাশিং ও মডেল সঠিক-আকার খরচ ও বিলম্বের প্রাথমিক লিভার।
• পুনরুদ্ধার অ্যাপ্লিকেশনের সুপরিচালিত এমবেডিং ও ভেক্টর-অনুসন্ধান অবকাঠামো দরকার।
• LLMOps (প্রম্পট সংস্করণ, মূল্যায়ন পাইপলাইন ও পর্যবেক্ষণযোগ্যতা) জেনারেটিভ AI-র পরিচালনগত মেরুদণ্ড।
• পর্যবেক্ষণযোগ্যভাবে খরচ পরিচালনা করুন এবং আবদ্ধতা এড়াতে বহনযোগ্যতা রক্ষা করুন।

তথ্যসূত্র ও আরও পড়ার জন্য

• Chip Huyen, Designing Machine Learning Systems.
• Google, Site Reliability Engineering (Beyer, Jones, Petoff, Murphy, editors).
• Jared Kaplan et al., Scaling Laws for Neural Language Models.
• Reza Yazdani Aminabadi et al., DeepSpeed Inference: Enabling Efficient Inference of Transformer Models at Unprecedented Scale.
• Woosuk Kwon et al., Efficient Memory Management for Large Language Model Serving with PagedAttention (vLLM).
• Andriy Burkov, Machine Learning Engineering.