প্রজেক্টের প্রেক্ষাপট
একটি বৃহৎ ই-কমার্স প্ল্যাটফর্মে ১০-এর বেশি অনলাইন রেকমেন্ডেশন মডেল রয়েছে যা হোমপেজ সুপারিশ, পণ্যের বিস্তারিত পৃষ্ঠা, শপিং কার্ট ইত্যাদি বিভিন্ন পরিস্থিতি কভার করে। মডেল পরিচালনা সম্পূর্ণ ম্যানুয়াল ছিল, কোনো সমন্বিত মনিটরিং বা অটোমেটেড ইটারেশন মেকানিজম ছিল না, GPU ব্যবহার ছিল মাত্র ৩৫%, আর মাসিক খরচ ৮০ লাখ ইউয়ানে পৌঁছেছিল।
মূল সমস্যা
সমাধান
পূর্ণাঙ্গ MLOps প্ল্যাটফর্ম নির্মাণ
ডেটা সংগ্রহ, ফিচার ইঞ্জিনিয়ারিং, মডেল প্রশিক্ষণ, মডেল মূল্যায়ন থেকে শুরু করে কার্যক্ষেত্রের (ক্যানারি) রিলিজ পর্যন্ত পূর্ণাঙ্গ MLOps প্ল্যাটফর্ম তৈরি করা হয়েছে, যা মডেল লাইফসাইকেলের অটোমেটেড ব্যবস্থাপনা নিশ্চিত করে। A/B টেস্টিং ও কার্যক্ষেত্র রিলিজ সমর্থন করে, লাইভে যাওয়ার ঝুঁকি কমায়।
GPU সম্পদ স্মার্ট শিডিউলিং
GPU সম্পদ স্মার্ট শিডিউলিং সিস্টেম তৈরি করা হয়েছে, যা মডেল ট্রাফিক পূর্বাভাসের ভিত্তিতে GPU রিসোর্স গতিশীলভাবে বরাদ্দ করে, মডেল হট লোডিং ও ইলাস্টিক স্কেলিং সমর্থন করে। পিক সময়ে স্বয়ংক্রিয় স্কেল-আপ, অফ-পিকে স্বয়ংক্রিয় স্কেল-ডাউন।
৭×২৪ মডেল মনিটরিং সিস্টেম
সম্পূর্ণ মডেল পর্যবেক্ষণ ব্যবস্থা তৈরি করা হয়েছে, যাতে পূর্বাভাস নির্ভুলতা, ল্যাটেন্সি, থ্রুপুট, ডেটা ডিস্ট্রিবিউশন ড্রিফট ইত্যাদি গুরুত্বপূর্ণ মেট্রিক কভার করা হয়। অস্বাভাবিকতা স্বয়ংক্রিয়ভাবে এলার্ট করে এবং মডেল রিট্রেনিং প্রক্রিয়া ট্রিগার করে।
সফলতার ডেটা
| সূচক | অপ্টিমাইজেশনের আগে | অপ্টিমাইজেশনের পরে | উন্নতির হার |
|---|---|---|---|
| GPU ব্যবহার | 35% | 82% | ↑134% |
| মাসিক GPU খরচ | ৮০ লাখ | ৪৪ লাখ | ↓45% |
| মডেল ইটারেশন সাইকেল | 2 সপ্তাহ | 2 দিন | ↓86% |
| মডেল অস্বাভাবিকতা সনাক্তকরণ সময় | 24 ঘণ্টা | 5 মিনিট | ↓97% |
> সংখ্যাগত সারসংক্ষেপ: GPU ব্যবহার ১৩৪% বেড়ে ৮২% হয়েছে, মাসিক খরচ ৪৫% কমে ৪৪ লাখে নেমেছে, মডেল ইটারেশন সাইকেল ৮৬% কমে ২ দিনে নেমে এসেছে, এবং অস্বাভাবিকতা সনাক্তকরণ সময় ২৪ ঘণ্টা থেকে কমে ৫ মিনিটে নেমেছে।
প্রযুক্তি স্ট্যাক
Kubernetes, Kubeflow, MLflow, Prometheus, Grafana, NVIDIA GPU Operator, Python, Airflow
সাধারণ জিজ্ঞাসা
ই-কমার্স প্ল্যাটফর্মে GPU ব্যবহার কম হলে কী করবেন?
GPU ব্যবহার কম হওয়ার সাধারণ কারণ হচ্ছে মডেল ডিপ্লয়মেন্ট কৌশল অযৌক্তিক ও ইলাস্টিক স্কেলিং মেকানিজমের অভাব। এই প্রজেক্টে GPU সম্পদ স্মার্ট শিডিউলিং সিস্টেমের মাধ্যমে, মডেল ট্রাফিক পূর্বাভাসের ভিত্তিতে গতিশীলভাবে GPU রিসোর্স বরাদ্দ করা হয়েছে, পিক সময়ে অটো-স্কেল আপ, অফ-পিকে অটো-স্কেল ডাউন করার ফলে ব্যবহার ৩৫% থেকে ৮২% হয়েছে।
MLOps প্ল্যাটফর্ম তৈরিতে কত সময় লাগে?
মাঝারি আকারের (১০+ মডেল) MLOps প্ল্যাটফর্ম তৈরি হতে সাধারণত ৮-১২ সপ্তাহ লাগে, যার মধ্যে ডেটা পাইপলাইন, মডেল রেজিস্ট্রি সেন্টার, মনিটরিং সিস্টেম এবং কার্যক্ষেত্র রিলিজ সিস্টেম অন্তর্ভুক্ত। পূর্বেই ইনফ্রাস্ট্রাকচার থাকলে ৬ সপ্তাহে সম্পন্ন করা সম্ভব।
মডেল ইটারেশন সাইকেল ২ সপ্তাহ থেকে ২ দিনে নামিয়ে আনার মূল কৌশল কী?
মূল কৌশল হচ্ছে পূর্ণাঙ্গ অটোমেশন: ডেটা স্বয়ংক্রিয় সংগ্রহ → ফিচার অটোমেটেড ইঞ্জিনিয়ারিং → মডেল স্বয়ংক্রিয় প্রশিক্ষণ → মূল্যায়ন অটোমেটেড তুলনা → কার্যক্ষেত্র অটোমেটেড রিলিজ। প্রতিটি ধাপে ম্যানুয়াল অপেক্ষার সময় দিনের মাত্রা থেকে ঘণ্টায় নেমে আসে, সামগ্রিক চক্র ৮৬% সংক্ষিপ্ত হয়েছে।
