LLM চালানোর জন্য নিম্নোক্ত কম্পিউটারের কোন যন্ত্রাংশ সবচেয়ে বেশি গুরুত্বপূর্ণ?
সঠিক উত্তর
গGraphics Card
ব্যাখ্যা
প্রশ্নটি জানতে চেয়েছে এলএলএম, মানে লার্জ ল্যাঙ্গুয়েজ মডেল বা চ্যাটজিপিটির মতো বড় ভাষা মডেল চালাতে কম্পিউটারের কোন অংশ সবচেয়ে জরুরি। উত্তর গ্রাফিক্স কার্ড বা জিপিইউ।
বড় ভাষা মডেলের প্রতিটি শব্দ তৈরিতে কোটি কোটি সংখ্যার ম্যাট্রিক্স গুণ করতে হয়। একটি ম্যাট্রিক্স গুণের ভেতরের হাজারো গুণ-যোগ একটি আরেকটির ওপর নির্ভর করে না, তাই সেগুলো একসঙ্গে সমান্তরালে করা যায়। জিপিইউতে হাজার হাজার ছোট কোর থাকে, যা ঠিক এমন সমান্তরাল কাজের জন্যই তৈরি।
প্রসেসর বা সিপিইউতে কোর থাকে অল্প কয়েকটি, যদিও প্রতিটি শক্তিশালী; তাই একই কাজে সে অনেক ধীর। জিপিইউর নিজস্ব দ্রুত মেমোরি, মানে ভিডিও র্যামও গুরুত্বপূর্ণ, কারণ পুরো মডেলটাকে সেখানে রাখতে হয়।
ফাঁদ হলো র্যাম। র্যাম লাগে ঠিকই, কিন্তু কেবল জায়গা দেয়, হিসাব করে না। আর স্টোরেজে মডেল ফাইল জমা থাকে মাত্র; চালানোর গতিতে এর ভূমিকা সামান্য।
স্টেপ বাই স্টেপ শিখুন
৪/৪| যন্ত্রাংশ | LLM চালাতে ভূমিকা |
|---|---|
| Storage | মডেল ফাইল জমা রাখে |
| RAM | চলার সময় তথ্য রাখার জায়গা |
| Processor (CPU) | অল্প কয়েকটি শক্তিশালী কোর, ধারাবাহিক কাজ |
| Graphics Card (GPU) | হাজারো কোরে সমান্তরাল ম্যাট্রিক্স গুণ, VRAM-এ মডেল |
- Storage: মডেলের ফাইল জমা রাখে, চালানোর সময় ভূমিকা কম।
- RAM: চলার সময় তথ্য রাখার জায়গা দেয়, নিজে হিসাব করে না।
- CPU: অল্প কয়েকটি শক্তিশালী কোর, ধারাবাহিক কাজে ভালো।
- GPU: হাজারো কোরে একসঙ্গে ম্যাট্রিক্স গুণ, আর VRAM-এ মডেল রাখে; তাই সবচেয়ে গুরুত্বপূর্ণ।
ক. RAM: RAM ডেটা রাখার জায়গা দেয়, হিসাব করে না; মডেল সাধারণত GPU-র নিজস্ব VRAM-এ রাখা হয়।
খ. Processor: CPU-তে অল্প কয়েকটি কোর, তাই লক্ষ লক্ষ সমান্তরাল গুণে GPU-র চেয়ে অনেক ধীর।
ঘ. Storage Device: স্টোরেজে শুধু মডেল ফাইল জমা থাকে; মডেল চালু হওয়ার পর গতিতে প্রায় ভূমিকা নেই।
AI মডেল চালানো বা প্রশিক্ষণ মানে ম্যাট্রিক্স গুণ, আর ম্যাট্রিক্স গুণ মানে GPU।
এআই-এর ইঞ্জিন জিপিইউ।