- LiteRT-LM একটি উচ্চ-কর্মক্ষমতাসম্পন্ন অর্কেস্ট্রেশন লেয়ার প্রদান করে, যা জেমা ৪ মডেলগুলোকে রাস্পবেরি পাই-এর মতো এজ হার্ডওয়্যারে দক্ষতার সাথে চলতে সক্ষম করে।
- মিক্সড-প্রিসিশন কোয়ান্টাইজেশনের ব্যবহার মেমোরি ফুটপ্রিন্ট উল্লেখযোগ্যভাবে হ্রাস করে, যার ফলে জটিল এলএলএমগুলো মাত্র ০.৮ জিবি র্যাম দিয়েও কাজ করতে পারে।
- XNNPACK ও পরীক্ষামূলক WebGPU সাপোর্টের মাধ্যমে হার্ডওয়্যার অ্যাক্সিলারেশন এবং আসন্ন Hailo AI HAT ইন্টিগ্রেশন, ইনফারেন্সের গতিকে অপ্টিমাইজ করে।
- ডুয়াল-ব্যাঙ্ক আপডেট সহ সেলফ-হিলিং ফার্মওয়্যার প্রয়োগ করা হলে, প্রোডাকশন পর্যায়ে OTA AI ডেপ্লয়মেন্টগুলো স্থিতিশীল এবং স্থিতিস্থাপক থাকে।
কখনো কি ভেবে দেখেছেন, একটি বিশাল ল্যাঙ্গুয়েজ মডেলের ক্ষমতাকে হাতের তালুতে এঁটে যায় এমন একটি ছোট্ট বোর্ডে ভরে ফেলা সম্ভব কি না? হ্যাঁ, রাস্পবেরি পাই এবং গুগলের সর্বশেষ এআই টুলিংয়ের সমন্বয়ের ফলে অত্যাধুনিক GenAI-কে এজ-এ নিয়ে আসার স্বপ্নটি অবশেষে বাস্তবে পরিণত হয়েছে। আমরা এমন এক বিশ্বের কথা বলছি যেখানে আপনার IoT ডিভাইসগুলো শুধু সাধারণ স্ক্রিপ্টই অনুসরণ করবে না, বরং ক্লাউডের সাথে সার্বক্ষণিক সংযোগ ছাড়াই মানুষের মতো টেক্সট বুঝতে ও তৈরি করতে পারবে ।
এটি মসৃণভাবে কাজ করানোর জন্য একটি নির্দিষ্ট স্ট্যাকের প্রয়োজন: রাস্পবেরি পাই-এর হার্ডওয়্যার, LiteRT-এর রানটাইম দক্ষতা এবং Gemma 4 ফ্যামিলির ইন্টেলিজেন্স। এগুলোর সমন্বয়ে, ডেভেলপাররা প্রাইভেট ও লো-ল্যাটেন্সি অ্যাপ্লিকেশন তৈরি করতে পারেন যা স্থানীয়ভাবে ডেটা প্রসেস করে। এটি নিশ্চিত করে যে সংবেদনশীল তথ্য কখনোই ডিভাইস থেকে বাইরে যায় না এবং অপটিমাইজড হার্ডওয়্যার অ্যাক্সিলারেশনের মাধ্যমে একটি দ্রুত ইউজার এক্সপেরিয়েন্স বজায় রাখে ।
LiteRT-LM এবং Gemma 4 ইকোসিস্টেমের বিশদ বিশ্লেষণ
এই অপারেশনের কেন্দ্রবিন্দুতে রয়েছে LiteRT-LM , যা একটি উচ্চ-ক্ষমতাসম্পন্ন অর্কেস্ট্রেশন লেয়ার হিসেবে কাজ করে। এটি শুধু একটি র্যাপার নয়; এটি ক্রস-প্ল্যাটফর্ম এক্সিকিউশনের জন্য ডিজাইন করা হয়েছে , যার অর্থ হলো এটি অ্যান্ড্রয়েড, আইওএস, ওয়েব এবং আইওটি প্ল্যাটফর্ম জুড়ে লার্জ ল্যাঙ্গুয়েজ মডেল (LLM) চালানোর মতো কঠিন কাজগুলো সামলে নেয়। যারা জেমা ৪, বিশেষ করে এর E2B ভ্যারিয়েন্টটি নিয়ে কাজ করছেন , তাদের জন্য এর কার্যকারিতা সত্যিই বিস্ময়কর। গুগল একটি চমৎকার মিক্সড-প্রিসিশন কোয়ান্টাইজেশন স্কিম (২-বিট, ৪-বিট এবং ৮-বিট ওয়েটের মিশ্রণ) ব্যবহার করে, যা মডেলটির ওয়েট ফুটপ্রিন্টকে ০.৮ জিবি পর্যন্ত কমিয়ে আনতে সাহায্য করে , ফলে এটি এজ ডিভাইসের সীমিত র্যামের জন্য একদম উপযুক্ত হয়ে ওঠে।
LiteRT-LM মাল্টিমোডালিটি সমর্থন করার মাধ্যমে সাধারণ টেক্সট জেনারেশনের গণ্ডি ছাড়িয়ে যায় , যা ভিজ্যুয়াল এবং অডিও ইনপুট গ্রহণ করতে দেয়। এটি ফাংশন কলিংও চালু করেছে, যা এজেন্টিক ওয়ার্কফ্লো তৈরির ক্ষেত্রে একটি যুগান্তকারী পরিবর্তন । শুধু চ্যাট করার পরিবর্তে, এই এআই বাস্তব জগতের কাজ সম্পাদনের জন্য নির্দিষ্ট টুল বা এপিআই চালু করতে পারে। এছাড়াও, মাল্টি-টোকেন প্রেডিকশন (MTP) ড্রাফটার চালু হওয়ায় ইনফারেন্সের গতি ৩ গুণ পর্যন্ত বেড়েছে , যা ব্যবহারকারীদের প্রতিক্রিয়ার জন্য অপেক্ষার সময় উল্লেখযোগ্যভাবে কমিয়ে দিয়েছে।
ধাপে ধাপে: রাস্পবেরি পাই ৫-এ জেমা ৪ স্থাপন
আপনার নিজের এজ এআই পাওয়ারহাউস তৈরি করা যতটা কঠিন মনে হয়, তার চেয়ে অনেক বেশি সহজ। প্রথমে, আপনাকে আপনার হার্ডওয়্যার প্রস্তুত করতে হবে। Raspberry Pi Imager ব্যবহার করে, একটি Raspberry Pi 5-এ Raspberry Pi OS-এর ৬৪-বিট সংস্করণ ইনস্টল করার পরামর্শ দেওয়া হয় । একবার আপনার OS ফ্ল্যাশ হয়ে গেলে এবং আপনি আপনার বোর্ডের সাথে একটি SSH সংযোগ স্থাপন করলে , এআই বাইনারিগুলির সাথে সামঞ্জস্যতা নিশ্চিত করার জন্য আপনি আপনার আর্কিটেকচার aarch64 কিনা তা যাচাই করতে পারেন।
সফটওয়্যার অংশে কয়েকটি গুরুত্বপূর্ণ টুল রয়েছে। জটিল এনভায়রনমেন্ট ম্যানেজার নিয়ে মাথা ঘামানোর পরিবর্তে, এআই এনভায়রনমেন্ট পরিচালনার জন্য uv ব্যবহার করাই শ্রেয়। uv ইনস্টল করার পর, আপনি একটি পাইথন ৩.১৩ ভার্চুয়াল এনভায়রনমেন্ট সেট আপ করতে এবং litert-cli-nightly প্যাকেজটি ইনস্টল করতে পারেন। মডেলটি পুল করার জন্য আপনার একটি হাগিং ফেস রিড টোকেন প্রয়োজন হবে । সেটি প্রস্তুত হয়ে গেলে, litert lm run-এর মতো একটি সাধারণ কমান্ডের মাধ্যমে সরাসরি কমিউনিটি রিপো থেকে gemma-4-E2B-it মডেলটি পুল করা যায় এবং কয়েক সেকেন্ডের মধ্যে একটি স্থানীয় কথোপকথন শুরু করা যায়।
সীমা ছাড়িয়ে যাওয়া: হার্ডওয়্যার অ্যাক্সিলারেশন এবং এমএলওপস
যদিও সিপিইউ XNNPACK ডেলিগেটের মাধ্যমে কাজের সিংহভাগ সামলায় , জিপিইউ অ্যাক্সিলারেশনের জন্য পরীক্ষামূলক সমর্থন রয়েছে। রাস্পবেরি পাই ৫-এ, এটি V3DV ওপেন-সোর্স ভলকান ড্রাইভারের মাধ্যমে সম্পন্ন করা হয়। V3D_WEBGPU_OVERRIDE=1 এনভায়রনমেন্ট ভেরিয়েবলটি সেট করে আপনি WebGPU ব্যবহার করতে পারেন। তবে এটিও উল্লেখ্য যে, বর্তমানে এই নির্দিষ্ট ওয়ার্কলোডগুলোর ক্ষেত্রে সিপিইউ প্রায়শই জিপিইউ-এর চেয়ে ভালো পারফর্ম করে , কিন্তু ভবিষ্যতে উন্নতির ভিত্তি রয়েছে, বিশেষ করে AI HAT+ এর মাধ্যমে Hailo AI অ্যাক্সিলারেটরগুলোর আসন্ন ইন্টিগ্রেশনের ফলে ।
প্রাথমিক সেটআপের পর, ফিল্ডে এই ডিভাইসগুলো রক্ষণাবেক্ষণ করাই হলো আসল জটিলতা। এখানেই সেলফ-হিলিং ফার্মওয়্যারের ধারণাটি কাজে আসে। OTA আপডেটের সময় ভয়ংকর “ইনফিনিট বুট লুপ” এড়াতে, আধুনিক টিমগুলো ডুয়াল-পার্টিশন মেমরি (ব্যাঙ্ক A এবং ব্যাঙ্ক B ) ব্যবহার করে। ডিভাইসটি একটি ট্রায়াল পর্যায়ে নতুন AI পেলোড পরীক্ষা করে; যদি এটি মেমরি লিক ঘটায় বা RTOS-এর ডেডলাইন পূরণে ব্যর্থ হয় , তবে বুটলোডার স্বয়ংক্রিয়ভাবে পরিচিত ও ভালো ফার্মওয়্যারে ফিরে যায় । এটি ব্যয়বহুল ফিজিক্যাল রক্ষণাবেক্ষণের জন্য বাইরে যাওয়ার প্রয়োজন দূর করে এবং আপনার এজ AI-কে স্থিতিশীল রাখে।
LiteRT-এর রানটাইম দক্ষতা এবং Gemma 4-এর ছোট আকারের সমন্বয় রাস্পবেরি পাই-কে একটি শখের বোর্ড থেকে পেশাদার মানের এজ এআই সার্ভারে রূপান্তরিত করে। LiteRT CLI, মিক্সড-প্রিসিশন কোয়ান্টাইজেশন এবং স্থিতিস্থাপক ফার্মওয়্যার কৌশলের মতো টুলগুলো কাজে লাগিয়ে ডেভেলপাররা এখন সম্পূর্ণ অফলাইনে পরিচালিত এজেন্টিক, মাল্টিমোডাল এআই স্থাপন করতে পারেন , যা স্মার্ট ও স্বয়ংসম্পূর্ণ এমবেডেড সিস্টেমের এক নতুন প্রজন্মের পথ প্রশস্ত করছে।
