- হায়ারারকিক্যাল ক্লাস্টারিং ডেটাকে ডেনড্রোগ্রাম নামক একটি বৃক্ষ-সদৃশ কাঠামোতে বিন্যস্ত করে, যার ফলে ক্লাস্টারের সংখ্যা আগে থেকে নির্ধারণ করার প্রয়োজন হয় না।
- AGNES পুনরাবৃত্তিমূলক একত্রীকরণের মাধ্যমে নিচ থেকে ওপরের দিকে ক্লাস্টার তৈরি করে, অন্যদিকে DIANA একটি একক বৃহৎ গোষ্ঠীকে ওপর থেকে নিচের দিকে বিভক্ত করে।
- ডেভিস-বোল্ডিন ইনডেক্সের মতো অভ্যন্তরীণ মেট্রিক অথবা প্রিসিশন ও রিকলের মাধ্যমে বাহ্যিক তুলনা ব্যবহার করে ক্লাস্টারের গুণমান মূল্যায়ন করা হয়।
কখনো কি এমন মনে হয়েছে যে আপনি তথ্যের এক বিশাল পাহাড়ের দিকে তাকিয়ে আছেন কিন্তু খুঁটিনাটি বিষয় দেখতে গিয়ে মূল বিষয়টিই ধরতে পারছেন না? এখানেই ক্লাস্টারিংয়ের ভূমিকা আসে। এটি মূলত ডেটা পয়েন্টগুলোকে তাদের সাদৃশ্যের ভিত্তিতে দলবদ্ধ করার একটি কৌশল , যেখানে নিশ্চিত করা হয় যে একটি দলের ভেতরের বিষয়গুলো একে অপরের সাথে ঘনিষ্ঠভাবে জড়িত থাকবে এবং দলগুলো নিজেদের মধ্যে দূরত্ব বজায় রাখবে। এটি আনসুপারভাইজড মেশিন লার্নিংয়ের একটি মূল ভিত্তি, যার অর্থ হলো কম্পিউটারকে আগে থেকে কী খুঁজতে হবে তা না বলেই সে প্যাটার্ন খুঁজে বের করে ।
ডেটাকে বিভিন্ন ভাগে ভাগ করার অনেক উপায় থাকলেও, হায়ারারকিক্যাল ক্লাস্টারিং কিছুটা বিশেষ। এটি কেবল এলোমেলোভাবে কিছু গ্রুপ বেছে নেওয়ার পরিবর্তে, একটি বংশবৃক্ষের মতো নেস্টেড কাঠামো তৈরি করে । আপনি স্টক পোর্টফোলিওতে বৈচিত্র্য আনতে চান বা আপনার গ্রাহক গোষ্ঠীকে ভাগ করতে চান, এই পদ্ধতিটি আপনার ডেটার পারস্পরিক সম্পর্কের একটি ভিজ্যুয়াল রোডম্যাপ দেয়, যা আপনাকে সঠিক সংখ্যক ক্লাস্টার পেতে গাছটি কোথায় কাটতে হবে তা সিদ্ধান্ত নিতে সাহায্য করে।
হায়ারারকিক্যাল ক্লাস্টারিং-এর মূল যুক্তি
মূলতঃ, হায়ারারকিক্যাল ক্লাস্টারিং বিভিন্ন গ্রুপের একটি স্তরক্রম তৈরি করে। এটিকে প্রায়শই একটি ডেনড্রোগ্রামের মাধ্যমে উপস্থাপন করা হয় , যা একটি বৃক্ষ-সদৃশ চিত্র এবং যার উল্লম্ব অক্ষটি ক্লাস্টারগুলোর মধ্যে দূরত্ব বা বৈসাদৃশ্যকে নির্দেশ করে। শাখাটি যত নিচের দিকে থাকে, আইটেমগুলো তত বেশি সাদৃশ্যপূর্ণ হয়। এই পদ্ধতিটি অত্যন্ত নমনীয়, কারণ K-Means-এর মতো অ্যালগরিদমগুলোর মতো এটি আপনাকে শুরুতেই ক্লাস্টারের সংখ্যা (k) পূর্বনির্ধারণ করতে বাধ্য করে না।
অ্যাগনেস: বটম-আপ অ্যাপ্রোচ
AGNES, বা অ্যাগ্লোমেরেটিভ নেস্টিং, হলো হায়ারারকিক্যাল ক্লাস্টারিংয়ের সবচেয়ে প্রচলিত ধরন। এটি ‘প্রত্যেকে নিজের জন্য’ এই মানসিকতা দিয়ে শুরু হয়, যেখানে প্রতিটি স্বতন্ত্র ডেটা পয়েন্ট তার নিজস্ব একটি ক্ষুদ্র ক্লাস্টার হিসেবে যাত্রা শুরু করে । সেখান থেকে, অ্যালগরিদমটি পুনরাবৃত্তিমূলকভাবে সবচেয়ে কাছের দুটি ক্লাস্টারকে একত্রিত করতে থাকে, যতক্ষণ না সবকিছু মিলে একটি বিশাল গ্রুপে পরিণত হয়।
প্রক্রিয়াটি সাধারণত এই ধাপগুলো অনুসরণ করে: প্রথমে, একটি দূরত্ব মেট্রিক (যেমন ইউক্লিডীয় দূরত্ব) ব্যবহার করে একটি নৈকট্য ম্যাট্রিক্স গণনা করা হয় । তারপর, সবচেয়ে সাদৃশ্যপূর্ণ দুটি বিন্দুকে যুক্ত করা হয়। এই নতুন গ্রুপটিকে প্রতিফলিত করার জন্য ম্যাট্রিক্সটি আপডেট করা হয় এবং প্রক্রিয়াটি পুনরাবৃত্তি হয়। এটি কার্যকর করার জন্য, গ্রুপগুলোর মধ্যে দূরত্ব কীভাবে পরিমাপ করা হবে তা নির্ধারণ করতে আপনার একটি সংযোগ মানদণ্ড প্রয়োজন।
- একক সংযোগ: তাকায় ন্যূনতম দূরত্ব ভিন্ন ভিন্ন ক্লাস্টারের যেকোনো দুটি বিন্দুর মধ্যে। এর ফলে “শৃঙ্খলীকরণ” ঘটতে পারে, যেখানে ক্লাস্টারগুলো লম্বা, সরু রেখার মতো বৃদ্ধি পায়।
- সম্পূর্ণ সংযোগ: উপর ফোকাস সর্বোচ্চ দূরত্ব বিন্দুগুলোর মধ্যে, যা আরও সংহত, গোলাকার গোষ্ঠী তৈরি করার প্রবণতা দেখায়।
- গড় সংযোগ: গণনা করে গড় দূরত্ব দুটি ক্লাস্টার জুড়ে সমস্ত জোড়া বিন্দুর মধ্যে একটি ভারসাম্যপূর্ণ মধ্যবর্তী অবস্থান প্রদান করা।
- সেন্ট্রয়েড লিঙ্কেজ: দুটির মধ্যে দূরত্ব পরিমাপ করে জ্যামিতিক কেন্দ্র (সেন্ট্রয়েড) ক্লাস্টারগুলোর, যা প্রায়শই আউটলায়ারের বিরুদ্ধে আরও বেশি শক্তিশালী।
- ওয়ার্ডের পদ্ধতি: নিছক দূরত্বের পরিবর্তে, এর লক্ষ্য হলো মোট আন্তঃ-ক্লাস্টার বৈচিত্র্য হ্রাস করুনকার্যকরভাবে গুচ্ছগুলোকে আঁটসাঁট এবং সংহত রাখে।
ডায়ানা: টপ-ডাউন কৌশল
অন্যদিকে রয়েছে ডায়ানা (DIANA - Divisive Analysis)। অ্যাগনেস (AGNES) যদি একটি মিনার নির্মাণের সাথে সম্পর্কিত হয়, তবে ডায়ানা হলো একটি ভাস্কর্য খোদাই করার মতো । এটি প্রতিটি ডেটা পয়েন্ট ধারণকারী একটি বিশাল ক্লাস্টার দিয়ে শুরু হয় এবং পুনরাবৃত্তিমূলকভাবে সেটিকে ছোট ছোট ক্লাস্টারে বিভক্ত করে।
অ্যালগরিদমটি সবচেয়ে বড় ব্যাসযুক্ত ক্লাস্টার (সবচেয়ে ভিন্ন বিন্দুগুলো) শনাক্ত করে এবং সবচেয়ে "বিচ্ছিন্ন" পর্যবেক্ষণটি খুঁজে বের করে—যেটি বাকিগুলোর থেকে সবচেয়ে আলাদা। এই পর্যবেক্ষণটি একটি নতুন গ্রুপ শুরু করে, এবং অন্যান্য বিন্দুগুলোকে তারা কোন গ্রুপের কাছাকাছি তার উপর ভিত্তি করে পুনরায় বরাদ্দ করা হয়। এই প্রক্রিয়াটি ততক্ষণ চলতে থাকে যতক্ষণ না প্রতিটি বিন্দু বিচ্ছিন্ন হয়ে যায়। AGNES-এর মতো নয়, এখানে আপনাকে শুধুমাত্র একটি দূরত্ব মেট্রিক বেছে নিতে হবে; কোনো সংযোগ পদ্ধতির প্রয়োজন নেই ।
সাফল্য এবং গুণমান পরিমাপ করা
যেহেতু আনসুপারভাইজড লার্নিং-এ কোনো “সঠিক” উত্তর নেই, তাই আমাদের ক্লাস্টারগুলো আসলেই যৌক্তিক কিনা তা দেখার জন্য আমরা নির্দিষ্ট মেট্রিক ব্যবহার করি। আমরা সাধারণত এগুলোকে অভ্যন্তরীণ এবং বাহ্যিক যাচাইকরণে ভাগ করি।
অভ্যন্তরীণ যাচাইকরণের জন্য বাহ্যিক লেবেলের প্রয়োজন হয় না। উদাহরণস্বরূপ, ডেভিস-বোল্ডিন ইনডেক্স ক্লাস্টারের অভ্যন্তরীণ সংহতি এবং ক্লাস্টারগুলোর মধ্যকার বিচ্ছিন্নতার অনুপাত দেখে; এক্ষেত্রে কম স্কোরই শ্রেয়। পটেনশিয়াল অফ স্ট্রেস সেন্ট্রয়েডগুলো থেকে বর্গীকৃত দূরত্বের যোগফল পরিমাপ করে, যদিও ক্লাস্টারের সংখ্যা বাড়ার সাথে সাথে এটি স্বাভাবিকভাবেই কমে আসে। গ্রুপের সংখ্যার জন্য সঠিক ভারসাম্য খুঁজে বের করতে অন্যান্য জনপ্রিয় টুলগুলোর মধ্যে রয়েছে এলবো মেথড এবং সিলুয়েট অ্যানালাইসিস ।
যখন তুলনা করার জন্য আপনার কাছে কোনো গোল্ড স্ট্যান্ডার্ড বা বিশেষজ্ঞের লেবেল থাকে, তখন এক্সটার্নাল ভ্যালিডেশন কাজে আসে। প্রিসিশন, রিকল এবং এফ-মেজার-এর মতো মেট্রিকগুলো ক্লাস্টারিং-এর ফলাফলকে একটি ক্লাসিফিকেশন সমস্যা হিসেবে বিবেচনা করে। এছাড়াও, অ্যালগরিদমের আউটপুটকে পরিচিত ক্যাটাগরিগুলোর সাথে তুলনা করার ফলে অনিশ্চয়তা কতটা কমেছে তা দেখার জন্য আপনি এনট্রপি এবং মিউচুয়াল ইনফরমেশন ব্যবহার করে ইনফরমেশন থিওরিও প্রয়োগ করতে পারেন।
বাস্তব জগতের উপযোগিতা: অর্থায়ন থেকে ডেটা সায়েন্স পর্যন্ত
এটা শুধু অ্যাকাডেমিক তত্ত্ব নয়। উদাহরণস্বরূপ, ফিন্যান্সে পোর্টফোলিও বৈচিত্র্যায়নের জন্য ক্লাস্টারিং একটি অত্যন্ত শক্তিশালী উপায় । অ্যাসেট রিটার্নের কোরিলেশন ম্যাট্রিক্সকে দূরত্বের পরিমাপক হিসেবে ব্যবহার করে বিনিয়োগকারীরা একটি ডেনড্রোগ্রাম তৈরি করতে পারেন, যার মাধ্যমে দেখা যায় কোন স্টকগুলো একই তালে চলে। সত্যিকারের বৈচিত্র্য আনতে হলে, গাছের বিভিন্ন শাখা থেকে অ্যাসেট বেছে নিতে হবে , যাতে পোর্টফোলিওটি কোনো একটিমাত্র ঝুঁকির ওপর অতিরিক্ত নির্ভরশীল না হয়ে পড়ে।
অর্থায়নের বাইরেও, ক্লাস্টারিং একই ধরনের ক্রয় অভ্যাস সম্পন্ন গ্রাহকদের দলবদ্ধ করে বাজার বিভাজনে সাহায্য করে, যা কোম্পানিগুলোকে তাদের বিপণন কৌশল নির্দিষ্ট গ্রাহকদের জন্য উপযোগী করে তুলতে সক্ষম করে। এর মূল চাবিকাঠি হলো বিভিন্ন দূরত্ব মেট্রিক—যেমন ম্যানহাটন বা মাহালানোবিস—এবং বিভিন্ন সংযোগ পদ্ধতি নিয়ে পরীক্ষা-নিরীক্ষা করে দেখা যে , বিশ্লেষণাধীন নির্দিষ্ট ডেটাসেটে কোনটি সবচেয়ে বিশ্বাসযোগ্য প্যাটার্ন প্রকাশ করে ।
এই শ্রেণিবিন্যাসগত কৌশলগুলো আয়ত্ত করার মাধ্যমে ডেটা সম্পর্কে একটি গভীর ও কাঠামোগত ধারণা লাভ করা যায়, যা স্বতন্ত্র বিন্দুর সূক্ষ্ম বিবরণ থেকে বৈশ্বিক বিভাগগুলোর সামগ্রিক চিত্রের দিকে অগ্রসর হতে সাহায্য করে। সমষ্টিগত ও বিভাজনমূলক কৌশলের মধ্যে ভারসাম্য রক্ষা করে এবং অভ্যন্তরীণ ও বাহ্যিক মেট্রিক্সের মাধ্যমে ফলাফল যাচাই করে, কাঁচা ও লেবেলবিহীন কোলাহলকে কার্যকর ও সুসংগঠিত তথ্যে রূপান্তরিত করা সম্ভব ।
