ওয়েব crawler কিঃ এবং www.khonz.com

আমরা সবাই search engine আর সাথে পরিচিত। Search Engine আর মাধ্যমে আমরা আমাদের প্রয়াজনীয় সব তাথ্য খুজে পাই। কিন্তু এই search engine কাজ করে কিভাবে?

search engine এর এক আত্যাবষ্যকিয় আংশ হলো এই crawler। crawler এর মুল কাজ হলো internet হতে তথ্য সংগ্রহ করা। এটি সয়ংক্রীয় ভাবে website হতে তথ্য সাংগ্রহ করে database এ জমা করে। যখন তথ্য পরিবেশন করার প্রয়োজন তখন এই database হতে তাথ্য পরিবেশন করে।

পুরা বেপারটা কিন্তু এত সহজ না। প্রথমে crawler website টিকে computer এর হার্ড ডিক্সে জমা করে। এরপর শুরু করে তথ্য বাছাই এর কাজ। এই তথ্য বাছাই এর কাজটি করা হয় কয়েক ধাপে। যে search engine যাত ভাল তার এই ধাপের সঙ্খাও তত বেশি এবং সাথে সাথে এই ওয়েব সাইটে আর কি কি ওয়েবসাইটের লিঙ্ক আছে তাও বাহির করে যাতে পরবতিতে ওই সকল ওয়েব সাইটের তথ্য সংগ্রহ করা যায়।

Crawler একটি সয়ংক্রীয় engine যা internet হতে নিত্য নতুন তথ্য সংগ্রহ করে।

এমনই এক crawler নিয়ে বাংলাদেশের প্রাথম Search Engine হিসাবে আসছে Khonz.com