دنياي وب منبع عظيمي از اطلاعات است كه روزبه‌روز برحجم آن افزوده ميشود. در حال حاضر ميلياردها صفحه كه اطلاعات فراواني از موضوعات مختلف را در بر دارند، بر روي سرورهاي مختلف جا خوش كرده اند. اين در حاليست كه تولد سايتهاي جديد و گسترش سايتهاي موجود نيز به طور فزاينده اي به اين حجم اطلاعات مي افزايد. نرخ رشد اطلاعات تا بدانجاست كه امروزه مشكل دسترسي به اطلاعات جدي تر از نبود اطلاعات است. امروزه چالش عمده اكثر كاربران دستيابي به اطلاعات است. به عبارت ديگر اگر كاربري دنبال موضوعي خاص باشد، كدام صفحه را بايد بخواند؟ از ميان اين تعداد عظيم صفحات موجود، كدام صفحه نياز او را برآورده مي كند؟
اگر سايتي باشد كه به كاربران در يافتن اطلاعات كمك كند، قطعا مورد توجه خواهد بود. خوشبختانه چنين سايتي وجود دارد و ما آنرا با نام موتور جستجوگر مي شناسيم.
موتور جستجوگر سايتي است كه براي كمك به كاربران در يافتن اطلاعات موجود در سايتهاي ديگر طراحي شده است. موتور جستجوگر سايتي است كه با گرفتن عبارتي مختصر، كاربر را با ليستي از سايت ها روبرو مي‌كند كه به موضوع مورد علاقه او مرتبط مي‌باشند.
آمارها نشان مي دهند كه افراد بسياري سفر در دنياي وب را با موتورهاي جستجوگر آغاز مي‌كنند و مراجعه به موتورهاي جستجوگر چنان عادي شده است كه جستجو كردن و كار با موتورهاي جستجوگر، دومين فعاليت عمده كاربران در دنياي وب (بعد از ارسال و دريافت نامه هاي الكترونيكي)، محسوب مي شود.
هر چه بر محبوبيت وب افزوده مي گردد، نياز به بايگاني كردن اطلاعات آن نيز بيشتر ميشود؛ موتور جستجوگر نيز در واقع اين اطلاعات را بايگاني كرده، در زمان مورد نياز و به سرعت در اختيار كاربران قرار مي‌دهد. بدون موتور جستجوگر، وب تنها به بخش كوچكي از موفقيت امروزين خود دست مي‌يافت زيرا موتور جستجوگر، اينترنت را به رسانه‌اي قابل استفاده براي همه كرده است (از هيچ كس توقع نمي‌رود تعداد زيادي از آدرس هاي وب را به ياد داشته باشد).
آن چه كه موتورهاي جستجوگر انجام مي دهند- با درجات متفاوتي از موفقيت- فراهم كردن يك وسيله جستجوي ساده است. وقتي يك كاربر وب عبارتي را جستجو مي‌كند، موتور جستجوگر ليستي از سايت ها را ارائه مي‌كند كه تعداد آنها از چند صد مورد تا چند ميليون متغير مي‌باشد.
