فایل ورد کامل مقاله تاریخچه موتورهای جستجو؛ بررسی علمی سیر تحول الگوریتم‌ها و نقش آن‌ها در دسترسی به اطلاعات

توجه : به همراه فایل word این محصول فایل پاورپوینت (PowerPoint) و اسلاید های آن به صورت هدیه ارائه خواهد شد

 فایل ورد کامل مقاله تاریخچه موتورهای جستجو؛ بررسی علمی سیر تحول الگوریتم‌ها و نقش آن‌ها در دسترسی به اطلاعات دارای ۵۶ صفحه می باشد و دارای تنظیمات در microsoft word می باشد و آماده پرینت یا چاپ است

فایل ورد فایل ورد کامل مقاله تاریخچه موتورهای جستجو؛ بررسی علمی سیر تحول الگوریتم‌ها و نقش آن‌ها در دسترسی به اطلاعات  کاملا فرمت بندی و تنظیم شده در استاندارد دانشگاه  و مراکز دولتی می باشد.

توجه : در صورت  مشاهده  بهم ریختگی احتمالی در متون زیر ،دلیل ان کپی کردن این مطالب از داخل فایل ورد می باشد و در فایل اصلی فایل ورد کامل مقاله تاریخچه موتورهای جستجو؛ بررسی علمی سیر تحول الگوریتم‌ها و نقش آن‌ها در دسترسی به اطلاعات،به هیچ وجه بهم ریختگی وجود ندارد

---

بخشی از متن فایل ورد کامل مقاله تاریخچه موتورهای جستجو؛ بررسی علمی سیر تحول الگوریتم‌ها و نقش آن‌ها در دسترسی به اطلاعات :

تاریخچه موتورهای جستجو
موتورهای جست و جو وب، تاریخچه مختصری دارند، به طوری که عمر آن ها کمتر از یک دهه است. تاریخچه موتورهای جست و جو در این بخش بررسی می کنیم.
قبل از این که موتورهای جست و جو به وجود آیند ، آشفتگی حاصی در وب وجود داشت. برای یافتن چیزی در اینترنت می بایست آدرس دقیق آن مشخص بود. با ایجاد گوفر آشفتگی تا حدی بر طرف شد و محتویات اینترنت سازمان یافته شد. گوفر در دانشگاه ماینسو تا ایجاد شد. گوفر بر اسسا HTML طراحی نشده بود و استفاده از عناوین فایل با توصیف های جزئی در آن موسوم بود. اما اگر طریقه استفاده از گوفر را بدانید به راحتی می توانید فایل ها را از اینترنت بردارید. گوفر در دهه ۱۹۸۰ در دانشگاه ماینسوتا به وجود آمده تا مشکلات کامپیوتری آن را حل کند. در این دانشگاه دپارتمامن های زیادی با فایل های متعددی وجود داشت که افراد زیادی می خواستند به آنها دسترسی داشته باشند. لازم بود این اطلاعات به راحتی در هر دپارتمان قابل دسترسی باشند. دانشگاه ماینوستا گوفر را به عنوان نرم افزاری تعریف کرد که از قرار داد TCP/IP در شبکه بندی استفاده کرده است. سایت گوفر حاوی منویی است که از طریق آن می توان به اطلاعات مورد نظر دست یافت.

توسعه سریع وب جهانی گوفر را از دور خارج کرد. در وب جهانی می توان ابر پیوندها را دنبال کرد. متن ها را جست و جو نمود، از مرورگرهای گرافیکی استفاده کرد، و بسیاری از تکنیک های محاوریه ای را به کاربرد و موتورهای جست و جوی وب را ایجاد نمود.
اولین موتور جستجو موفق، WebCrawler بود که در دانشگاه واشیتگتون طراحی و ساخته شد و در سال ۱۹۹۴ به کار گرفته شد. در مدت یک سال، سه رقیب برای آن پیدا شدند: Lycos, infoseek و open text در اواخر ۱۹۹۵ موتورهای جستجوی Alta vista, excite بوجود آمدند. جالب است که بدانید اغلب فناوری های جست و جو که امروزه توسط جست و جو کنندگان مورد استفاده قرار می گیرند با درجات مختلفی در این موتورهای جستجوی موجوددر خدمات online مثل Dialog و lexisnexis را ندارند. علاوه بر این نه موتورهای جستجو و نه امکاناتی مثل دایر کتوری های وب از نظریه دسته بندی موضوعی جامعه و شیوه های کاری نوین استفاده نمی کنند. این نکات از نظر عملی مطرح اند، به طوری که جست و جوگر جدی باید تشخیص دهد که اغلب موتورهای جست و جو برای جست و جو گرهای مبتندی طراحی شدند، نه برای کسنی که مایل هستند از روشها و تکنیک های پیشرفته تری استفاده کنند.

موتور جست و جوی hot Bot در سال ۱۹۹۶ و موتور جستو جوی Northern light در سال ۱۹۹۷ به وجودآمد. Hot bot دارای واسط پیشرفته با کاربردی ساده بود که به بانک اطلاعاتی بزرگی وصل بود ( در اواخر سال ۱۹۹۷ ، بزرگترین بانک اطلاعاتی بود).
Notrhern light جستجوی وب را با جست و جوی اطلاعاتی خصوصی ترکیب کرده است . Google در سال ۱۹۹۸ به وجود آمد و دو ویژگی مهم آن یعنی واسط بسیار ساده وچیدن رکوردها بر اساس محبوبیت باعث شده است که به سرعت بین جست و جو گرهای مبتدی و حرفه ای ( یا موردی و دائمی) محبوبیت پیدا کند. به هر حال مسابقه برای تولید بزرگترین موتور جستجو تا حدی فروکش کرد تا این که در سال ۱۹۹۹ موتور جستجو fast search به وجود آمد و بانک اطلاعاتی آن ۲۰۰ میلیون رکورد داشت. این عامل به همراه سایر عوامل رقابتی منجر به مسابقه و انگیزه دیگری شده است و به این ترتیب در ژوئن ۲۰۰ چهار موتور جستجو از بانک اطلاعاتی ۲۰۰ میلیون رکوردی استفاده کردند.

از بین موتورهای جست و جوی اولیه open text اولین موتوری بود که از بین رفت. از اوایل ۱۹۹۸ تا کنون دگیر موجود نیست. به نظر می رسد در دو یا سه سال آینده موتورهای جستجوی بیشتری از بین بروند و موتور جستجو جیدید به وجود آیند. موتور جستجوی موجود نیز تغییر می کنند، گرچه بسیاری از این ها به صورت کم یا زیاد به عنوان بخشی از ماهیت دروازه ای خدمات هستند نه بخش اصلی جنبه جست و جو. امیدواریم تولید کنندگان این ابزارها دائما به فکر پیشرفت امکانات جستجو باشند و به نظر می رسد که جنبه های رقابتی این قضیه ادامه دارد.
شرکت های تولید کنننده

موتور جستجو همانند سایر بخشهای تجارت مستعد رشد هستند و سال های ۱۹۹۶ و ۱۹۹۷ موتور دارای نسخه پیشرفته ای بود.، صرف نظر از این که آیا نسخه پیشرفته واقعا پیشرفته بود یا همانند سایر چیزهایی بود که نمی توانست در صفحه اول گنجانده شود.
در سال ۱۹۹۸ دروازه و شخصی سازی در وب شدت یافت. دروازه وب به صورت ایستگاه های هواشناسی، گروه های خبری، ردیابی اوراق بهادار، تقویم های شخصی و غیره در صفحه اول ظاهر شدند. به این ترتیب، همه چیز در صفحه اصلی وب در دسترس است.

در سال های ۱۹۹۹ و ۲۰۰۰ مفهوم دروازه قوت بیشتری پیدا کرد. ابزارهایی که به دروازه های اولیه اضافه شدند (مثل دایرکتوری ها و غیره)، در صفحه اول قرار گرفتند تا افراد از آن ها استفاده کنند. در سال ۱۹۹۹ به این صورت عمل شد که محتویات این ابزارها به طور خود کار در صفحات نتیجه (صفحاتی که در اثر جست و جو پیدا شدند)، ظاهر شدند. یعنی همزمان بانک اطلاعاتی موتور جست و جو مورد جستجو به طور منظم به نمایش در می آیند. این نوع ترکیب منابع، کیفیت نتایج جست و جو را بهبود داد، به طوری که خروجی ها به طور پیوسته به جست و جوگر نشان داده می شود و نیاز به اجرای جست و جوی جداگانه در ابزارهای مختلف نیست. توجه کنید که جست و جو فقط یک شاخص وب نیست بلکه جست وجوی دارکتوری یک شرکت، جست و جو دایرکتوری و غیره است.

مرحله بعدی به کاربران موتور جست و جو مربوط می شود ابزارهایی که مورد توجه کاربر قرار می گیرند نگهکداری شده بهبود می یابند کپی کپی می شوند و از نظر آن ها ارزشمند هستند. مسئله این است که کسی که این کتاب را مطالعه می کند و کسی که به ویژگی ها ابزارهای معرفی شده در این کتاب میاز دارد یک کاربر عادی موتور جست و جو نیست. کاربر عادی به ویژگی ها یپیشرفته و مربوط به پژوهش توجهی ندارد. اگر به جست و جو های عادی توجه کنید درجه درستی این مطلب مشخص می شود.lycos لیستی از جست جو های محبوب را آماده می کند. در یک هفته آزمایشی، ۵۰ جستجوی بهتر، حاوی ۴۶ جستجو در مورد سرگرمی، ورزش ها یا بازی ها بوده است. معنایش این است که اغلب جستجوهایی که در وب انجام میگیرند اهداف پژوهشی ندارند. اما خوشبختانه تعداد کل افرادی که از اینترنت استفاده می کنند در حا لاف است و افرادی که از موتور جستجو برای اهداف حرفه ای مثل سرمایه گذاری و کسب اطلاعاتی راجع به علوم، بشریت تجارت و پزشکی استفاده می کنند به سرعت در حال افزایش است به همین دلیل موتورهای جست و جو باید توجه بیشتری به این موضوعات داشته باشند.

ساختار موتورهای جستجو
پرداختن به جزئیات موتور جستجو تا حدی ضروری است هر چند که بدون پرد اختن به جزئیات نیز می توان از آنها استفاده کرد. به عنوان مثال راننده اتومبیل بدون اطلاعات از عملکرد موتور اتومبیل می تواند از آن استفاده کند، اما بهتر است همین راننده چگونگی تست سطح روغن وسوخت را بداند. به همین دلیل پژوهشگران باید مطالب بیشتری در مورد موتور جست و جو داشته باشند تا کارایی جست وجوی خود را بهبود بخشند. برای این کار باید با ساختار موتور جستجو تا حدی آشنا باشد.

۲۱۵
ابزارهای مافوق جست و جو
با توجه به این که هشت موتور جستجوی عمده وجود دارد، جالب است وسیله وجود داشته باشد که تعدادی از آنها را به طور همزمان جست و جو کند. این ایده بسیار خوب است. خوشبختانه این کار امکان پذیر است و می توان چندین موتور جستجو را به طور همزمان جست و جو نود.
برای جست و جو چندین موتور جستجو به طور همزمان دو روش وجود دارد. یکی از آنها سایت های ماوفوق جست و جو است که به طور رایگان در وب وجوددارند. روش دیگر استفاده از برنامه مافوق جست و جو مشتری است این بنرامه در کامپیوترتان قرار می گیرد و به جستجو رایگان بوده استفاده از آن ها آسان است، اما ضعف آن ها در کامل کردن کار است.برنامه های سمت مشتری کار را به خوبی انجام می دهند، ولی برنامه باید اینترنت از اینترنت برداشته شود و برای دریافت نتیجه نیاز به چندین مرحله است. نمونه هایی از هر روش را بررسی خواهیم کرد.

سایت های مافوق جست و جو
امتیاز این وب سایت های رایگان، سهولت استفاده از آن ها است و نیاز به برداشتن برنامه ای از اینترنت نیست، ولی معایب مهمی دارند.
عیب آن ها را بامثالی شرح می دهیم. در جدول ۱-۱۱ واژه Hilgreave در چند موتور جست و جو، و سپس در چند موتور مافوق جست و جو شده است.اگر این جدول را بررسی کنید، می توانید به دو یا سه نتیجه مهم برسید که هنگام جست و جو در آن موتورها باید در نظر داشته باشید.
جدول ۱-۱۱

اگر بیش از نیمی از سایت های مرتبط باید درموتورهای جست و جو پیدا شوند موتورهای مافوق جست و جو اغلب آن ها را پیدا نمی کنند. این کار به عوامل زیادی بستگی دارد،مثل: محدودیت هایی که خدمات جست و جو به تعداد رکودهای بازیابی شده از هر موتور جست و جو اعمال می کند، مهلت زمانی که خدمات جست و جو برای جست و جو در یک موتور در نظر می گیرد، شکست در ترجمه تقاضا به نحو خاصی که مورد نیاز موتور جست و جو است و عوامل دیگر. خوشبختانه، بعضی از موتورهای مافوق جست و جو تمام رکورد هایی را بر می گردانند که واقعا و جود دارند.
سه ضعف عمده موتورهای مافوق جست و جو عبارت اند از:
۱- معمولا تعداد رکوردهایی را که باید از یک موتور جست و جو بازیابی شوند محدود می کند (گاهی کمتر از ۱۰ رکورد).
۲- معمولا تقاضا های پیچیده تر را به موتورهای جست و جو منتقل نمی کنند.
۳- در بسیاری از موارد، بیش از ۲ تا ۳ موتور جست و جو را جست و جو نمی کنند.

ایجاد یکی از این سایت ها دشوار نیست. طبقه های Yahoo! برای این موتورها، بیش از ۱۰۰ عدد را نشان می دهد. بعضی از آنها مجموعه از کادر های جست و جو هستند که از موتورهای جست و جوی دیگر کپی شده اند. بعضی از آنها نیز طوری هستند که یک یا دو ضعف فوق را بر طرف می سازند.
موتورهای مافوق جست و جو در موارد زیر با یکدیگر فرق می کنند:
o موتورهای جست و جوی ویژه ای که تحت پوشش قرار می دهند.
o تعداد موتورهای جست و جویی که در هر زمان می توانند جست و جو کنند.
o توانایی آنها در انتقال تقاضاهای پیجیده تر به موتور جست و جو، مثل آنهایی که شامل عبارات، دستورات بولی و غیره هستند.
o محدودیت آنها در تعداد رکوردهایی که باید از هر موتور جست و جو بازیابی شود (می تواند کمتر از ۱۰ رکورد باشد)
o مدت زمانی که برای جست و جو در هر موتور جست و جو تخصیص می یابد.
o چگونگی نمایش خروجی و این که آیا رکوردهای تکراری ناشی از موتورهای مختلف را حذف می کنند یا خیر.

موتورهای مافوق جست و جو معمولا وقتی مفید و مؤثر هستند که دنبال اطلاعات قدیمی می گردید و فکر می کنید که تعداد آنها خیلی کم است.رکوردهای زیادی وجود دارند که در بعضی از موتورهای جست و جوی کوچکتر پیدا می شوند ولی از طریق سه یا چهار موتور جست و جوی بزرگتر پیدا نمی شوند و در نتیجه، جست و جوی آن ها وقت را به هدر می دهد. موتورهای مافوق جست و جو به شما اجازه می دهند سریعا چندین موتور جست و جو را بررسی کنید و واژه ها یا عباراتی را بیابید.
نمی توان تمام موتورهیا مافوق جست و جو را در این جا بررسی کرد، بلکه پنج موتور مافوق جست و جو معروف را بررسی خواهیم کرد. این پنج موتور مافوق جست و جو، قابلیت های فراوانی دارند و عبارات اند از:

Dogpile:www.dogpile.com
Ixquick:ixquick.com
Metacrawler:www.metacrawler.com
Profusion:www.profusion.com
Search.com:search

برای مشاهده لیست گسترده ای از سایت های مافوق جست و جو، مسیر زیر را در yahoo! ببینید:
Computers and Internet>Internet>Worldwideweb>searching the web>search Engines and Directories>ALI-in-one search pages
در ادامه چند موتور مافوق جست و جو را شرح می دهیم تاهنگام استفاده از آنها، از ویژگی های مفیدیبهره ببرید.منظور از”More engines covered”این است که چه تعدادی از ۹ موتور جست و جو با بیش از۲۰۰ میلیون رکود، توسط موتور مافوق جست و جو، جست وجو می شود.total engines/directories searched تعداد کل موتور جستجو یا دایرکتوری های وب را مشخص می کند که جست و جو شده اند. Boolean option مشخص می کند آیا کاربرد می تواند از هر موتور جستجو چند رکورد بازیابی شود.

 

قبل از اینکه د رمورد ساختار موتورهای جست و جو بحث نیم، بهتر است به زمینه فعالیت آنها بپردازیم: آنها به عنوان دروازه عمل می‌کنند. ایده ورای دروازه این است که، ممکن است یک صفحه (سایت) اولیه در وب باشد که کاربر به طور خودکار ابتدا به آن صفحه می‌رود و آن صفحه به عنوان دروازه‌ای برای نیازهای کاربر عمل می‌کند. این دروازه، مجموعه‌ای از اطلاعات و ابزارهای مورد نیاز را در اختیار کاربر قرار می‌دهد و لازم نیست کاربر برای یافتن آنها به چند محل مراجعه کند.
به عنوان مثال، با استفاده از صفحه شخصی Excite به عنوان صفحه شروع مرورگر، می‌توان گروههای انتخابی رئوس اخبار، پیش‌بینی وضع هوای محلی، اوراق بهادار، و تاریخ تعهدات آینده را دید.

از همه مهمتر این که در این کتاب، کادر تقاضای موتور جست و جو نشان داده می‌شود. در این کادر می‌توان تقاضایی را در یک بانک اطلاعاتی با بیش از ۲۰۰ میلیون سایت مطرح کرد. ابتدا به این بخش از سایت‌ها، یعنی خودموتور جست و جو می‌پردازیم. ولی سایر ویژگیهای دروازه را نیز نادیده نخواهیم گرفت.
به خصوص، به چگونگی دریافت نتایج بهتر خواهیم پرداخت.

متأسفانه در کاربردهای متداول منظور از موتور جست و جو، هم کل خدمات سایت و هم بخشی از سایت که تقاضاها را می‌پذیرد و هم جست و جوی با نک اطلاعاتی بزرگ است. در اغلب موارد، اصطلاح موتور جست و جو به جست و جوی بانک اطلاعاتی اطلاق می‌شود و خدمات یا دروازه به کل سایت اطلاق می‌گردد. منظور از ویژگیهای دروازه، سایر ابزارها و اطلاعاتی است که تدارک دیده می‌شود. (دایرکتوری‌ها، هواشناسی و غیره) اما به این نکته نیز توجه کنید که خدمات Alta Vista دروازه‌ای را آماده می‌کند که حاوی موتور جست و جو و سایر ویژگیهای دروازه مثل اخبار، دایرکتوری وب و ابزارهای دیگر است.

خود موتور جست و جو دارای پنج بخش عملیاتی است:
۱ ـ خزنده موتور که صفحات و سایت‌های وب را می یابد.
۲ ـ بانک اطلاعاتی که حاوی اطلاعاتی راجع به صفحات پیدا شده توسط خزنده و سایر صفحاتی است که از منابع دیگری جمع آوری شده‌اند.
۳ ـ برنامه شاخص بندی که محتویات بانک اطلاعاتی را مرتب می کند.
۴ ـ موتوربازیاب یکه شامل الگوریتم و برنامه‌نویسی‌های مربوط به آن، دستگاهها و غیره است که اطلاعات تقاضاشده را از بانک اطلاعاتی / شاخص بازیابی می‌کند.
۵ ـ واسط گرافیکی (HTML) که داده ‌های تقاضا را از کاربر جمع‌آوری می‌کند و به موتور بازیابی تحویل می‌دهد.

خزنده‌ها
خزنده‌ها یا عنکبوت‌ها برنامه‌هایی هستند که برای موارد زیر در وب حرکت می‌کنند:
۱ ـ شناسایی سایتهای جدیدی که باید به موتور جست و جو اضافه شوند.
۲ـ شناسایی سایت‌هایی که قبلا پیدا شدند و اکنون تغییر کرده‌اند.

خزنده ها اطلاعات مربوط به صفحات را از سایتها پیدا می‌کنند و آنها را در بانک اطلاعاتی موتور جست و جوگر قرار می‌دهند. مطالب زیادی در این مورد می توان بیان کرد ولی فقط بخشی از مطالب به جست و جوگر مربوط می شود و جست و جوگر به این مسئله پی می برد که چرا بعضی از صفحات در بعضی از موتورها پیدا می‌شوند ولی در موتورهای دیگر پیدا نمی‌شوند. برای بسیاری از موتورها. سایت‌های معروفتر (مثل انهایی که اغلب توسط کاربران کلیک می‌شوند تا آنهایی که پیوند به آنها لغو شده است)، نسبت به سایت‌های دیگر بیشتر در دسترس هستند. خزنده‌ها می‌توانند به صورت عمقی یا عرضی یا هر دو برنامه‌نویسی شوند.آنهایی که به صورت عرضی برنامه نویسی می‌شوند نه تنها سایتهای اصلی را می یابند بلکه صفحات فرعی آن صفحات و صفحات فرعی این صفحات فرعی را می یابند و این روند ادامه می‌یابد.

خزنده هایی که به صورت عرضی برنامه‌نویسی شده‌اند، صفحات اصلی تر را می‌یابند و الزاماً تمام صفحات فرعی آنها را پیدا نمی‌کنند. هر چه موتورهای حست و جو رشد کردند و بازار رقابت را به وجود آوردند، جست و جوی همزمان عرضی و عمقی مورد توجه قرار گرفتند.

بانک اطلاعاتی موتور جست و جو
کل اطلاعاتی که راجع به تمام صفحات وب به دست می‌آید، بانک اطلاعاتی موتور جست و جو را تشکیل می‌دهد. این اطلاعات شامل صفحاتی است که توسط خزنده شناخته شدند، اما صفحات پیدا شده توسط منابع یا تکنیکهای دیگر را نیز دربر می‌گیرد. تعداد زیادی از سایتهایی که در بانک اطلاعاتی موتور جست و جو ذخیره می‌شود، توسط ناشرین صفحات وب به آن تحویل داده می‌شوند. اگر صفحه اول هر موتور جستجویی را نگاه کنید، احتمالا پیوندی را می‌بینید که به شما اجازه می دهد تا صفحه‌ای را به این موتورهای جست و جو تحویل دهید. اگر این صفحات سپام نباشند در بانک اطلاعاتی ذخیره می‌شوند. سپام ها مزاحمتهای پستی‌اند که توجه موتورهای جست و جو را به خود جلب می‌کنند. تمام یا اغلب تولیدکنندگان موتورهای جست و جو، صفحات تحویل شده را کنترل می‌کنند تا سپام نباشند.

منابع دیگر نیز ممکن است در بانک اطلاعاتی موتور جست و جو قرار گیرند. به عنوان مثال بانک اطلاعاتی ممکن است حاوی عناوین صفحه و یا موضوعی از یک دایرکتوری مثل Open Directory یا Yahoo! باشد.
وقتی از موتور جست و جو استفاده می‌کنیم، مستقیما با جست و جوی وب سروکار نداریم، بلکه با بانک اطلاعاتی سروکار داریم که رکوردهای آن، بخشی از صفحات موجود در وب را توصیف می‌کنند. با توجه به این حقیقت، نباید انتظارات غیرمنتظره‌ای از موتورهای جست و جو داشته باشیم.

برنامه شاخص بندی و شاخص
باتوجه به صفحاتی که در اثر یک تقاضا بازیابی می‌شوند، شاخص‌بندی می‌تواند حیاتی تر از فرانید خزنده باشد. برنامه شاخص بندی، اطلاعات موجود در بانک اطلاعاتی را بررسی کرده ورودی‌های مناسبی را درشاخص قرار می‌دهد. وقتی تقاضایی انجام می‌شود، این شاخص برای شناسایی رکوردهای موردنظر به کار گرفته می‌شود.

اغلب موتورهای جست و جو ادعا می‌کنند که تمام واژه‌های هر صفحه را شاخص بندی می کنند. مسئله این است که موتورهای جست‌وجو چه چیزی را به عنوان واژه می‌شناسند. بعضی از انها دارای واژه‌های توقف هستند(واژ۹‌های کوچک و متداولی که اهمیت چندانی ندارند) و شاخص بندی نمی‌شوند. بعضی از آنها از حروف تعریف و ربط صرف نظر می‌کنند. بعضی دیگر از واژه‌های پراستفاده ولی بالقوه ارزشمند، مثل وب و اینترنت صرف نظر می‌نمایند. گاهی از اعداد صرف نظر می‌شود، زیرا جست‌وجوی واژه‌ای مثل Troop 13 دشوار است. اما در طول چند سال گذشته، موتورهای جست‌وجو واژه‌های کمتری را به عنوان واژه‌های توقف در نظر گرفتند و جست‌وجوی Troop13 در بسیاری از موتورهای جست‌وجو صورت می‌گیرد.

تمام موتورهای اصلی، فیلدهای ارزشمندی مثل عناوین و URL را شاخص بندی می‌کنند. اغلب شبه دستورات HTML نیز شاخص‌بندی می‌شوند. شبه دستورات شامل واژه‌ها، عبارات یا جملاتی که در بخش خاصی ا زکد زبان HTML قرار می گیرند تا محتویات صفحه را توصیف کنند. شبه دستورات هنگام مشاهده صفحه دیده نمی شوند، گرچه می توانید به مرورگر بگویید که مد منبع را نمایش دهد. کد منبع، کد سازنده صفحه است. برای کسانی که با HTML آشنایی ندارند، مشاهده کد منبع ارزش چندانی ندارد.
محتویات شبه دستورات برای بازیابی اطلاعات مناسب‌اند. اما بعضی از موتورها بعضی از شبه دستورات را شاخص بندی نمی کنند، زیرا شبه دستورات بخشی از صفحه‌اند که تحت تأثیر سپام‌ها قرار می‌گیرند. از این رو حجم زیادی از اطلاعات شاخص‌بندی ارزشمند، نادیده گرفته می‌شود.

آنهایی که با HTML اشنایی دارند، می‌دانند که فریم‌ها در میلیونها سایت استفاده می‌شوند.
فریم‌ها دستگاههایی از HTML هستند که بخشهای مختلف صفحه را به عنوان پنجره‌هایی درنظر می‌گیرند. بعضی از مووتورهای جست و جو فریم‌هار ا شاخص بندی نمی‌کنند و در نتیجه بسیاری از سایتها از دست می‌روند. این ضعف به این صورت برطرف می‌شود که توسعه دهندگان هوشمند صفحات وب، نسخه‌هایی از وب سایت بدون فریم را ایجاد می‌کنند که معادل سایت با فریم است. علاوه بر این با تکامل ساخت صفحات وب از فریم‌ها به ندرت استفاده می‌شود.
بعضی از موتورهای جست و جو، واژه‌های موجود در پیوندهای آبرمتن (مثل Click Here) اسامی اپلت های جاوا، پیوندهای موجود در نقشه‌های تصویر یو غیره را با شاخص‌بندی نمی‌کنند. باتوچه به این مطالب مشخص می‌شود که چرا بعضی از صفحات در تعدادی از جست‌و جوها بازیابی نمی‌شوند.

موتور بازیابی
موتور بازیابی برنامه‌ای است که تقاضای شما را دریافت می‌کند و سپس شاخص را جست و جو می‌کند تا رکوردهای مطابق با تقاضای شما را شناسایی کند و تحویل دهد. در واقع، در این فرآیند دو مسئله اتفاق می‌آفتد:
۱ ـ موتور بازیابی با استفاده از الگوریتم بازیابی رکوردهای مطابق با تقاضای شما را شناسایی می‌کند.
۲ ـ سپس این موتور رکوردهای بازیابی شده را به ترتیب خاصی تنظیم می‌کند و به کاربر تحویل می‌إهد. این دو عملیات ممکن است به طور همزمان یا به طور مجزا انجام شوند.
الگوریتم‌های بازیابی را در ادامه شرح می‌إهیم. فعلا به این نکته اکتفا می‌:نیم که این برنامه‌ها با استفاده از معیارهای تطبیق تعیین می‌کنند که چه رکوردهایی حاوی واژه‌ها عبارات یا ترکیبی از آنها است.

ممکن است سایر معیارهای تعریف شده توسط کاربر را نیز تطبیق کنند، مثل آیا صفحه خاصی حاوی فایلهای صوتی و تصویری هست یا خیر.
بخشی از موتور جست و جو که ارتباط رکوردها را مشخص می‌کند، ممکن است با الگوریتم بازیابی ترکیب شده باشد یا فرآیند جداگانه‌ای باشد. حتی اگر به صورت فرآیند جداگانه‌ای باشد. این تفکیک ممکن است از نظر کاربو مشخص نباشد و معمولا لازم نیست مشخص باشد. در بعضی موارد ممکن است تفکیک این دو فرآیند روشن باشد. به عنوان مثال، در جست و جوی پیشرفته در Alta Vista کاربر باید در کادر جداگانه‌ای به نام Sort by مشخص کند مرتب سازی چگونه باید صورت گیرد.

واسط HTML
آنچه که کاربران هنگام اتصال با موتور جست و جو می‌بینند، واسط HTML است. این واسط، داده های تقاضا را از کاربر می‌گیرد و آن داده ها را به موتور جست و جو می‌فرستد تا بازیابی را انجام دهد. بدیهی ترین عمل آن، تهیه ابزاری برای کاربر است تا کاربر بتواند تقاضایش را مشخص کند. اما این واسط اعمال دیگری را نیز انجام می‌دهد، مثل فضایی برای تبلیغات که درآمدی برای شرکت موتور جست و جو محسوب می‌شود، امکان دستیابی به ویژگیهای مختلف دروازه، و فراهم کردن پیوندهایی به صفحات کمکی و اطلاعات دیگری راجع به خدمات.

بانک اطلاعاتی در ورای بانک اطلاعاتی
دقت کنید که تمام موتورهای جست‌وجو، بانکهای اطلاعاتی مخصوص به خود را ایجاد نمی‌کنند. بعضی از موتورهای جست‌و جو از بانک اطلاعاتی که توسط دیگران ایجاد شد استفاده می‌کنند و سپس محتویات، ویژگیها و الگورتیم‌های مرتب‌سازی خاص خودشان را اضافه می‌کنند. بعضی از موتورهای جست‌و جو مثل HotBot و MSN از بانک اطلاعاتی Inktomi استفاده می‌کنند. Inktomi (با ۵۰۰ میلیون رکورد) با عمل خزنده اطلاعات را جمع آوری کرد و آن را شاخص بندی نمودو سپس این بانک اطلاعاتی را به HotBot و سایرین فروخت. از این پس، این موتورهای جست و جو می‌توانند بانک اطلاعاتی را دستکاری کنند. نقاط دستیابی مختلفی را ایجاد کنند(جست و جوی فیلدها) و در صورت لزوم نتایج حاصل از جست و جوی بانک اطلاعاتی Inktomi را با نتایج حاصل از سایر منابع ترکیب نمایند. در نتیجه جست و جوی دو موتور جست و جو که هر دو از Inktomi استفاده می‌کنند. ممکن است نتایج مختلفی را تولید نماید.

موتور جست و جوی Fast Search بانک اطلاعاتی خودش را در اختیار دیگران قرار می دهد و از طریق سایت خودش نیز مستقیما میتوان به بانک اطلاعاتی آن دست یافت (برخلاف Inktomi) Lycos اولین موتور جست و جویی بود که از بانک اطلاعاتی Fast Search استفاده کرد.

ویژگیهای دروازه
منظور از ویژگی دروازه، ابزارها و اقلام اطلاعاتی‌اند که در واسط خدمات ظاهر می‌شوند و الزاما بخشی از عملیات جست و جوی وب نیستند. دایرکتوریهای وب، اخبار، دایرکتوریهای شرکت، اطلاعات سهام، نقشه‌ها، هواشناسی و غیره. برای اهدافی که فعلا داریم، عمل جست و جو را به عنوان فرآیندی تعریف می‌کنیم که کاربر معیار خاصی را وارد می‌کند و بانک اطلاعاتی جست و جو می‌شود تا صفحاتی از وب شناسایی شوند که با آن معیار جور درآیند.
وقتی مفهوم دروازه ابتدا توسط خدمات جست و جو توسعه یافتند، اغلب ویژگیهای غیرجست‌وجو به عنوان امکاناتی اضافی بودند. اینها با عملیات جست و جو ترکیب نشدند و فواید ناشی از آنها را می‌توان به شکل بهتری از جای دیگر به دست آورد.

احتمال اولین مثال از جامعیت (ترکیب) جست و چوی بانک اطلاعاتی وب با یکی از این ابزارها، سایت یاهو است. در یاهو، عمل جست و جو و عملیات دایرکتوری با هم ترکیب شدند. یاهو معمولا به صورت یک دایرکتوری نگریسته می‌شود(یک مجموعه قابل مرور، دسته بندی شده و انتخابی) نه یک موتور جست و جوی عمومی وب. اما چون این دو عملیات باهم ترکیب شده‌اند، در هر دو رده می‌گنجد.

یاهو عمل مرور کردن را به خوبی جامعیت می‌بخشد، زیرا هنگام جست و جو در یاهو عناوین دسته‌بندی یاهو جست و جو می‌شوند و هنگام مرور در هرسطحی در الگوی دسته بندی جست و جوگر می‌تواند دسته یا گروه موردنظر خودش را انتخاب نماید. یاهو نه تنها در بانک اطلاعاتی خودش، بلکه در بانک اطلاعاتی سایر موتورهای جست و جو نیز جست و جو می‌کند(اوایل از بانک اطلاعاتی AltaVista استفاده می‌کرد و فعلا از بانک اطلاعاتی Google استفاده می‌نماید). باتوجه به این که خدمات جست و جوی وب به صورت دروازه درآمدند، اغلب خدمات به این نوع جامعیت ابزار روی آوردند. همان طور که خواهیم دید این جامعیت نه تنها به جامعیت جست و جو و منابع دایرکتوری وب مربوط می‌شود به جامعیت ابزارهای دیگر نیز مربوط خواهد شد.

نکته مهم در بررسی فواید دروازه این است که کاربرد توانایی دارد تا صفحه اول سایت را شخصی‌سازی نماید. اغلب خدمات جست‌وجوی وب که ویژگیهای دروازه‌ای را تدارک می‌بنند، به جست و جوی وب نیز صادق است. سایتهای جدیدی مثل MSNBC و CNN اطلاعاتی بیش از اخبار خودشان را ارائه می‌کنند. و اجازه می دهند که سایتهای آنها شخصی سازی شوند.
اگر تاکنون صفحه اول هیچ سایتی را سفارشی نکرده باشید، حتما این کار را انجام دهید. با انجام این کار وقتی به آن سایت می‌روید تمام عناوین موردنظرتان را خواهید دید.
از اینکه با جنبه دروازه‌آی این خدمات به عنوان مکمل عملیات جست ؤ جو نگریسته می‌شود به معنای این نیست که جنبه دروازه‌ای اهمیت کمتری دارد به این علت با دروازه به این صورت رفتار می‌شود که هدف این کتاب بررسی جست و جو در وب است و آنچه که در مورد دروازه گفته می‌شود، به جست و جو مربوط می‌گردد و برعکس، درواقع، هر جست و جوگرباید با مفهوم دروازه و امکان آن آشنا باشد. فقط به خاطر جست و جو به وب نمی‌رویم. برای بسیاری از افراد، انتخاب، سفارشی کردن، و استفاده از دروازه در وب، بیشتر از استفاده از تلفن اتفاق می‌افتد.

اجزای صفحه اول موتور جست و جو
بسته به این که خدمات جست و جوی وب، مبتنی بر دروازه یا مبتنی بر جست و جو می‌باشد، نمای صفحه اول آنها بسیار متفاوت است. خوب است که جست و جوگران یک تصویر ذهنی از خدمات مختلف داشته باشند اما تا زمانی که افراد با چند موتور جست و جو آشنا نشوند، عدم سازگاری بین آنها منجر به تضادهایی می‌شود. به همین دلیل خوب است که نگاهی به صفحه اول خدمات موتور جست و جو داشته باشیم تا محتویات و ویژگیهایی را که این خدمات دارند، شناسایی کنیم. وقتی شباهتها پیدا شدندبه راحتی می توان تشخیص داد که چه کارهایی با آن موتور جست و جو می‌توان انجام داد. عناصر موجود در صفحه اول Alta Vista بسیار زیاد است و در شکل ۱-۱ آمده است.

گزینه‌های بانک اطلاعاتی
بعضی از موتورهای جست و جو مشخص می‌کنند که چه مجموعه‌ای از منابع باید جست و جو شود. این گزینه ها ممکن است شامل جست و جوی بانک اطلاعاتی اصلی موتور جست‌وجو یا جست‌و جوی مجموعه‌های دیگری از بانک اطلاعاتی مثل تصاویر، صوت و فیلم، مقالات خصوصی و گروههای بحث باشد.
مهمترین گزینه و گزینه پیش فرض، واژه the web است که تمام صفحاتی از وب را دربرمی‌گیرد که در بانک اطلاعاتی آن خدمات جست و جو وجود دارد. معمولا برای گزینه‌های جست و جو از کادر متنی یا دکمه‌های رادیویی استفاده می‌شود.

اغلب، در جاهایی از صفحه، پیوندهایی برای جست و جو در سایر بانکهای اطلاعاتی وجود دارد (مثل بانکهای اطلاعاتی مربوط به اطلاعات سهام)، اما موتور جست و جویی که برای این پیوندها به کار می‌رود متفاوت است و معمولا شرکت دیگری آن را تهیه کرده است. به عنوان مثال Excite چنین پیوندری را برای مظنه سهام و هواشناسی تدارک می‌بیند که هر کدام از آنها صفحات واسط پیچیده‌ای دارند.

کادر تقاضا
این کادرها قلب موتور جست و جو هستند زیرا تقاضاها در این وارد می‌شوند. آنچه که می‌توان در این کادر وارد کرد (عبارت منطق بولی و غیره) بسته به نوع موتور جست‌وجو دارد.

گزینه‌های اصلاح کننده تقاضا
تقریبا نیمی از موتورهای جست‌و جو گزینه‌هایی را در صفحه اول فراهم می‌کنند تا بتوان تقاضا را اصلاح کرد. این گزینه‌ها اغلب به صورت پنجره بازشونده، دکمه‌های رادیویی، یا کادرهای کنترلی نمایش داده می‌شوند. اینها گزینه‌هایی را فراهم می‌کنند تا بتوان جست‌و جو را برحسب زبان، تاریخ، محتویات خاص، به کارگیری عملگرهای منطقی و غیره به نحو بهتری انجام داد.

پیوند به نسخه‌های پیشرفته‌تر
برای تمام موتورهایی که گزینه نسخه پیشرفته را تدارک می‌بینند، پیوندهایی در صفحه اول وجود دارد که به نسخه پیشرفته‌تری هدایت می‌شوند. اغلب، خود پیوند بسیار کوچک است، به طوری که گویی نمی‌توانید آن را ببینید. به یاد داشته باشید که اگر نسخه پیشرفته را ترجیح می‌دهید می‌توانید آن را به جای صفحه اول موتور جست وجو علامت گذاری کنید.

آگهی تبلیغاتی
اگهی تبلیغاتی در موتورهای جست و جو تقریبا اجتناب‌ناپذیر است. برای اغلب شرکتهایی که موتورهای جست‌وجو را تهیه می‌کنند، آگهی تبلیغاتی و فروش نرم‌افزار، عمده‌ترین موضوعات سودآور هستند. دقت داشته باشید که آگهی ها معمولا در رابطه با جست‌وجویی که انجام می دهید بخش می‌شوند. به عنوان مثال، اگر جست‌وجویی را انجام دهید که حاوی واژه furniture باشد، آگهی تبلیغاتی مربوط به اثاثیه (معنای واژهfurniture) ظاهر می‌شود. کسی که این آگهی را داده است، این طور خواسته است که در مواقع مناسبی پخش گردد. اگر این موضوع را از دیدگاه مثبت نگاه کنید، این آگهی می‌تواند برای مشتری و آگهی دهنده سود داشته باشد.

دایرکتوری (موضوعات کانالها و دسته‌بندی)
برای موتورهای بزرگ، معمولا لیستهای وسیعی از منابع اطلاعات وب به یکی از فرمتهای زیر ظاهر می‌شود:
دایرکتوری یا لیست دسته بندی شده‌ای از سایت‌ها. به یاد داشته باشید که در هر موتور، این سایتهای انتخاب شده فقط بخش کوچکی از سایتهای موجود در بانک اطلاعاتی موتور جست‌وجو را تشکیل می دهند، بعضی از موتورهای جست‌و جو، دایرکتوری هایی را ایجاد و نگهداری می‌کنند، در حالی که بعضی دیگر از موتورها از یک دایرکتوری‌ استفاده می کنند که در اختیار چندین موتور جست‌و جو قرار دارند. فعلا Open Directory (که شکل عادی آن در سایت www.domz.org قرار دارد) و (LookSmart.com) LookSmart دایرکتوری‌هایی هستند که چندین موتور جست‌و جو از آنها استفاده می‌کنند.

چون Open Directory بیشتر به امور پژوهشی مربوط است، خوب است که در اینجا توضیحی راجع به آن مطرح شود. Open Directory بزرگترین دایرکتوری‌های وب است که بیش از ۲ میلیون رکورد دارد. برخلاف یاهو، که صدها ویراستار دساتخدام دارد و به آنها مبالغی را پرداخت می‌کند، Open Directory در حدود ۳۰۰۰۰۰ ویراستار داوطلب دارد. از یک طرف، این موضوع می‌تواند به معنای کیفیت متغیری در انتخاب سایت‌ها باشد، ولی از طرف دیگر به معنای این است که بسیاری از ویراستارها در زمینه تخصصی خود نسبت به ویراستارهای یاهو باتحربه‌تراند. به طوری کلی به نظر می‌رسد کیفیت محتویات خوب است و یک صفحه خوب با احتمال و سرعت بیشتری وارد Open Directory می‌شود تا یاهو. Open Directory دارای ۱۵ دسته سطح بالا است و اغلب طبقه یا طبقه‌های فرعی دارای چهار یا پنج سطح پایین تر هستند. حاوی ارجاعات متقابل و توصیف‌هایی برای دسته‌ها است و جست و جو در هر سطح همانند سطح بالا انجام می‌گیرد.

هر موتور جست‌وجو، Open Directory را تقریبا متفاوت از دیگری پیاده‌سازی می‌کند.
ـ کانالها یا صفحات اختصاصی در مورد موضوعاتی مثل تجارت، سرگرمی یا ورزش، هر یک از این صفحات، ممکن است حاوی لیست دایرکتوری در مورد ان موضوع سایتهای قابل جست‌وجو و غیره باشد. به عنوان مثال در Excite در زیر طبقه Bussiness پیوندی به بخش Bussiness دایرکتوری مربوط به Excite حست‌وجوی مظنه سهام، دایرکتوری های شرکت، مجموعه‌ای از ابزارهای تجارت Online و بسیاری از پیوندهای تجاری مرتبط دارد.

ارتقای سایت
جایی است که تولیدکننده موتور جست‌وجو ویژگیهای بارز خود را نشان می‌دهد. معمولا ویژگیها یا محتویات بارز در ان برجسته می‌شوند. موتورهای جست‌و جو معمولا خدماتی را در این جا مطرح می‌کنند که ممکن است در سایتهای دیگر نباشد.

سایر ویژگیهای دروازه
این طبقه شامل ویژگیهای مختلف و متعددی است که در جدول ۱-۱ آمده‌اند.

پیوندهای Help
این پیوند شما را به صفحات بیشتری هدایت می‌کند که چگونگی عملکرد موتور جست و جو را برای شما تشریح می‌کند. گرچه اغلب چیزهایی که در صفحه کمکی می‌خوانید درست هستند، ولی بعضی از موتورهای جست‌وجو چیزهایی را مطرح می‌کنند که به انها عمل نمی‌کنند. در بعضی از موارد این خدمات ویژگیهایی را ارائه می‌کنند که در صفحات کمکی آنها گنجانده نشده است. بعضی از خدمات ممکن است در طول عمر خود تغییر کنند ولی این تغییرات به صفحات کمکی آنها اعمال نشود. به طور کلی، صفحات کمکی خوب هستند و کیفیت آنها رو به افزایش است.

چه انتظاری از این خدمات دارید
برای کسانی که جست‌وجوهای زیادی را با خدمات Online مثل DIALOG و LEXIS – NEXIS انجام دادند، انتظارات مربوط به موتورهای جست‌وجوی وب باید تعدیل شود. تنوع ویژگیها، پیچیدگیها و قابلیت اعتماد ویژگیها و در بعضی از موارد قابلیت اعتماد نتایج حاصل از موتورهای جست‌وجو، برابر با آن خدمات تجاری نیست. ماهیت عمومی بودن موتورهای جست‌و جو، به خصوص تمایل به جذب میلیونها کاربر موجب شده است تا سطح پشتیبانی آنها از مشتریان، کمتر از خدمات قدیمی‌تر باشد.
اما چون خدمات جست‌و جوی وب رایگان هستند، می‌توان این عیبها و نقص‌ها را نیز تحمل کرد. به طوری که حق اشتراک گرفته نمی‌شود و بابت جست‌وجو نیز پولی دریافت نمی‌گردد.
فاصله بین انتظارات بازیابی قدیمی و انتظارات جست‌و جوی وب وقتی کمتر می‌شود که عوامل دیگر نیز درنظر گرفته شوند. تشخیص این عوامل برای جست‌وجوگرهایی مناسب است که بخواهند از هر دو نوع خدمات استفاده کنند.

عامل اول این است که موتورهای جست‌و جو با داده‌های بدون ساختار سروکار دارند، یا با داده‌هایی سروکار دارند که ساختار آنها سازگاری ندارد. در واقع، ساختاری معین برای HTML وجود دارد. بدنه صفحات ساختار، سازگاری چندانی ندارد که خدمات جست‌وجوی وب بتواند برای جست‌وجوی ساخت یافته استفاده کند. وقتی سازندگان صفحات وب از گزینه هایی مثل XML استفاده کنند، این وضعیت تغییر می‌کند. XML انواع مختلف داده‌های موجوددر صفحه را به خوبی شناسایی می‌کند. بعضی از موتورهای جست‌و جو سعی می‌کنند که از این امتیاز استفاده کنند و فعلا منتظر سایت‌ها هستند تا این نوع ساختارها در انها به وجود آید.

عامل دوم این است که باتوجه به حجم داده‌های موجود در وب، به اضافه داده‌هایی که روزانه اضافه می‌شوند، کاری که موتورهای جست‌و جو در یک دوره زمانی کوتاه انجام می‌دهند، جالب است، توجه به این حقیقت که حداقل یک سطح دستیابی اولیه به صدها میلیون صفحه وجود دارد، جای امیدواری است و می‌توان عیب‌ها رانادیده گرفت.
در جولای ۱۹۹۹، در مقاله قابلیت دستیابی اطلاعات در وب استیولورنس و سی. ال.گیلز مطالعاتی در مورد حوزه دستیابی موتورهای جست و جو انجام دادند. در این مقاله، پژوهشگران براورد کردند که وب در آن زمان حاوی ۸۰۰ میلیون صفحه از اطلاعات بود و هر موتور جست‌وجوی قوی کمتر از یک چهارن این محتویات را تحت پوشش قرار داد. آنها برآورد کردند که از بین ۸۰۰ میلیون صفحه موتور جست و جوی Northern فقط ۱۶ درصد، SNAP و AltaVista فقط ۵/۵ درصد و HotBot فقط ۱۱ درصد و بقیه کمترا ز ۱۰ درصد را شامل می‌شوند.

یادآوری می‌شود که ارقام مطرح شده توسط تمام بینندگان وب قابل قبول نیست. بعضی از تولیدکنندگان موتور جست و جو احساس می‌کنند که این ارقام تحت تأثیر این حقیقت قرار گرفتند که بسیاری از صفحاتی که در این مطالعه شناسایی شده‌اند، تکراری اند ولی URL یکسانی دارند. یعنی چندین URL به یک صفحه اشاره می‌کردند، مثل www.onstract.comو onstrat.com. با این که صفحات مشابهی در کارگزاران مختلف بودند. علاوه بر این بسیاری از آنها نیز سپام(مزاحمتهای پست‌اند) اگر این مشاهدات درس باشد موتورهای جست‌وجو صفحاتی بیش از آنچه را که در مطالعات لورنس وگیلز مطرح شد، دربر می‌گیرند.
هر کدام از نظرات درست باشد برای افزودن دیدگاهی به این اعداد، دقت داشته باش

ید که حتی اگر یک چهارم صفحات نیز تحت پوشش قرار گیرند، مناسب است. توجه کنید که بسیاری از خدمات جست‌و جوی قدیمی تمایل ندارند تمام صفحات منتشر شده را نگهداری کنند. خدمات مشهوری مثل Psychological Abstract, Chemical Abstract و یا سایر خدمات حتی سعی نمی‌کنند تمام چیزهایی را که به ترتیب در مورد شیمی یا روان‌شناختی منتشر شده‌اند، دربرگیرند. به این نکته توجه داشته باشید که اگر می‌خواهید به تمام اطلاعات مربوط به یک موضوع دسترسی داشته باشید، باید چندین موتور جست‌وجو را بررسی کنید.

حتی اگر چندین موتور جست‌و جو نیز جست‌و جو شوند، بازهم بخشی از وب را مشاهده نخواهید کرد. این بخش را اصطلاحا وب غیرقابل مشاهده می‌نامند. این صفحات در سایتهایی قرار دارند که ورود به آنها مستلزم داشتن کلمه عبور است یا صفحاتی‌اند که بخشی از بانکهای اطلاعاتی هستند که برای جستجو نیاز به ورودی‌هایی از طرف کاربر دارند. برای دستیابی به این بانکهای اطلاعاتی، باید ثبت نام کرده کلمه عبوری را وارد کنید و یا باید تقاضایی را در صفحه‌ای از ان سایت وارد کنید. برای دستیابی به صفحات موجود در این سایتها باید مستقیما به آن سایت بروید، نه این که سعی کنید انها را با استفاده از موتور جست‌وجوی وب جست‌وجو کنید. برای مشاهده مجموعه‌ای از این نوع سایت‌ها به آدرس زیر مراجعه کنید:
gwis2.circ.gwv.edul~gpriceldirect.htm

برای مجموعه‌ای از انتظارات منطقی در مورد قابلیت جست‌وجو، باید یک جنبه اضافی را درنظر داشت. به طور کلی، اغلب موتورهای جست‌وجو برای جست‌وجوگرهای جدی طراحی نشدند. بسیاری از آنها برای کاربران موردی طراحی شدند، نه برای کسانی که در محیطهای تجاری و پژوهشی کار می‌کنند. با مراجعه به مستندات جست‌وجو و مشاهده مثالهایی که در آن ارائه می‌شود، می‌توانیم به استفاده کنندگان آن پی ببریم. باتوجه به این حقیقت، اگر از آنچه که توسط موتور جست‌وجو ارائه می‌شود استفاده صحیحی به عمل آید، نتایج معقولی به دست خواهند آمد. اگر کاربران جدی از ویژگی‌های پیشرفته‌تر استفاده کنند، ممکن است روش‌های پیشرفته‌تری ارائه شوند. گرچه ممکن است بسیاری از سایت‌ها بتوانند به کاربران موردی پاسخ دهند، ولی معمولا همه سعی می‌کنند از موتورهای جست‌وجوی قوی‌تر استفاده کنند. این موضوع در مورد Northern light رخ داده است. به همین ترتیب، اغلب موتورهای جست‌وجو سعی می‌کنند تمام امکانات جست‌وجو را فراهم کنند.

موارد دیگری که نباید انتظار داشت:
ـ سازگاری از یک موتور جست‌وجو به موتور جست‌وجوی دیگر. این موضوع را می‌توان یک نکته مثبت تلقی کرد، نه منفی، زیرا هنوز بهترین روش جست‌وجو در وب مشخص نشده است و باید در این راه تلاش کرد.
ـ ابزارهای قدیمی که با فروشندگان Online مورد استفاده قرار می‌گیرند (مثل واژه‌نامه کنترل شده، دامنه کاملی از اتصال دهنده‌های بولی و الحاقی، فرمتهای خروجی و غیره).
ـ جست‌وجوی کتاب‌شناسی جامع ـ تا مشخص شود چه ژورنال‌ها، کتابها، گزارش‌های تکنیکی، پایان نامه ها و غیره چاپ شده‌اند که موتورهای جست‌وجو هنوز نتایج قطعی را اعلان نمی‌کنند به خصوص برای جست‌و جوهای بعدی. برای بسیاری از موضوعات، بهترین شرط برای جست‌وجوی کتاب‌شناسی این است که از یکی از خدمات اقتصادی استفاده شود یا یک بانک اطلاعاتی مثل ERIC پیدا شود که خواسته‌های موردنظرتان را داشته باشد.

ـ بدانید که در اثنای جست‌وجو چه اتفاقاتی رخ می‌دهد. پژوهش‌گران مجرب Online اغلب دوست دارند تمام چیزهایی را که در پشت صحنه رخ می‌دهد، بدانند. لذا می‌توانند تشخیص دهند که آیا واقعا به اهداف خود دست می‌یابند یا خیر.
آنچه که واقعا در پشت صحنه جست‌وجو رخ می‌دهد به دلایل رقابتی مخفی است و فقط در اختیار تولیدکننده خدمات جست و جو است. این موضوع به همراه ناسازگاری‌های موجود و بدیهی، به معنای این است که نمی‌توان به دانش کافی در مورد پشت صحنه جست‌وجو دست یافت. در واقع، پشت صحنه، مخفی است.