תוֹכֶן
מחפשי אינטרנט כגון גוגל, יאהו ובינג למצוא מידע באמצעות קישורים sitemaps עבור אתרים אחרים. מנועי החיפוש האלה יכולים למצוא כמה מידע מעורפל ביותר ולכלול אותם המדד שלך ואת זה סוג של טכנולוגיית החיפוש יש יתרונות וחסרונות עבור המשתמשים.
דפי רשת פנימיים
דפי רשת פנימיים הם דפים באתרי אינטרנט הזקוקים לקליקים רבים שייראו על ידי המשתמש. דפים אלה יכולים להיות מוצרים, תוכן או מסד נתונים לחיפוש שמנועי החיפוש אינם יכולים לעקוב אחריהם. היתרון של סוג זה של הטכנולוגיה, אשר מונע מנוע החיפוש זוחל, היא כי בעלי אתרים יכולים להיות מוצרים, רכישות, מידע וקישורים חשובים אחרים כלולים אינדקס מנוע החיפוש. זה נותן יותר נראות באינטרנט לבעלי האתר.
מידע אישי
חסרון אחד של מנוע חיפוש שזוחל הוא שיש מידע אישי להיות באינדקס ללא קשר לפרטיות. מידע כגון מספרי אבטחה, נתונים כספיים או מיקומים גיאוגרפיים ניתן לצרף לאינדקס, גם אם הוא פורסם באתר אישי. המחפשים סיפקו למשתמשים אפשרות לחסום מידע אינדקס כלשהו באמצעות קובץ בשם "robots.txt". מנועי חיפוש כגון Google, למשל, מאפשרים למשתמשים להסיר כתובות אתרים לאחר שבעל האתר הסיר מידע פוגע, שנמחק מהאינדקס.
אוטומציה
בעלי אתרים יכולים להיות דפים שלהם באינדקס על ידי השארת כמה קישורים באתר אחר או אפילו באתר שלהם. נוהג זה נקרא "backlinking". אתר אינטרנט שעושה שימוש בתכונה זו הוא מעקב אוטומטי על ידי מנועי החיפוש, מי יכול ואז מפה ואינדקס אתר אינטרנט. זה מקל על המצב של בעלי אתרים כפי שהם לא צריכים להגיש שם תחום מנועי החיפוש. אוטומציה של אינדקס מקלה על קוראי האינטרנט לחפש.
