למה חלק מהדפים בלתי נראים?

 

יש 4 סיבות לכך שמנוע חיפוש לא מכיל דף:

1.מכשול טכני שלא מאפשר גישה.

2.בחירה לא לכלול דף מסוים. 

3.דפים שנרשמו בפורמט PPF ,או דפים שנכתבו אם מעט או לא html  בכלל

4.דפים מבוססי סקריפט שיש להם ? ב url

 

נפרט על כל סיבה.

1.מכשול טכני:

נדרשת הקלדה או שנדרש שיפוט אנושי.

אם הדרך היחידה לגשת לדף אינטרנט היא ע"י הקלדה של המשתמש,מנועי חיפוש לא יכולים להמשיך בגישה לדף כזה.

 

למה?

בסיסי הנתונים של מנועי חיפוש נוצרים ע"י תוכנות רובוט שנקראות עכבישים(מוסבר בהמשך),תוכנות אלו "זוחלות" ברשת ומחפשות תוכן.

העכבישים האלו זוחלים ברשת ע"י שימוש בקישורים שנמצאים בדפים שכבר קיימים במאגר של מנוע חיפוש,אם אין קישור לדף מסויים,העכביש לא יכול "לראות" אותו.

לעכבישים האלו אין אפשרות להקליד מלל או להחליט החלטות.הם גם לא יכולים לבחור ביו סדרת אפשריות שניתנת להם.

כלומר,אין להם "אצבעות" להקליד וגם אין להם "מוח" כדי להחליט.

 דפים שנוצרים ע"י חיפוש נקראים "דפים דינמיים",התוצאות לחיפוש שלך מאוחסנות בדף האינטרנט שנשלח אל המחשב שלך.לעיתים קרובות דך כזה לא נשמר בשום מקום בגלל תוכנו הייחודי (התשובה לשאילתא הפרטית שלך),שלא סביר שישמש אנשים נוספים.

יותר קל לבסיס הנתונים ליצור כל פעם מחדש דף כזה מאשר לשמור אותו במאגר.

 ההיפך "מדף דינמי" הוא "דף סטטי".דפים סטטיים נמצאים על שרתים,כל אחד מהם מזוהה ע"י URL עכבישים יכולים למצוא דף סטטי אם הוא מקושר לדף אחר שהם כבר מכירים.

דפים סטטיים הם לא בלתי נראים.למרות שמנועי חיפוש יכולים לא לכלול אותם בשל מדיניות שתוסבר בהמשך.התוכן של הרבה דפי אינטרנט,הוא גם ניתן לניווט,ע"י לחיצה על קישור,וגם ניתן לחיפוש.

בהנחה שאתרים אחרים קישרו עצמם אל הדף הזה,אפשר יהיה למצוא אותו ע"י שימוש במנועי החיפוש השונים.(אלא אם כן בשל מידניות הוא לא נכלל במאגר של מנוע חיפוש).

כל תוכן שלא מאוחסן בדף סטטי ,שמקושר לדפים אחרים,נשאר בלתי נראה.

צריך לחפש ישירות בבסיס הנתונים כדי למצוא אותו.

 

חוסר היכולת של עכבישים להקליד או להחליט החלטות גורם לשני סוגים של דף רשת בלתי נראים:

1.התוכן של בסיס נתונים ניתנים לחיפוש שמתמחים בנושא מסוים יכול להיות נראה או בלתי נראה באופן חלקי או מלא,תלוי כמה מהתוכן מאוחסן בדפים סטטיים עם קישורים.

2.נדרשת סיסמא.

כל האתרים שדורשים סיסמא ,סגורים בפני עכבישים בגלל שהם דורשים הקלדה של דברים שעכבישים לא יודעים לעשות התוכן של אתר ים כאלו לא יסביר שימצא בשום מנוע חיפוש כללי.

 

2.דפים שמנועי החיפוש בוחרים לא לכלול:

מנועי החיפוש יכולים לבחור לא לכלול דפים בגלל שלא סביר שמשתמשים יחפשו דף מפורמט כזה.

אין סיבה טכנית להוצאתם של דפים אלו מהמאגר- זה כן עניין של מדיניות.

למה? מנועי החיפוש מוגדרים להקמת פורמט html, שפת הרשת הפנימית. כל פורמט אחר יכול להכיל תוכן שלא מותאם ל html ויכול ליצור בעיות. בעיה נוספת הם דפים עם תמונות בלבד וללא תוכן מילולי מכיוון שאין מילות מפתח לחיפוש בשביל דפים אלו.

 

3.דפים שנרשמו בפורמט PPF ,או דפים שנכתבו אם מעט או לא html  בכלל:

למנועי חיפוש יש בעיה גם עם דפי flash ‘shocjwave ,תוכנות אחרות כמו word,powerpoint ו ועוד.

 יוצאים מהכלל:

בגוגל נוספה לאחרונה אפשרות לחפש בטקסט של קבצי pdf ע"י המכתב לקבצי טקסט ובהפיכתם לפורמט html  כך שאפשר יהיה להציג אותם ברשת.

מנועי החיפוש אחרים אינם מציעים אפשרות זו כרגע.

ניסוי: בצע חיפוש עבור "form 1040” בגוגל, לחץעל הכותרת “text version” והכותרת "pdf”.

מאגרי התמונות של google,alta-vista  ומנועי חיפוש אחרים מציעות פתרון לחיפוש במסמכים ללא טקסט.

דפים מבוססי סקריפט:

סוג נוסף של דפים שלא נכללים במנועי החיפוש הם דפים עם ? ב url  שלהם.

סקריפט הוא סוג של שפת תכנות שמשמשת להצגה ומשיכה ממאגר של דפי אינטרנט.יש הרבה סוגים ושימושים של סקריפטים ברשת.

הסקריפטים יכולים לשמש ליצירת דף אינטרנט שלם או רק חלק ממנו,וליצירת קשר עם בסיס נתונים ניתנים לחיפוש.

כשאתה מוצא ? ב url  של דף,נעשה שימוש בסקריפט בדף הזה.

רוב מנועי החיפוש לא שולחים את העכבישים שלהם לדפים שמשתמשים בסקריפטים,למרות שהמנועים מסוגלים לעשות זאת.

זוהי החלטה של מדיניות ולא מגבלה טכנית.

 

למה?אם עכבישים נתקלים ב ? ב url  או קישור הם מתוכנתים לעזוב את הדף.דפים כאלו יכולים להכיל סקריפטים שנכתבו ברשלנות או סקריפטים שנכתבו בכוונה כדי להפריע לעבודתם של העכבישים ע"י הכנסתם ללולאות אין סופיות,שיעכבו מאוד את עבודתם .מסיבה זו מנועי החיפוש מנועים מהעכבישים גישה לדפים אלו.

 

4.דפים מבוססי סקריפט שיש להם ? ב url :

דוגמא למאגרי נתונים שכל תכולתם מבוססת סקריפט הוא מנוע החיפוש גוגל.

איו באתרים כאלו url  סטטיים,וגם אם היו העכבישים היו בוחרים לא לכלול אותם באינדקס.