הנושאים בדף זה:

• כללי
• מנועי חיפוש - דור ראשון
• !yahoo
• Open Directory
• AltaVista
• Excite
• Fast
• (Go (infoseek
• Lycos
• מנועי חיפוש-על - דור שני
• MetaCrawler
• HotBot
• DogPile
• מנועי חיפוש - דור שלישי
• Google
• NorthenLight
• AskJeeves
• DirectHit
• Mulder
• השוואות בין מנועי חיפוש
• השוואה כללית - אינדקסים
• אפשרויות מיפתוח
• אפשרויות דירוג
• אפשרויות בדיקת Spamming
• גודלי המנועים
• אחוז כיסוי הרשת

כללי

ניתן להבחין בשלושה דורות של מנועי חיפוש (ראה התפתחות מנועי החיפוש).מצאנו לנכון לפרט על מנועי החיפוש הטובים והמעניינים ביותר בכל קטגוריה.

בנוסף לפירוט שהבאנו כאן, ברצוננו לציין כי ברוב מנועי החיפוש קיימים דפי "About" או "Help", המכילים מידע כללי, "עזרה ראשונה", הסבר על האפשרויות השונות הקיימות במנוע ולעיתים גם הסבר על עקרונות האלגוריתם - מומלץ לפנות לדפים אלו.

מנועי חיפוש - דור ראשון

yahoo!

מנוע החיפוש הפופולרי ביותר ברשת. מעל ל-150 עורכים מקצועיים עובדים על קיטלוג האתרים לתוך המדריך. במקרה ש-!Yahoo לא מוצא תוצאות במדריך שלו, מועבר החיפוש ישירות למנוע החיפוש של Google והתוצאות מוחזרות ממנו.

תכונות מיוחדות

• ניתן לחפש גם באתרים וגם בקבוצות דיון של משתמשים.
• ניתן להגביל את החיפוש לתקופה מסוימת - לדוגמא: רק ב-4 שנים האחרונות.
• מספק דואר אלקטרוני.

Open Directory

המדריך בנוי האדם (Humanly-Compiled) הגדול באינטרנט. האתרים בו נאספים ע"י כ-16,000 מתנדבים. בנוסף מכיל מנוע חיפוש המחפש בכמה מנועי חיפוש: All The Web, AltaVista, Deja, Google, HotBot, Infoseek, NorthenLight, Netscape ו-!Yahoo. כן ניתן לחפש בכל קטגוריות המדריך או בקטגוריה ספציפית.

בהשוואה ל-!Yahoo, ה-OpenDirectory הרבה יותר גדול עקב מס' האנשים העצום שעוסקים בקיטלוג האתרים. אם זאת, יש להניח כי עיסוק של מס' כה רב של מתנדבים "לא מקצועיים" גורר ירידה באיכות המאגר באופן יחסי.

AltaVista

אחד ממנועי החיפוש הגדולים שנמצאים על הרשת.

תכונות מיוחדות

• מכיל אפשרות לשאול שאלות.
• מציע מדריך.
• אפשרות לחיפוש ב-25 שפות שונות.
• אפשרות לחיפוש קבצים: mp3s, Videos, Images ועוד.
• אפשרות לחיפוש מוצרים: השוואת מחירים וכו'.
• אפשרות לחיפוש מפות ע"י הכנסת מען.
• אפשרות לחיפוש אנשים ע"י שימוש בדפי זהב.

דרך דירוג התוצאות

AltaVista נותן ציון מיוחד לתוצאות בהתבסס על הדברים הבאים:

• מונחי החיפוש שהופיעו במילים הראשונות של המסמך (ובמיוחד אם הם הופיעו בכותרת של האתר).
• מונחי החיפוש הופיעו קרוב אחד לשני בתוך האתר.
• האתר הזה הכיל יותר ממונחי החיפוש מאשר אתרים אחרים.

גורמים אלו נשקלים והאתר עם התוצאות הטובות ביותר מקבל ניקוד של 1000, ושאר האתרים יקבלו ציון פחות. אין זה מעיד על כך שהאתר עם ציון ה-1000 הוא האתר הטוב ביותר, אלא שהוא המתאים ביותר לדעת Alta Vista.

האתר הזה הכיל יותר ממונחי החיפוש מאשר אתרים אחרים.

גורמים אלו נשקלים והאתר עם התוצאות הטובות ביותר מקבל ניקוד של 1000, ושאר האתרים יקבלו ציון פחות. אין זה מעיד על כך שהאתר עם ציון ה-1000 הוא האתר הטוב ביותר, אלא שהוא המתאים ביותר לדעת Alta Vista.

Excite

מציע מדריך ומשמש גם כפורטל. ניתן לעשות חיפושים רק של תמונות, רק בחדשות, רק mp3s, רק שומרי מסך ועוד. Excite מציע אפשרות חיפוש גם של מילות מפתח וגם של רעיון. חיפוש רעיון (ברירת המחדל באתר) משמעותו, חיפוש מסמכים הקשורים לרעיון החיפוש, ולוא דווקא המתאימים למילות המפתח שניתנו.

דרך דירוג התוצאות

Excite מדרג את התוצאות בסדר יחסי. האתר הראשון שיוצג יהיה זה שלדעת Excite הכי מתאים לחיפוש של המשתמש. במקרה והמשתמש מוצא אתר שלדעתו הכי מתאים לחיפוש שלו בין כל האתרים שהוצגו אז הוא יכול ללחוץ על כפתור ה-confidence rating שנמצא לידו, ודירוג האתרים ישתנה בהתאם לזה, כשהאתר שהמשתמש בחר יוצג ראשון עם 100% ובהתאמה לו יוצגו אתרים אחרים.

Fast

תכונות מיוחדות

• מציע חיפוש ב-31 שפות.
• מסננים - אפשרות שהחיפוש יכול להכיל/ חייב להכיל/ חייב לא להכיל מילים מסוימות.
• אפשרות לבחור את התחום (Domain - אתר מסוג com, org וכו'). הדבר טוב ושימושי. לדוגמא, אם נרצה לחפש אתר של שר מסוים, אז נחפש את זה תחת הסיומת gov (אתרים ממשלתיים). הסיומות מעידות על תוכן האתר - אתר מסחרי אמריקאי יסתיים ב-com, אתר בריטי יסתיים ב-uk, וכו'.

(Go (infoseek

פורטל.

תכונות מיוחדות

• אפשרות חיפוש ברשת/ בכותרות החדשות/ בנושאים מסוימים/ במאגר חברות/ בקבוצות-דיון.
• חיפוש Case Sensitive - לפי אותיות גדולות או קטנות.
• ניתן לחפש בתוך אתר מסוים, כלומר ניתן להגדיר את החיפוש רק לאתר מסוים, ולחפש בתוך האתר עצמו (בכל הדפים והקישורים שלו).
• אפשרות לחיפוש בקישורים, כלומר ניתן לבקש שמנוע החיפוש יעבור רק על קישורים שבתוך אתרים, ובמקרה של התאמה הוא יחזיר את הקישורים (מנוע החיפוש לא יחפש את המושג המבוקש בתוך האתר עצמו, אלא רק בקישורים).

Lycos

התחיל את דרכו כמנוע חיפוש רגיל המשתמש ברובוטים. מאז אפריל 1999 שינה את צורתו וכרגע הוא משמש כמדריך בסגנון Yahoo, ללא מנוע חיפוש עצמאי. בעת ביצוע חיפוש יופיעו תוצאות החיפוש בתחילה ממנוע החיפוש OpenDirectory, ואח"כ ממנוע החיפוש של Fast ובמקרה הצורך גם ממנוע החיפוש DirectHit.

תכונות מיוחדות

• חיפוש דפי מידע המכילים את כל רשימת המילים לחיפוש או חלקם.
• חיפוש ביטוי מדוייק.
• ניתן לבצע חיפוש במרכז קניות - המכיל קישורים לאתרי קניות.
• חיפוש ב-25 שפות שונות.
• חיפוש על פי דומיין (.com, .co.il וכו').
• חיפוש על פי כותרת המסמך.
• חיפוש על פי אתרים המקושרים לאתר המבוקש.

מנועי חיפוש-על - דור שני

MetaCrawler

MetaCrawler הוא מנוע-על. הוא אינו משתמש במאגר מידע פנימי משלו, אלא מסתמך על מנועי חיפוש חיצוניים על מנת לספק מידע למשתמשים. הוא פועל כך: בקבלו בקשת חיפוש הוא שולח את הבקשה במקביל לשישה מנועי חיפוש: Galaxy, InfoSeek, Lycos, Open text, WebCrawler ו-!Yahoo, כיוון שכל מנוע חיפוש מגדיר את צורת החיפוש (ביטויים, כל המילים, קישורים לוגיים וכו') בצורה שונה, על MetaCrawler לנסח קודם את בקשת החיפוש באופן מתאים לכל מנוע חיפוש. לאחר מכן הוא מקבל את התוצאות מהם ואז הוא מאחד את התוצאות ובודק האם יש כפילויות בין התוצאות: דבר ראשון כשהוא משווה בין 2 מענים, הוא בודק האם ה-domain שלהם זהה (לדוגמא האם www.cs.washington.edu ו-www.bauhamus.cs.washington.edu זהים?), אח"כ הוא בודק את המען עצמו (לדוגמא www.some.dom/foo מתייחס לעיתים קרובות ל- www.some.dom/foo/index.html) ולבסוף הוא משווה את הכותרות של שני האתרים. אם גם הכותרות זהות, MetaCrawler מניח שמדובר באותו אתר. לאחר מכן MetaCrawler מציג את התוצאות למשתמש בדף אחד, כשליד כל קישור כתוב מאיזה מנוע חיפוש הגיעה אותה תוצאה.

MetaCrawler מציע למשתמש שלוש אפשרויות חיפוש:

1. חפש את המילים כביטוי.

2. חפש את כל המילים - על מנוע החיפוש לנסות למצוא כל מילה שניתנה בחיפוש במסמך (לאוו דווקא אחת ליד השניה) (שווה ל"ו" בלוגיקה).

3. חפש איזושהי מילה - על מנוע החיפוש נסות למצוא לפחות אחת מהמילים שניתנה בחיפוש (שווה ל"או" בלוגיקה).

תכונות מיוחדות

• מציע אפשרות של חיפושים פופולריים - חיפושי מכוניות, הימורים וכו' - בלחיצה על הקישור מביא לך אתרים בנושא זה.
• מציע כלים מיוחדים לחיפוש לקניות.
• חיפוש מפות.
• דפי זהב.
• חיפוש אנשים.
• מזג אויר.

HotBot

תכונות מיוחדות

• מציע מדריך.
• אפשרות חיפוש בכמה שפות.
• אפשרות חיפוש רק בדפים שיכילו mp3s, Videos, images.
• אפשרות חיפוש רק בדפים שיכילו JavaScript.
• אפשרות לחיפוש ביטוי מדויק.
• אפשרות לחיפוש מילים שיופיעו בכותרת העמוד.
• אפשרות לחיפוש אנשים, כלומר ניתן לרשום שם של אדם, ולקבל פרטים על האדם.
• אפשרות לחיפוש בקישורים.

DogPile

מנוע-על המחפש בטובי מנועי החיפש על הרשת: AltaVista, Direct Hit, Open Directory, Google, GoTo, InfoSeek, Lycos, Yahoo!, About ועוד. תוצאות החיפוש יופיעו בצורה הבאה: בכל עמוד יופיעו תוצאות משלושה, ארבעה מנועי חיפוש. במקרה ולא היו לפחות 10 תוצאות, החיפוש יעבור לעוד 3 מנועי חיפוש באופן אוטומטי, וכך, עד שהחיפוש ישתמש בכל מנועי החיפוש או שיהיו 10 תוצאות. אם נמצאו יותר מ-10 תוצאות, ניתן ללחוץ על Next Set Of Search Engines כדי לדלג הלאה לרשימה של מנועים אחרים. אם יצא שמנוע חיפוש אחד החזיר יותר מ-10 תוצאות, יופיע קישור לתוצאות של שאר המנועים. כן ניתן להגדיר איזה מנועי חיפוש יערכו את החיפוש קודם.

• דפי זהב - ניתן לחפש פרטים ע"פ שם עסק, או סוג עסק בארה"ב, בריטניה וקנדה.
• חיפוש אנשים - ניתן לחפש אנשים ע"פ שם פרטי, שם משפחה או ע"פ עיר באחת מהמדינות הבאות: ארה"ב, בריטניה, קנדה, אוסטריה, בלגיה, דנמרק, צרפת, גרמניה, איטליה, לוקסמבורג וספרד.
• חיפוש גיאוגרפי - מיועד לתושבי ארה"ב ומאפשר למשתמשים להכניס את המדינה בהם גרים בארה"ב, את המיקוד ואת העיר, כך ש-DogPile יודע בפעמים הבאות לחפש (למשל ב-YellowPgaes),אלא אם הוגדר אחרת, באזור הגיאוגרפי שהוגדר מראש.
• מזג אויר - חיפוש מזג אויר בעולם, או באזור הגיאוגרפי שהוגדר מראש.
• חדשות - מנוע החיפוש עובר על הרשת ומחפש עבורך חדשות על נושא החיפוש שנבחר.
• מפות - אם הוגדר איזור גיאוגרפי לחיצה על מפות תביא ישר מפה של העיר שלך, אחרת ניתן לבקש מפה של כל עיר בארה"ב.
• תמונות - חיפוש תמונות.
• מוסיקה ו-mp3 - ניתן לחפש קבצי mp3, קבצי wav וקבצי real.
• מכירות פומביות - DogPile מחפש ביותר מ-200 אתרי מכירות פומביות. התוצאות נותנות את המידע הבא: תיאור המוצר, כמה הצעות קיבל המוצר עד עכשיו ובאיזה מחירים, וכמה זמן נשאר עד סיום המכרז.

מדרג אתרים ע"פ מס' הקישורים אליהם מדפים אחרים שדורגו גבוה ע"י המערכת.

בנוסף לדירוג הכולל מתווספים מרכיבים נוספים:

1. Google עושה שימוש גם בטקסט בתוך הקישורים, טקסט זה קשור לאתרים אליהם מצביע הקישור ובכך מתאפשר ל-Google למצוא אתרים מתאימים בתוך אתרים שהם עצמם לא מתאימים.
2. Google מעלה את דירוג האתרים כתוצאה ממאפיינים של האתר - אם המונחים המחופשים יופיעו כמודגשים, או בכותרות, או בטקסט גדול יותר, הדבר ילקח בחשבון.

• בנוסף לדירוג האתרים ע"פ מס' הקישורים גם בודק רמזים תמליליים (כלומר, בודק גם Meta Tag Support, Html Comments).
• מוגדר ישירות לחיפוש ע"י AND.
• בחיפוש של מס' מילים מנסה להחזיר תוצאות שבהן המילים קרובות אחת לשניה בטקסט.
• חיפושים מורכבים יותר: לביטויים ניתן להשתמש במירכאות, או בסימון המינוס (-)לסימון לא (המילה המסוימת לא תימצא בטקסט).
• מחפש את המילה המדויקתשהקלדת, ולא הטיות שלה.
• לא מחפש Stop Words, כלומר מתעלם ממילים נפוצות בשפה האנגלית שבדרך כלל נמצאות בכל דף ואינן תורמות לתוצאות החיפוש.
• מתעלם ממספרים ומסימני תחביר.
• בתוצאות המחוזרות מחזיר את הטקסט המדויק שבו מופיע האלמנט המחופש.
• אופציית ה"אני מרגיש בר מזל" (I FEEL LUCKY) מחזיר את האתר בעל הציון הטוב ביותר שעונה על דרישות החיפוש.
• מציע חיפוש באתרים בשפות שונות, ויש אפשרות שהאתר יציג את הטיפים וההוראות בשפות שונות.
• אם מבקשים כתובת, מחזיר מפה מ-!Yahoo או מ-Mapblast.
• מציג קישורים לכותרות חדשות בעיתונים, אם הכותרות מתאימות לנושא החיפוש.
• מניות - מציג קישור מהיר למידע, חדשות וגרפים של חברות הנסחרות בבורסה בניו יורק.
• משתמש בזיכרון Cashed - כאשר הרובוטים של האתר מסיירים ברשת הם "מצלמים" תמונה של כל עמוד בו הם ביקרו, בלחיצה על הקישורית מקבל הגולש תמונה של העמוד. יתרונות יישום זה הוא בכך שהגישה לעמוד ה-Cashed מהירה יותר מהתחברות לאתר עצמו, וכן שבזיכרון האתר נשמרים עמודים של אתרים שכבר הפסיקו לפעול.

• חובה להקליד מילים בצורת האיות המדויקת שלהן. Google לא נותן תוצאות למלים דומות ואינו משלים מילים.
• אתרים חדשים לא יופיעו בחיפוש, כיוון שלוקח זמן לבוני אתרים אחרים לקשר אותם למקורות חדשים.
• לא ניתן לעשות חיפוש עם OR.

NorthenLight

מארגן את התוצאות בתיקיות חיפוש תפורות ע"פ סוגי האתרים. בתוך הספריות האתרים מדורגים ע"פ התאמתם. בדרך זו המשתמש יכול להתעלם מתיקיות שלא רלוונטיות לו ולבחור בתיקיות המתאימות לו.

• בתוך כל תיקיה יהיו גם תתי-תיקיות.
• אין כפילויות.
• תמורת סכום כסף קטן ניתן להיכנס למאגר מידע המכיל מאמרים רלבנטיים מאלפי מקורות.
• מאפשר לעשות חיפוש רק בקטגוריות מסוימות (אומנות, פוליטיקה וכו').
• מאפשר להגדיר את האתרים מהם יחזרו התוצאות - רק ממדינות מסוימות, רק בשפות מסוימות, או רק אתרים מסחריים (com) או רק אתרים ממשלתיים (gov) וכו'.
• מאפשר להגדיר טווח זמן של המאמרים שיוצגו.

• התיקיות יכולות להיות לא נחוצות בחלק מהחיפושים.

AskJeeves

מנוע חיפוש שמטרתו לכוון את המחפש בדיוק לעמוד שעונה על השאלה שלו. במקרה שהוא לא מצליח למצוא משהו במאגר המידע שלו מפנה Ask Jeeves לאתרים אחרים ע"י מנועי החיפוש.

משתמש בשפה טבעית.

• מציע מדריך.
• מראה שאלות שנשאלות ברגעים אלה ע"י משתמשים אחרים.
• JEEVES SHOPPING - מדריך מיוחד המוקדש רק לקניות.

DirectHit

מנוע חיפוש מבית היוצר של Ask Jeeves

מנגנון החיפוש של Direct Hit פועל ברקע. הוא בודק מה המשתמשים מחפשים, ואז שומר בזיכרון לאיזה אתרים נכנסים המשתמשים מהתוצאות שניתנו להם, וכך עם הזמן מתפתח מספיק מידע כדי לדעת איזה דפים פופולריים ואילו לא.

• מציע מדריך.
• מאפשר חיפוש באתרים רגילים, באתרי קניות, בקטגוריות מסוימות או במאגר השאלות של Ask Jeeves.
• מציע חיפוש מתקדם - ניתן לעשות חיפוש בכל הטקסט או רק בכותרת, או בשניהם. ניתן לחפש באתרים מסוימים אמריקאיים - אתרים מסחריים (com), אתרים אקדמיים (edu) וכו', או אתרים של מדינות אחרות (לדוגמא ישראליים - il).

• בעלי אתרים ינסו להעלות את דירוג האתרים שלהם בכך שיעשו חיפוש בנושא מסוים ויכנסו פעמים רבות לאתר שלהם (Spamming).
• אתרים חדשים לא יופיעו בראש דירוג האתרים, וכיוון שרוב המחפשים נכנסים רק למס' מצומצם של אתרים (בד"כ שלושת האתרים הראשונים) וכך, כבמעגל קסמים, יהיה קשה לאתרים חדשים לעלות בדירוג.

Mulder

מנוע חיפוש שפותח באוניברסיטת וושינגטון.

• בתחילה כותב המשתמש את שאלתו.
• המנוע הופך את השאלה לעץ חיפוש של שאלות.
• המנוע הופך את עץ החיפוש לסדרה של שאלות חיפוש ממוינת מהשאלה המסוימת ביותר להכי כללית.
• מנוע החיפוש המבוסס על המנוע של AltaVista מריץ את השאלות.
• מנוע החיפוש יחזיר את התשובה לשאלה של המחפש ואת האתרים שבהן ניתן למצוא אותה.

• הרשת ענקית ולכן לרוב יתכן שתשובות לשאלות מסוימות יהיו מנוסחות בדרך שבה אנחנו מעונינים. לדוגמא: אם נשאל "מהו ההר הגבוה בעולם" אפשר לצפות שנמצא מסמכים שיכילו את המשפט: "ההר הגבוה בעולם הוא..".
• חיפושים המבוססים על משפטים ולא על מילים בודדות יספקו תוצאות טובות יותר. אם בטקסט מסוים נמצא בדיוק את המשפט המחופש, הסיכוי הוא שהטקסט הזה הוא מה שאנו מחפשים.
• יש כאן ניסיון לחקות את שיטות החיפוש של אנשים - כגון ניסוחים שונים, כלומר, המחפש יכניס משפט מסוים, ומנוע החיפוש יעשה את החיפוש גם על המשפט, וגם על ניסוחים דומים למשפט. בנוסף, למשתמש תהיה האפשרות לבחור חיפוש כ"משפט" - כלומר שיהיה רצף הגיוני בין המילים, ולא שמנוע החיפוש יחפש את המילים בנפרד.

• זמן - Mulder נותן דירוג גבוה יותר לאתרים מעודכנים או חדשים יותר. בנוסף Mulder מסווג את האתרים ע"פ תאריכים ומציג תשובות שונות לשאלת המחפש בהתאם לזמנים השונים.
• סיווג ניסוחים שונים לאותן שאלות כשאלות זהות שיקבלו תשובות אחידות.
• אם השאלות הניתנות על ידי המשתמש יכולות להיענות בצורות שונות, Mulder יודיע על כך. לדוגמא, אם תינתן השאלה: "האם הפלות חוקיות?" אז Mulder יחזיר שבמדינות מסוימות הפלות חוקיות ובחלק מהמדינות לא.

.	AltaVista	Excite	Fast	Go (Infoseek)	Google	Lycos	Northern Light	HotBot
חיפוש עמוק	ü	ü	ü	û	ü	ü	ü	ü
אינדוקס מהיר	ü	û	û	û	û	û	û	û
תמיכה באתרים המבוססים על FRAMES		û	ü	û	ü	û	ü	û
Image maps	ü	û	û	ü	û	û	ü	û
Meta Robot Tags	ü	û	ü	ü	ü	ü	ü	ü
ניתוח הקישורים	û	û	û	û	ü	ü	û	û
תדירות עדכון האתרים במאגר המידע	ü	û	û	ü	û	û	û	û

.	AltaVista	Excite	Fast	Go (Infoseek)	Google	Lycos	Northern Light	HotBot
טקסט שלם	ü	ü	ü	ü	ü	ü	ü	ü
Stop Words	ü	ü	û	û	ü	ü	û	û
תומך ב-Meta Description	ü	ü	û	ü	û	û	û	ü
תומך ב-Meta Keywords	ü	û	û	ü	û	û	û	ü
תומך ב-Alt text	ü	û	û	ü	ü	û	ü	ü
תומך ב-Html Comment Tags	û	û	û	û	û	û	û	û

.	AltaVista	Excite	Fast	Go (Infoseek)	Google	Lycos	Northern Light	HotBot
META REFRESH	ü	û	û	ü	û	ü	û	ü
טקסט בלתי נראה	ü	û	û	ü	û	ü	ü	ü
טקסט קטן במיוחד	ü	û	û	û	û	ü	û	ü