1346
צפיות
צפיות
4
תשובות
תשובות
מנוע חיפוש
האם אפשר לבנות מנוע חיפוש שעובר על כל הרשת ומוציא לי מילים שחיפסתי
אני לא צריך שהוא יהיה מהיר אפילו שייקח לו שבוע לעבור על כל הרשת
אבל איך
אני יודע לעשות אחד עם DATA BASE
האם אפשר לבנות מנוע חיפוש שעובר על כל הרשת ומוציא לי מילים שחיפסתי
אני לא צריך שהוא יהיה מהיר אפילו שייקח לו שבוע לעבור על כל הרשת
אבל איך
אני יודע לעשות אחד עם DATA BASE
4 תשובות
יש כבר אחד כזה.. – גוגל.
אפשר גם לבנות אחד כזה, אבל זה לא פשוט. הרבה מנועי חיפוש עוברים אתר אתר, וכדי להגיע לכל האתרים – הם נכנסים דרך כל הקישורים שיש באתר, וככה הם עוברים אתר אתר. יש אתרים שיקח הרבה זמן להגיע אליהם בדרך הזו. (יש כמה מליארדי אתרים באינטרנט.)
אבל איך בונים?
ובאיזה שפה?
יש דברים שאתה כבר יודע? תספר לנו מה אתה יודע ונגיד לך מה אתה עוד צריך לדעת.
גוגל עובד על עיקרון דיי פשוט – עכבישים.
לגוגל קיימת מערכת הפעלה שפיתחה בעצמה בשם Googlebot OS אשר תפקידה הוא לטייל ברחבי הרשת ולאנדקס לתוך המסד נתונים שלו את כל המידע שאפשר להשיג מאתרים מסויימים.
העכביש הזה זוחל בכל אתר ומחפש קישורים שאליהם הוא יכול גם כן לגשת ולזחול גם שם, ככה שאם יש קישורים רבים אל האתר שלך סביר להניח שהאתר שלך מצליח ואת זה גם הבוט ייסמן אצלו במסד..
אפשר גם לבנות את זה לבד, יש הרבה מערכות קוד פתוח מוכנות ברמה פחותה אבל תוכל ללמוד מהן הרבה.
תחפש בגוגל Python Crawler או Java Crawler, סך הכל אפשרי לפתח מערכת כזו גם ללא צורך בידע בשפת צד שרת אלא בעיקר בתקשורת; Networking בשפה מסויימת.