חנון לחיות: קבל עותקים מקומיים של המחקר המקוון שלך (del.icio.us, digg או Google Notebook)


מאת ג'ינה טראפני

עשית בחריצות סימניות וחתכת דפי אינטרנט באמצעות שירות מקוון כמוטָעִים מְאוֹד,Google Notebookאוֹלחפור. בטח, אחסון הנתונים שלך באינטרנט הוא נהדר עבור גישה מכל מחשב מקוון, אבל בעידן של כוננים קשיחים זולים ועצומים וחיפוש שולחן עבודה רב עוצמה, למה לא לשכפל את הנתונים שאתה שומר באינטרנט למחשב שלך? כך יהיה לך עותק של כל דף אינטרנט כפי שהוא נראה כאשר סימנת אותו, וארכיון ניתן לחיפוש של המחקר שלך גם כאשר אתה לא מקוון.

באמצעות כלי שורת הפקודה המועדף עליי wget, אתה יכול להוריד את התוכן של דף של קישורי del.icio.us, diggs או Google Notebook ציבורי באופן אוטומטי ויעיל לכונן הקשיח שלך.

Wget 101

תצטרכו לחדשים, תסתכלו עלייהדרכה ראשונה על wget. שם תקבל קצת רקע על איך wget עובד, היכן להוריד אותו והפורמט של פקודת wget.

מנוסים ותיקים, בואו איתי.

ארכיון סימניות del.icio.us

נניח שיש לך מצגת על המצב הנוכחי של התוכנה ואתה אוסף מחקר על הנושא בתג "תוכנה" של סימניות del.icio.us שלך. הורד את כל המסמכים המקושרים מה-https://del.icio.us/ginatrapani/so…עמוד באמצעות הפקודה הבאה (ללא מעברי שורה):

wget -H -r --level=1 -k -p -erobots=off -np -N --exclude-domains=del.icio.us,doubleclick.net https://del.icio.us/ginatrapani/software

כיצד להפעיל את הסקריפט הזה:החלף את https://del.icio.us/ginatrapani/software בשם המשתמש שלך ב-del.icio.us ובתג הרצוי. צור ספרייה חדשה בשם "del.icio.us archive" ומתוך ספריה זו בשורת הפקודה, הפעל את הגרסה הערוכה שלך של הסקריפט. (אפילו טוב יותר, העתק והדבק את הפקודה לתוך קובץ טקסט, כוונן אותה לצרכים שלך ושמור אותה כסקריפט - .bat למשתמשי Windows ו-.sh למשתמשי Mac. לאחר מכן הפעל את הסקריפט במקום להקליד את זה דבר ארוך בכל פעם.) לאחר השלמת הפקודה, תגדיר ספריות על שם כל תחום בקישורי del.icio.us, עם הקבצים המאוחסנים בתוכם.

הפירוק:פקודה זו אומרת ל-wget להביא את כל המסמכים המקושרים מ-https://del.icio.us/ginatrapani/software:

  • -H: על פני מארחים כלומר, קבל את כל הקישורים מ-del.icio.us לאתרים אחרים

  • -r: רקורסיבית

  • —level=1: רמה אחת כדי לא לתפוס את כל המסמכים שהדפים האלה מקשרים אליהם מדי

  • -k: עם קישורי עותק מקומי המומרים לקישור לעותקים המקומיים של דפים

  • -p: קבל את כל התמונות וקבצי עזר אחרים כדי לבנות לחלוטין את הדפים

  • -erobots=off: התעלם מקובצי robots.txt ופשוט הורד

  • -np: אל תעלה לספריית האב (או לכל הסימניות של ג'ינטראפני)

  • -N: הורד רק קבצים חדשים יותר ממה שכבר הורד

  • —exclude-domains=del.icio.us,doubleclick.net: אל תכלול קישורים לדפי del.icio.us אחרים ולשרת המודעות ב-doubleclick.net מכיוון שאינך רוצה להוריד מודעות.

אם זה יותר מדי בשבילך לבלוע, פשוט הפעל את הפקודה שהצביעה על סימניות del.icio.us שלך. תאמין לי, זה עובד.

לחילופין, במקום להגביל את ההורדה לתג אחד, השג את כל הסימניות של del.icio.us באמצעות הפקודה הבאה (השמט את מעברי השורות):

wget -H -r --level=1 -k -p -erobots=off -np -N --exclude-directories=ginatrapani --exclude-domains=del.icio.us, doubleclick.net https://del. icio.us/ginatrapani

ההבדל היחיד בין הפקודה הזו והאחרונה הוא שהיא כוללת הנחיית "—exclude-directories=ginatrapani", שמונעת מ-wget להוריד כל תיקיית תגים שלא לצורך.

ארכיון חפירות של מישהו

תגיד שאתה רוצה לאחסן את כל הסיפורים שקווין רוז חופר. הפקודה wget תיראה בערך כך (ללא מעברי השורות):

wget -H -r --level=1 -k -p -erobots=off -np -N --exclude-domains=digg.com,doubleclick.net,doubleclick.com,fastclick.net,fmpub.net,tacoda. net,adbrite.com,sitemeter.com https://digg.com/users/kevinrose/dugg

בדומה לפקודה שלמעלה, זה לא כולל שרתי מודעות נוספים (כדי שלא תמלא את הכונן הקשיח שלך בתמונות של מודעות באנר) והוא מצביע על דף ה-dgg של kevinrose.

העבר לארכיון מחברת Google ציבורית

Google Notebookזוהי דרך מצוינת לגזוז קטעים של דפי אינטרנט ולרשום עליהם הערות באופן מקוון, ותוכל להפוך את המחברות הללו לציבוריות. נניח שיש לך מחברת Google ציבורית של ציטוטים תעופה שמצאת בכל רחבי האינטרנט שברצונך לאחסן בארכיון מקומי עבורו כאשר אתה לא מקוון. הצבע על המחברת הזו ותגיד לה לשמור את הדף ב-aviationquotes-notebook.html עם הפקודה הזו. (השמט את מעברי השורות.)

wget -k -p -erobots=off -np -N -nd -O aviationquotes-notebook.html https://www.google.com/notebook/public/18344006957932515597/BDSKUIgoQ9K_Emdkh

טיפים וטריקים לארכיון האינטרנט המקומי

לְהִשְׁתַמֵשׁGoogle Desktopאו Spotlight של Mac OS X כדי לחפש את התוכן של הסימניות והסרטונים שהורדת. חוקרים רציניים ב-Mac יכולים לייבא את המסמכים שהורדתםDevonThinkגַם כֵּן.

תגרום לדפים שהורדת יפוג לאחר פרק זמן של x. אם אתה רוצה לקרוא את כל הדברים שקווין חפר רק בשבועיים האחרונים, נקה את תיקיית ההורדות שלך באמצעותהשוער בכונן הקשיח, שימחק קבצים ישנים.

תזמן ריצות אוטומטיות של הורדות wget באמצעותמתזמן המשימות של Windowsאו cron ב-OS X ו-Linux.

יש לך מתכון wget מהימן שאתה משתמש בו כל הזמן? או שאלה לגבי כל אחד מהמוצגים כאן? התקשר אלינו בתגובות.

ג'ינה טראפני, העורך של Lifehacker, חושב שמידע אישי מבוזר הוא אפליקציית הרוצח. התכונה החצי שבועית שלה,חנון לחיות, מופיע מדי רביעי ושישי ב-Lifehacker. הירשם ל-עדכון חנון לחיותכדי לקבל תשלומים חדשים בקורא החדשות שלך.

Leave a Reply

Your email address will not be published. Required fields are marked *

Subscribe Now & Never Miss The Latest Tech Updates!

Enter your e-mail address and click the Subscribe button to receive great content and coupon codes for amazing discounts.

Don't Miss Out. Complete the subscription Now.