מאמרים אחרונים

שתף בפייסבוק שיתוף בפייסבוק
RSS - מאמריםמאמרים
RSS - פורומיםפורומים
דווח למנהל דיווח למנהל
קישור לעמוד זה קישור לעמוד זה


תגלית נחמדה - data deduplication in Copy, the cloud storage


   פורומים > HTPC ומחשוב > אינטרנט - ספקים, תשתית, סיבים fiber
מחבר הודעה
mokalan
חבר שרק התחיל
חבר שרק התחיל

הצטרף בתאריך:
  Aug 13, 2007
הבעות תודה: 4
מספר הודעות: 24

 #1  נשלח: ו' 24/05/2013 22:15
תגלית נחמדה - data deduplication in Copy, the cloud storage

קצת רקע
data deduplication זה מנגנון שמאפשר לשירותי ענן לחסוך עלויות של איחסון וגם של תעבורת רשת.
דוגמה: משתמש ראשון מעלה את הפרק האחרון של Game of Thrones לענן, זה לוקח לו הרבה זמן, אבל בסוף הכל בסדר והשרת מסמן שהקובץ נמצא בחשבון שלו. אם יש לו מחשב נוסף על אותו חשבון, אז באותו הרגע המחשב השני מתחיל להוריד את הקובץ. המשתמש השני (אין לו שום קשר לראשון - חוץ מזה ששניהם משתמשים באותו שירות ענן) מוריד את הקובץ בטורנט ומעלה אותו לשירות ענן. הקליינט של המשתמש השני לא באמת מתחיל להעלות את הקובץ, הוא מריץ עליו פונקציית hash ושולח את התוצאה לשרת, אם השרת מזהה שהקובץ כבר קיים, אז הקליינט לא מעלה שום דבר ומיד מסמן שהקובץ נמצא בחשבון של המשתמש. אם למשתמש השני יש מחשב נוסף על אותו חשבון, באותו הרגע בדיוק הקובץ יתחיל לרדת במחשב הנוסף.

אם חושבים קצת על המנגון אפשר להבין שכל מה שצריך בשביל להוריד קבצים שכבר נמצאים בענן, זה תוצאת הhash של הקבצים. העניין הוא שהקליינט ממש לא תומך בזה. יותר מזה, המנגנון מוסתר ממש טוב, כדי שיוזרים לא יעשו את זה.

אם זה היה קל ופשוט, יכולנו לפתוח פורום הורדות שהיה מכיל תוצאות hash של כל מיני קבצים. משתמש אחד היה מוריד סרט בטורנט, הוא היה מחשב את התוצאה של הפונקציה בעזרת המידע הממשי שהוא הוריד, ואז הוא היה כותב פוסט עם המספר בשביל שכולם יורידו את הקובץ עם שירות הענן.

מסתבר שכל זה כבר נעשה מול דרופבוקס, וזאת הסיבה שדרופבוקס כיבו את הglobal deduplication. הם השאירו גרסה פרטית של המנגון, למנוע כפילויות בין קבצים של משתמש בודד.

חשוב לציין שמניעה של global deduplication מיוזרים לא אומרת שהשירות לא עושה את זה בצורה מוסתרת בשביל לחסוך מקום.

ועכשיו, לתגלית הנחמדה. מסתבר שבשירות הענן Copy הglobal data deduplication חי וקיים.

תנסו את זה, תעלו לחשבון שלכם סרט מהוצאה רשמית (משהו נפוץ, כמו פרק אחרון של משהו שכולם רואים) ותראו שהוא לא באמת מעלה שום דבר לענן. רק לוקח לו קצת זמן לסרוק את הקובץ בשביל החישוב של הhash.

גם בלי לעשות את הקומבינה שמוזכרת למעלה (פורום של hashים), הפונקציונליות הזאת נחמדה מאוד. אפשר להעביר קבצים מאוד גדולים לחברים (כל עוד מישהו העלה אותם כבר), בלי להעלות שום דבר. שהרי ידוע שמהירות ההעלאה שלנו בארץ על הפנים.

למי שעדיין אין Copy, מוזמנים ללחוץ על הלינק שלי
https://copy.com?r=3U83nI


נערך בפעם אחרונה על-ידי mokalan בתאריך שבת 25/05/2013 0:12, נערך סך הכל פעם אחת
(1) הבעות תודה: eg99
| פרופיל | שלח הודעה | חפש
vivi
חבר ותיק
חבר ותיק

הצטרף בתאריך:
  Jan 06, 2009

מיקום: ירושלים
הבעות תודה: 260
מספר הודעות: 2385

 #2  נשלח: ו' 24/05/2013 22:32

יפה מאוד ומעניין מאוד. בעצם אתה אומר שכשמישהו מעלה קובץ נפוץ אז התוכנה של COPY סורקת את הכוננים שלה ובמידה והקובץ קיים אז זה יחסוך את כל זמן העלאה?
_________________
Pixel 4 XL | PS4 | NU8000 | Denon X3000 | Chromecast | Spotify | Partner Fiber | Netflix | FC Barcelona | Google Apps |
| פרופיל | שלח הודעה | חפש
mokalan
חבר שרק התחיל
חבר שרק התחיל

הצטרף בתאריך:
  Aug 13, 2007
הבעות תודה: 4
מספר הודעות: 24

 #3  נשלח: ו' 24/05/2013 22:36

כן, הם לא ממש סורקים שום דבר. כל המידע מאונדקס, הם רק צריכים לבדוק בdatabase שלהם. זה לא לוקח זמן.

תנסה את זה, זה ממש נחמד. גם בלי להתקין שני קליינטים. אתה יכול לראות שהוא יתן לך להוריד את הקובץ בממשק web.
| פרופיל | שלח הודעה | חפש
eyalron
חבר ותיק
חבר ותיק

הצטרף בתאריך:
  Nov 26, 2004

מיקום: רמת השרון
הבעות תודה: 134
מספר הודעות: 1062

 #4  נשלח: שבת 25/05/2013 8:36

זה בהחלט נחמד. אני מצאתי את עצמי מעלה את כל ספרית הMP3 שלי לשירות. איזה 11 ג'יגה. ולא הבנתי איך יכול להיות שפתאום הקצב הוא כזה מהיר.
_________________
Travels the world, but a big fan of home
| פרופיל | שלח הודעה | חפש
Mad-Dog
חבר מביא חבר
חבר מביא חבר

הצטרף בתאריך:
  Sep 15, 2007
הבעות תודה: 475
מספר הודעות: 3745

 #5  נשלח: שבת 25/05/2013 12:46

חייב חשבון?
כי נכנסתי לאתר COPY, וגם שם יש אפשרות ל UPLOAD
ניסיתי לזרוק כל מיני דברים פופולארים, ואני רואה שהוא מתחיל UPLOAD סטנדרטי במהירות רגילה,
| פרופיל | שלח הודעה | חפש
Mad-Dog
חבר מביא חבר
חבר מביא חבר

הצטרף בתאריך:
  Sep 15, 2007
הבעות תודה: 475
מספר הודעות: 3745

 #6  נשלח: שבת 25/05/2013 13:04

עוד ניסוי
העלתי שיר,
ואחרי זה התנתקתי
וניסיתי להעלות אותו שוב
ושוב
זה העלה רגיל
| פרופיל | שלח הודעה | חפש
mokalan
חבר שרק התחיל
חבר שרק התחיל

הצטרף בתאריך:
  Aug 13, 2007
הבעות תודה: 4
מספר הודעות: 24

 #7  נשלח: שבת 25/05/2013 15:47

Mad-Dog כתב:
חייב חשבון?
כי נכנסתי לאתר COPY, וגם שם יש אפשרות ל UPLOAD
ניסיתי לזרוק כל מיני דברים פופולארים, ואני רואה שהוא מתחיל UPLOAD סטנדרטי במהירות רגילה,


אתה חייב להשתמש בקליינט שמותקן על המחשב, רק ככה יש לו גישה לכל הקובץ. כשאתה משתמש באתר, אין לך ברירה אלא להעלות את כל הקובץ, בשביל לחשב את הhash.
| פרופיל | שלח הודעה | חפש
Mad-Dog
חבר מביא חבר
חבר מביא חבר

הצטרף בתאריך:
  Sep 15, 2007
הבעות תודה: 475
מספר הודעות: 3745

 #8  נשלח: שבת 25/05/2013 16:08

הבנתי, ננסה
| פרופיל | שלח הודעה | חפש
eg99
חבר ותיק
חבר ותיק

הצטרף בתאריך:
  Feb 24, 2006

מיקום: רמת השרון
הבעות תודה: 58
מספר הודעות: 2999

 #9  נשלח: שבת 25/05/2013 18:17

נרשמתי, ושמתי בתיקית COPY במחשב שלי תיקיה עם קבצים.
כמו בדרופבוקס.
גם אחרי כמה שעות אני לא רואה כלום דרך הדפדפן באתר.
גם לא את שם התיקיה שפתחתי.
יש רעיונות למה?

_________________
ערן
| פרופיל | שלח הודעה | חפש
shimi810
חבר פעיל מאוד
חבר פעיל מאוד

הצטרף בתאריך:
  Dec 03, 2008
הבעות תודה: 7
מספר הודעות: 172

 #10  נשלח: שבת 25/05/2013 18:33

לינוקס?

זה קורה גם לי, על לינוקס (כשהרצתי במסוף הייתה איזו שגיאה על חבילה חסרה, אני לא בטוח אם זה הגורם).
לא רואה גם את מדריך ה־PDF (זה יותר פרסומת, אין שם הרבה מידע) שנמצא באתר ולא מסתנכרן לתיקייה במחשב.
| פרופיל | שלח הודעה | חפש
eg99
חבר ותיק
חבר ותיק

הצטרף בתאריך:
  Feb 24, 2006

מיקום: רמת השרון
הבעות תודה: 58
מספר הודעות: 2999

 #11  נשלח: שבת 25/05/2013 18:52

אצלי WIN7 אבל אותו מצב.
לא רואה את המדריך במחשב.

_________________
ערן
| פרופיל | שלח הודעה | חפש
כל הזמנים הם שעון חורף - ישראל (GMT+2) הצג הודעות קודמות:    
פורומים > אינטרנט - ספקים, תשתית, סיבים fiber


  
    שם משתמש:
נתוני כניסה לכל אתרי HT:

  סיסמא:
 

  


 | 

קפוץ אל: 
לא ניתן לשלוח הודעות בפורום זה
לא ניתן להגיב להודעות בפורום זה
לא ניתן לערוך את הודעותיך בפורום זה
לא ניתן למחוק את הודעותיך בפורום זה
לא ניתן להצביע לסקרים בפורום זה
לא ניתן לצרף קבצים בפורום זה
לא ניתן להוריד קבצים בפורום זה

תקנון / תנאי השימוש באתר צור קשר / contact us כל הזכויות שמורות לקבוצת ht