מתי נראה super resolution upscaling?

איך מכיילים מסך, מי יכול לכייל לי? מה הערכים הנכונים לכיול...

DEINTERLACING, SCALING, הורדת רעשים, UPCONVERSION, TRANSCODING.
mark13 (פותח השרשור)
סמל אישי של משתמש
חבר פעיל במיוחד
חבר פעיל במיוחד
הודעות: 897
הצטרף: יולי 2006
נתן תודות: 95 פעמים
קיבל תודות: 29 פעמים

מתי נראה super resolution upscaling?

הודעה שלא נקראה #1 

עקב שאלה בפורום אחר, על upscaling, מצאתי מעניין להעלות את הנושא הזה, שעניין אותי מאז ומתמיד
סופר רזולוציה מאפשרת יצירת תמונה עם רזולוציה גבוה מהמקור ע"י כל מיני טכניקות
הכי מבטיחה לוידאו משתמשת ב-AI
מאוד מקוה שזה יהיה חלק מהטלויזיות בקרוב, כי הרבה פעמים תוכן מוצג כ-4K או FHD אבל בעצם דוגמים מקור לא איכותי. וזה יכול באמת להביא את כל התוכן הישן לרמה של 4K או 8K אמיתי

רוצים להיות מופתעים מהיכולות של סופר רזולוציה? , צפו בוידאו הזה ביוטיוב:
https://www.youtube.com/watch?v=MwCgvYtOLS0
:מה?!: לעולם אל תיסוג! תסתובב ותמשיך להתקדם!

oferlaor
סמל אישי של משתמש
מנהל
מנהל
הודעות: 71425
הצטרף: נובמבר 2004
שם מלא: עפר לאור
מיקום: מודיעין, ישראל
נתן תודות: 507 פעמים
קיבל תודות: 4074 פעמים

Re: מתי נראה super resolution upscaling?

הודעה שלא נקראה #2 

התחלה של זה כבר קיימת במסכים מהדור האחרון של 2020. יש לציין שזה תמיד יוגבל בעקבות המגבלה שהעיבוד צריך להתבצע בזמן אמץ. כלומר, עיבוד offline בהכרח יכולים לשפר תמונה משמעותית יותר.

udif
חבר ותיק
חבר ותיק
הודעות: 2045
הצטרף: אוקטובר 2005
מיקום: תל אביב
נתן תודות: 37 פעמים
קיבל תודות: 116 פעמים

Re: מתי נראה super resolution upscaling?

הודעה שלא נקראה #3 

אני חושב ש super resolution עובד טוב יותר עם קבצי RAW. שים לב שבסרטון לא הראו לך העלאה ברזולוציה של סרטי FHD לרמה גבוהה יותר, אלא לקחו סרט, הורידו לו באופן מלאכותי את הרזולוציה לרמה נמוכה יותר, ואז העלו אותה חזרה . זה מנטרל במידה רבה את אי הדיוקים הקטנים שנגרמים בדחיסה.

אני לא יודע עד כמה super resolution יעבוד טוב על וידאו דחוס. אולי תצטרך השהייה ארוכה מאד כדי למצע סדרה שלפריימים כדי למצע את חוסר הדיוקים שנגרמים מהדחיסה. האמת שלצפייה בוידאו רגיל, גם השהייה של שנייה לא נראית לי נוראית. במשחקי וידאו זה ממילא לא שימושי.

mark13 (פותח השרשור)
סמל אישי של משתמש
חבר פעיל במיוחד
חבר פעיל במיוחד
הודעות: 897
הצטרף: יולי 2006
נתן תודות: 95 פעמים
קיבל תודות: 29 פעמים

Re: מתי נראה super resolution upscaling?

הודעה שלא נקראה #4 

14/11/2020 20:14  
udif כתב:
...
אני לא יודע עד כמה super resolution יעבוד טוב על וידאו דחוס. אולי תצטרך השהייה ארוכה מאד כדי למצע סדרה שלפריימים כדי למצע את חוסר הדיוקים שנגרמים מהדחיסה. האמת שלצפייה בוידאו רגיל, גם השהייה של שנייה לא נראית לי נוראית. במשחקי וידאו זה ממילא לא שימושי.
...
תן לזה זמן, וזמני עיבוד יהיו נמוכים יותר, מעבדים יהיהו חזקים יותר. ואז גם עיבוד בזמן אמיתי יהיה אפשרי.
לגבי משחקים, כנראה אתה טועה, תתקדם לזמן 5:23 בוידאו למטה:
https://www.youtube.com/watch?v=KULkSwLk62I

Huber
סמל אישי של משתמש
חבר במועדון HT
חבר במועדון HT
הודעות: 53919
הצטרף: מאי 2005
שם מלא: ערן
נתן תודות: 162 פעמים
קיבל תודות: 3238 פעמים

Re: מתי נראה super resolution upscaling?

הודעה שלא נקראה #5 

mark13 - אם דבר שכזה מעניין אותך במשחקים תחפש קצת חומר על DLSS 2.0 של NVIDIA.
ה FAQ - הכרחי לקרוא לפני פרסום תגובה בדילים המפורסמים על ידי:


https://www.hometheater.co.il/vt284213.html

"ההבדל בין גאונות לטיפשות הוא שלגאונות יש גבולות."

oferlaor
סמל אישי של משתמש
מנהל
מנהל
הודעות: 71425
הצטרף: נובמבר 2004
שם מלא: עפר לאור
מיקום: מודיעין, ישראל
נתן תודות: 507 פעמים
קיבל תודות: 4074 פעמים

Re: מתי נראה super resolution upscaling?

הודעה שלא נקראה #6 

זה גם נכון שמנגנונים כאלה משתפרים לאורך זמן, אבל קחו בחשבון שגם פתרונות שמורידים את התלות בזמן אמת (למשל lipsync delay חכם) יכולים לתת למנגנונים האלה לעבוד לאורך זמן עם פחות מגבלות.

בנוסף, זו טכניקה די מקובלת בשוק לקחת וידאו איכותי, לכווץ אותו ברזולוציה או ביטרייט ואז לראות כיצד upscale משתווה למקור.

mark13 (פותח השרשור)
סמל אישי של משתמש
חבר פעיל במיוחד
חבר פעיל במיוחד
הודעות: 897
הצטרף: יולי 2006
נתן תודות: 95 פעמים
קיבל תודות: 29 פעמים

Re: מתי נראה super resolution upscaling?

הודעה שלא נקראה #7 

15/11/2020 12:11  
Huber כתב:
mark13 - אם דבר שכזה מעניין אותך במשחקים תחפש קצת חומר על DLSS 2.0 של NVIDIA.
...
@udif זה שמעוניין בגיימינג. אבל הסתכלתי על DLSS וזה מרשים.
DLSS עושה שימוש בדיוק בטכניקה שמציין עופר בהודעה למעלה, להקטין רזולוציה מ-4K או 16K עד איפה שאפשר כדי לחסוך בפיקסלים ולשחזר מחדש ע"י רשת ניורונים שאומנה לעשות זאת.
:מה?!: לעולם אל תיסוג! תסתובב ותמשיך להתקדם!

udif
חבר ותיק
חבר ותיק
הודעות: 2045
הצטרף: אוקטובר 2005
מיקום: תל אביב
נתן תודות: 37 פעמים
קיבל תודות: 116 פעמים

Re: מתי נראה super resolution upscaling?

הודעה שלא נקראה #8 

15/11/2020 20:08  
mark13 כתב:

@udif זה שמעוניין בגיימינג. אבל הסתכלתי על DLSS וזה מרשים.
...
אני ממש לא מתעניין בגיימינג. ציינתי אבל כמה דברים אחרים:
1. Super Resolution קלאסי, טרום DNN, מבוסס על סדרת תמונות ועל עודף האינפורמציה שנובעת מהן, כמו שמוצג בסרטון שהפנית אליו.
2. אמרתי שבעיבוד וידאו רגיל, כדי לקבל multiple frames אתה צריך השהייה. זו השהייה אינהרנטית שנובעת מכך שהעיבוד מתבצע על יותר מפריים אחד, ולא מכך שזמן העיבוד עצמו ארוך. שיפור מהירות העיבוד לא יכול לעזור כאן, כי הפריימים ימשיכו להגיחע ב 50/60 תמונות לשניה במקרה הטוב, אם לא 24.
3. ההתייחסות היחידה שלי לגיימינג היתה שטכניקה שמוסיפה השהייה כדי לעבוד על multiple frames לא מתאימה לגיימינג, אבל שם היא פחות חשובה כי הרבה יחותר קל להגדיל רזולוציה במשחק מאשר לעשות את זה עם עיבוד חיצוני והתוצאה תהיה גם יותר טובה. זה כל מה שציינתי. אין לי שום עניין בגיימינג.

לעניין האלגוריתם שהסרט הציג, הטכניקות נראות מעניינות וכנראה נותנות תוצאות נעימות לעין, אבן אין בהן תוספםת אינפורמציה אמיתית אלא ניחוש שמבוסס על training data. לעומת זאת טכניקות שמבוססות על multiple images יכולות לחשוף אינפורמציה אמיתית שמסתתרת באוסף התמונות.

oferlaor
סמל אישי של משתמש
מנהל
מנהל
הודעות: 71425
הצטרף: נובמבר 2004
שם מלא: עפר לאור
מיקום: מודיעין, ישראל
נתן תודות: 507 פעמים
קיבל תודות: 4074 פעמים

Re: מתי נראה super resolution upscaling?

הודעה שלא נקראה #9 

להבנתי יש אלמנטים של super resolution בכמה מעבדי תמונה, כולל HD fury Envy (לא בטוח שזה רשמית יצא). הם פותרים את בעיית הדיליי פשוט עם הוספת דיליי אודיו מקביל (או דיווח אחורה של lipsync delay שהרסיבר אמור לזהות ולתקן לפיו).

mark13 (פותח השרשור)
סמל אישי של משתמש
חבר פעיל במיוחד
חבר פעיל במיוחד
הודעות: 897
הצטרף: יולי 2006
נתן תודות: 95 פעמים
קיבל תודות: 29 פעמים

Re: מתי נראה super resolution upscaling?

הודעה שלא נקראה #10 

16/11/2020 14:35  
udif כתב:
...
לעניין האלגוריתם שהסרט הציג, הטכניקות נראות מעניינות וכנראה נותנות תוצאות נעימות לעין, אבן אין בהן תוספםת אינפורמציה אמיתית אלא ניחוש שמבוסס על training data. לעומת זאת טכניקות שמבוססות על multiple images יכולות לחשוף אינפורמציה אמיתית שמסתתרת באוסף התמונות.
...
כן, ברור שהטכניקה שמוצגת עובדת על "ניחושים" ולא באמת מביא מידע חדש.
אז, זה לא טוב ל-medical imaging, אבל מספיק טוב בשביל סרטי הוליווד

דרך אגב, הטכניקה של multiple frames משתמשים גם למשהו שקשור אבל לא בדיוק סופר רזולוציה: יש אלגוריטמים שממלאים את הפסים השחורים בסרטים שיחס התמונה הוא 4:3 והופכות אותם ל- 16:9 (כלומר, לא ע"י חיתוך התמונה אלה להיפך, ע"י הוספת מידע חסר בצדדים. פשוט מדהים)
(יש גם על זה וידאו ביוטיוב, מאותו ערוץ Two Minutes Paper)
:מה?!: לעולם אל תיסוג! תסתובב ותמשיך להתקדם!

Huber
סמל אישי של משתמש
חבר במועדון HT
חבר במועדון HT
הודעות: 53919
הצטרף: מאי 2005
שם מלא: ערן
נתן תודות: 162 פעמים
קיבל תודות: 3238 פעמים

Re: מתי נראה super resolution upscaling?

הודעה שלא נקראה #11 

AMD מציגה את הפתרון שלה לגיימינג:


ה FAQ - הכרחי לקרוא לפני פרסום תגובה בדילים המפורסמים על ידי:


https://www.hometheater.co.il/vt284213.html

"ההבדל בין גאונות לטיפשות הוא שלגאונות יש גבולות."

שלח תגובה

חזור אל “כיול ועיבוד תמונה”