המרחב בעיני המתבונן

היכולת האנושית לחוות את העולם כמרחב תלת-ממדי מתקיימת בזכות מערכת ראייה מורכבת. הניסיון להשיג יכולות דומות באמצעות אלגוריתמים וטכנולוגיות מבוססות-מחשב המנתחות תמונות דו-ממדיות הוא אתגר משמעותי. זהו מוקד מחקרה של ד"ר טלי דקל, שתצטרף למחלקה למדעי המחשב ומתמטיקה שימושית במכון ויצמן למדע בחודש ינואר.

למכון ויצמן מגיעה ד"ר דקל  לאחר תקופת פוסט-דוקטורט במעבדה למדעי המחשב ולבינה מלאכותית של המכון הטכנולוגי של מסצ'וסטס (CSAIL, MIT) ולאחר מכן, ארבע שנים כחוקרת בכירה במשרדי גוגל בקיימברידג', מסצ'וסטס.

שחזור גיאומטריה מרחבית מתמונות דו-ממדיות היא אחת הבעיות הקלאסיות והנלמדות בתחום הראייה הממוחשבת. הנחת היסוד של רוב השיטות הקיימות (המתבססות על Triangulation) היא שהאובייקט מצולם משתי נקודות מבט שונות (או יותר) בו-זמנית. לצורך כך, האובייקט המצולם או המצלמה צריכים להיות נייחים. הנחה זו נשברת במקרים בהם גם האובייקט בסצנה וגם המצלמה נמצאים בתנועה, ובעיית שחזור הגיאומטריה המרחבית הופכת למאתגרת יותר.

במהלך עבודתה בגוגל, פיתחה ד"ר דקל פתרון לאתגר זה, תוך שהיא משלבת ידע מתחומי הראייה הממוחשבת ולמידה עמוקה (Deep learning). למידה עמוקה היא תחום משנה בבינה מלאכותית, שבו מכונות לומדות מתוך התבוננות ישירה בכמויות גדולות של נתונים. תחום זה חולל מהפכה בראייה ובגרפיקה ממוחשבות בשנים האחרונות.

ד"ר דקל התמקדה במקרה בו האובייקטים הנעים בסצנה הם אנשים ופיתחה שיטה לשחזור מפות עומקDepth) maps) מסרטונים רגילים בהם גם האנשים וגם המצלמה נעים בחופשיות. כדי ללמד מחשב לחזות את הממדים הפיזיים של אדם מתמונות דו-ממדיות, ד"ר דקל השתמשה באלפי סרטוני יוטיוב שהועלו במסגרת "אתגר בובות הראווה" האופנתי דאז – סרטוני וידאו בהם אנשים מחקים בובות חלון ראווה – כלומר, אנשים קופאים במקומם ללא תזוזה בזמן שמצלמה נעה מצלמת אותם. היות שהמצולמים נייחים ונצפים מנקודות מבט שונות, ניתן להעריך במדויק את הגיאומטריה של כל הסצנה המצולמת, כולל האנשים שבתוכה על ידי שימוש בשיטות קלאסיות.

על סמך אוסף גדול של סרטונים כאלו והגיאומטריה המחושבת עבורם, תכננה ד"ר דקל מודל מבוסס למידה עמוקה שיכול לנתח קטעי וידאו ולפרש באופן מדויק את הגיאומטריה של כל אדם שנע בהם. לטכנולוגיה זו יישומים פוטנציאליים רבים – מאפקטים מתקדמים בגרפיקה ממוחשבת (כגון Augmented reality), רובוטיקה וניווט אוטומטי.

מחקר זה היה אחד משני מחקרים שנבחרו מבין 5,000 מאמרים לקבל פרס כבוד בכנס Computer Vision and Pattern Recognition (CVPR) שנערך בקליפורניה ביוני 2019.

המחשת גיאומטריה ותנועה 

בפרויקט אחר, פיתחה ד"ר דקל  מערכת הנקראת Motion Sculpture, או "MoSculp", שמבצעת המחשה תלת-ממדית של תנועת אנשים מווידאו רגיל. כך למשל, כאשר מציגים למערכת סרטון של אצן אולימפי, המערכת מייצרת ויזואליזציה של תנועת האצן במרחב ובזמן. התוצר התלת-ממדי של המערכת מאפשר לראות את האובייקט הנע מנקודות מבט חדשות ובכך משפר את יכולת ניתוח התנועה. ניתן אף ליצור פסל של תוצר זה במדפסת תלת-ממד.

לאחרונה, שיתפה ד"ר דקל פעולה עם מוזיאון MIT ביצירת תערוכת "In Motion", אשר עוסקת בתנועה. המוזיאון סגר את שעריו באופן זמני בשל מגפת הקורונה, אך התערוכה, שמציגה עבודות בהשראת פרויקט זה, תיפתח לקהל הרחב כשהמוזיאון יחזור לפעילות.

אלה הן רק כמה דוגמאות לפרויקטים של למידה עמוקה שמובילה ד"ר דקל בתחום ראייה וגרפיקה ממוחשבת. כמו כן, היא תרמה ליצירת מודלים רבים המסייעים לקידום הטכנולוגיה ומשפרים במידה ניכרת את תפיסתנו החזותית והקולית את העולם.

"בעידן החדש של הלמידה העמוקה, אנו יכולים להגיע אל מעבר למה שבעבר נתפס כלא-אפשרי", היא אומרת. "נפתח בפנינו עולם חדש לגמרי של שאלות מחקר שאותן ניתן לשאול ולבחון".

מסלול של הצלחה

ד"ר דקל סיימה תואר ראשון בהצטיינות ומסלול ישיר לדוקטורט בהצטיינות בהנדסת חשמל באוניברסיטת תל אביב. במהלך התואר השלישי נסעה לתקופת התמחות במעבדת המחקר של דיסני שבמכון הטכנולוגי הפדרלי של שוויץ ((ETH Zurich. את מחקר הפוסט-דוקטורט עשתה בתמיכת קרן רוטשילד והתוכנית הלאומית לפרסי מחקר פוסט-דוקטוריאליים לקידום נשים במדע.

השנה, הוענקה לד"ר דקל מלגת אלון של ות"ת לחוקרים צעירים מצטיינים. ב-2019, הייתה האישה הראשונה שזכתה בפרס ראש הממשלה על שם אריק ושילה סמסון היוקרתי. בנוסף, היא זכתה ב-Best Paper Award וBest Paper Honorable Mention Award- בICCV- וCVPR- בהתאמה. היא כלת הפרס על שם פרופ' נורמן רוזנברג מטעם אוניברסיטת תל אביב לשנת 2013, זוכת מלגת הצטיינות מבית הספר להנדסת חשמל באוניברסיטת תל אביב בשנת 2009 ומלגה מחברת רד תקשורת מחשבים לשנת 2005.