צוות של חוקרים ב- MIT CSAIL פיתחו מערכת בינה מלאכותית בשם Pic2Recipe לזיהוי מרכיבי מאכלים מתוך תמונה באמצעות יישום.
בעזרת יישום Pic2Recipe נוכל לדעת איך לשכפל ולשחזר את המרכיבים והמתכון של התבשיל שאכלנו במסעדה ואף לעזור לשלוט במה שאנו אוכלים רק באמצעות צילום תמונה של המנה שבצלחת.
איך יודע היישום מהם המרכיבים?
בעזרת מערכת בינה מלאכותית, המאפשרת לשייך תמונות למתכונים הנמצאים במסד נתונים, המכיל כמיליון תמונות ומספר דומה של מתכונים שנלקחו מאתרי אוכל.
כרגע היישום לא ממש מזהה את המתכון מתוך התמונה. בשלב זה הוא רק יוצר רשימה של המרכיבים. עם רשימה זו, היישום סורק את מסד הנתונים של מיליון מתכונים ובוחר את האחד עם המספר הגדול ביותר של המרכיבים התואמים את התמונה
לאחר אימון של המערכת נמצא כי ב- 65% מהמקרים היא הצליחה לחזות את המרכיבים, כגון קמח, ביצים וחמאה, ששימשו להכנה ומהו המתכון הרלוונטי, בכדי להשיג את אותה תוצאה.
לדעתי, בתור התחלה, אחוזי ההצלחה של זיהוי מרכיבים מתוך תמונה בלבד הם טובים למדי עבור פרוייקט מסוג זה, אך סביר להניח שיקח זמן עד שנוכל להשתמש ביישום מסוג זה בכדי לנהל את הדיאטה שלנו או לזהות מה אסור ומה מותר לאכול, למשל עבור מי שרגיש ללקטוז או לגלוטן.
אם אתם רוצים להתנסות, אתם מוזמנים להתנסות בזמן אמת בקישור זה.
ניסיתי לבדוק כמה מאכלים מקומיים כגון פלאפל או גפילטע פיש, אך המערכת לא הצליחה לזהות אותם. במידה והיישום מצליח לזהות את המאכל בתמונה אזי כרגע מופיע המתכון בשפה האנגלית בלבד.
להמשך דיון בנושא: Pic2Recipe – השזאם של המתכונים