בחלק זה נראה כיצד משוחזרים הצבעים בכל פיקסל במצלמה המכילה סנסור המורכב ממטריצה של צבעים. ניתן לשאול מה הבעיה, ולמה נדרש שחזור שכזה? ובכן דוגמא לבעיה היא שנניח פיקסל מסוים אמור להכיל צבע כתום, כלומר ערוב של הצבעים ירוק ואדום במינון כלשהו. אם הפיקסל היה עם פילטר ירוק הוא יהיה ירוק, בכדי שידע מה צבעו האמיתי הוא יסתכל אצל שכניו, מן הסתם שכניו הכחולים יקבלו ערך 0 (כמעט שאין כחול בצבע הכתום), ואילו שכניו האדומים יקבלו ערכים גבוהים מאוד, לכן סביר להניח שגם בו יש מן האדום. תהליך ממוחשב זה בו נבחן הפיקסל ביחס לשכניו, מודגם בציור הבא:

תהליך בחינת השכנים - מבחינת הפיקסל הירוק באמצע, אם שכניו האדומים והכחולים קלטו עוצמה חזקה, סביר להניח שגם בו יש מן הצבעים אלו. המחשב מבצע אקסטרפולציה על כל הפיקסלים כך שבסופו של תהליך מוגדר בכל פיקסל מה עוצמתו של כל אחד מ 3 הצבעים המצויה בו.

תהליך שחזור עוצמת כל צבע בכל פיקסל לוקח זמן ומשאבי חישוב ומגדיל את נפח הזיכרון שתופסת כל תמונה. מכיוון שחלק מהתהליך מבוצע ע"י המחשב תיתכנה בעיות כגון החלטה על צבעו של פיקסל שתפס נקודה ירוקה קטנה ברקע שכולו אדום, מכיוון שהנקודה נקלטה רק בפיקסל אחד או שניים תהליך האינטרפולציה עלול לעוות אותה או להקטין את חדותה (ע"י הוספת גוון ירוק שלא במקום), או לחילופין להוסיף צבעים וגוונים לא במקום כך שהתמונה תראה מרוחה במקצת. ככל שכמות הפיקסלים ורזולוציית המצלמה נמוכה יותר תופעות אלה יותר בעייתיות. בסיום התהליך נשמר המידע בכל אחד מהפיקסלים, העוצמה בה נקלט כל אחד מן הצבעים מתורגמת לערך בינארי של 8 ביטים, כך שכל פיקסל ייוצג ע"י 24 ביטים (לשלושת הצבעים).

אלגוריתם האינטרפולציה עצמו הנו אלגוריתם מתמתי מסובך ומתוחכם. על אלגוריתם זה ניתן לקרוא באתר זה.

לאחר שבוצעה אינטרפולציה זו הושלם תהליך עיבוד המידע של התמונה ועת כל שנותר הוא לבנות את התמונה הסופית פיקסל פיקסל (פיקסל הנה למעשה "יחידת הגודל" של תמונה אך על כך בתת-פרק 3). תהליך זה מודגם במצגת הקצרה הבאה:

כל שנשאר, על מנת להשלים את התהליך הוא להסביר כיצד מוצגת לבסוף התמונה הצבעונית. על כך בעמוד הבא.