כדי להבין טוב יותר את יתרונות וחסרונות שני תתי-מדרג הזיכרון ננסה לענות על השאלה הבאה:
האם יש צורך גם בזיכרון הפנימי וגם בזיכרון החיצוני כדי לשמור על הנתונים במחשב או שאולי אפשר להסתפק רק בזיכרון הפנימי?
אם היינו משתמשים רק בזיכרון הפנימי היו עולות מספר בעיות:
1. נדיפות – זיכרון נדיף הוא זיכרון הדורש אספקה שוטפת של זרם חשמל, כדי לשמור על הנתונים המאוחסנים בו. ללא אספקת חשמל ימחקו הנתונים מהזיכרון. הזיכרון הפנימי הוא זיכרון נדיף (למרות שזיכרון ROM אינו נדיף, אך הוא גם לא הפיך), ואילו הזיכרון החיצוני אינו נדיף, לדוגמא סרט מגנטי או דיסק מגנטי.
2. ניידות – בזיכרון החיצוני ניתן להעביר נתונים באופן פיסי ממחשב למחשב (למשל על גבי תקליטון), כיוון שאמצעי האחסון המשני ניידים, ואילו בזיכרון הפנימי ניתן להעביר נתונים רק אם קיימת רשת תקשורת בין המחשבים.
3. עלות – מחיר ליחידת זיכרון. מחיר הזיכרון הפנימי גבוה, ואילו מחיר הזיכרון החיצוני נמוך ביחס אליו.
4. קיבולת – נפח/ גודל של יחידת זיכרון. הזיכרון הפנימי מוגבל בגודלו (בגלל מחירו), והוא בדרך כלל קטן יחסית לכמות הנתונים שאנו רוצים לאחסן בו (סדר גודל של כמה מיליוני בתים). לעומת זאת נפח הזיכרון החיצוני הוא גדול בהרבה (סדר גודל של מאות מיליוני בתים ויותר) ואינו מוגבל, כיוון שניתן להמשיך ולהשתמש בעוד אמצעי אחסון חיצוניים נוספים.
6. שדרוג - כיצד ניתן להתקין רכיבים חדשים או להחליף כאלה שהתקלקלו מבלי לכבות את המחשב? הדרך הפשוטה היא להשתמש באמצעי אחסון משני ולכבות את המחשב לצורך השדרוג. דרך נוספת משתמשת בטכניקה המאפשרת הוספה/החלפה של רכיבים בזמן שהמחשב עובד והיא נקראת תוסף חם (Hot Plug).
7. אבטחה - מידע שמאוחסן בזיכרון הפנימי של המחשב המחובר לרשת נגיש יותר ממידע שמאוחסן בזיכרון החיצוני. הפתרון לכך הוא העלאת האבטחה וההגנות מפני וירוסים וחדירות לא רצויות.