پس از ورود حضرت محمد ص به مدینه، ایشان دستور ساخت مسجد را صادر کرده با کمک مهاجرین و انصار، شروع به بنای آن نمودند. دیوار مسجد از سنگ و آجر و سقف آن از چوب درخت بود و در کنار مسجد اتاق‌های پیامبر صلی الله علیه و آله و برخی از اصحاب وی قرار داشت. رسول گرامی اسلام از مسجد نه تنها برای انجام عبادت، بلکه جهت برگزاری امور قضاوت، مجالس مشورتی، آموزش‌های فنی و حل و فصل دیگر امور مسلمانان استفاده می‌کردند به همین دلیل این مسجد اهمیت فوق‌العاده‌ای برای مسلمانان داشت.