بدأ العمل في عمارة هذا المسجد عام 705 واستغرقت عملية بنائه وزخرفته عشر سنوات، وذكر ابن كثير أن الوليد  قد أنفق على بناء الجامع خراج الشام سنتين، وفي رواية أخرى أن ما أنفق كان أربعمائة
أربعة عشر ألف دينار .

يُعد من أقدم مساجد العالم كما أن فن العمارة فيه وأسلوب بنائه صارا قدوة يقتدى بها في عمارة المساجد في العالم الإسلامي .

تبلغ مساحة المسجد ما يقارب طولاً 100م وعرضاً 100م. وله أربع بوابات وثلاث مآذن بأسلوب عمار
يحتوي المسجد على باحة كبيرة وفيها ثلاث مبان صغيرة
قبة المال وقبة زين العابدين أو الساعات وقبة البُركة
وفي قاعة الصلاة التي تبلغ 140من الطول 140م كما تعتلي القاعة قبة النسر .  
تم تزيين المسجد أيضاً بالفسيفساء واللوحات والزخارف وأحجار الزينة وصفائح الذهب والرخام وغير ذلك مما يُضفي على المسجد رونقاً معمارياً رائعاً يجعله تحفة من تحف فن البناء.

في جانبي الصحن من جهة الشرق والغرب أربعة قاعات مستطيلة الشكل وقد سميت هذه القاعات بمشاهد للخلفاء الراشدين رضي الله عنهم. ففي الجهة الغربية يتوضع على يسار الباب الغربي مشهد عثمان بن عفان رضي الله عنه، وقد تحول هذا المشهد إلى قاعة الاستقبال الرسمية للجامع.