Fue Abderramán I, quien fundó el Emirato de Córdoba, el primer constructor de la mezquita aljama al final de su vida, en 786. La mezquita fue objeto de ampliaciones durante el Emirato y especialmente durante el Califato de Córdoba: el primer califa, Abderramán III, añadió un nuevo minarete en 958, mientras que su hijo al-Hakam II realizó la parte más suntuosa, el nuevo mihrab y la macsura, realizados en 971.