Il nome Azoulay è quello della famiglia che ne fu proprietaria fin dagli inizi del 1800. Il palazzo è più antico e risale ai primi anni dopo la fondazione del quartiere, avvenuta nel 1540. Ne fu proprietario un ricco mercante e questo spiega la presenza dei marmi finemente abbinati alle maioliche di Fez, ai tradizionali soffitti di legno di cedro e gesso scolpito e le pareti rivestite di tadelakt (il prezioso marmorino marocchino).

Gli attuali proprietari italiani acquistarono il palazzo nel 2005 perché si sentirono subito incantati da Marrakech e da questo Riad, come un magico ritorno a casa. L'obiettivo era quello di riportare il palazzo agli antichi splendori di una volta. Materiali, finiture e tecniche adottati sono quelli tradizionali che valorizzano e ripropongono il fascino e l'identità propria del Riad e lo riportano alla luce.