Il nome Azoulay è quello della famiglia che ne fu proprietaria fin dagli inizi del 1800. Il palazzo è più antico e risale ai primi anni dopo la fondazione del quartiere, avvenuta nel 1540. Ne fu proprietario prima un ricco mercante – e questo spiega la presenza dei marmi finemente abbinati alle maioliche di Fez, ai tradizionali soffitti di legno di cedro del libano e gesso scolpito e le pareti rivestite di tadelakt (il prezioso marmorino marocchino) – poi, agli inizi del 1800 vi si stabilì la famiglia Azoulay. La famiglia fu ed è una famiglia che ha fortemente inciso sul suo paese. Della famiglia Azoulay vi furono vari rabbini di Marrakech ed Essaouira. Da sempre gli Azoulay, rappresentanti della comunità ebrea marocchina, sono consiglieri dei re. Attualmente André Azoulay è consigliere di S.M. Mohamed VI.

Gli attuali proprietari italiani acquistarono il palazzo nel 2005 perché si sentirono subito incantati da Marrakech e da questo Riad, come un magico ritorno a casa. L’obiettivo era quello di riportare il palazzo agli antichi splendori di una volta. Materiali, finiture e tecniche adottati sono quelli tradizionali che valorizzano e ripropongono il fascino e l’identità propria del Riad e lo riportano alla luce. Il progetto del restauro e la sua realizzazione sono stati eseguiti a cura di Sandro Solerti.