Дворец Юсуповых до того момента, как им завладел Николай Юсупов, сменил множество владельцев и был не единожды перестроен. Лишь после его покупки известным государственным деятелем судьба особняка стала более определенной. Он сохранил в себе память о пяти поколениях этой семьи. Оформлением здания в свое время занимались известные российские и итальянские мастера. Особую популярность дворец получил после убийства здесь Григория Распутина. После этого Феликса Юсупова и по совместительству последнего владельца особняка, сослали в имение «Ракитное» за участие в убийстве. Сам же дворец передали в государственную собственность.