Мраморный дворец был построен в классическом стиле по проекту Антонио Ринальди. Заказ на сооружение здания ему был дан императрицей Екатериной II в качестве подарка Григорию Орлову. Стоит отметить, что из-за своей смерти граф так и не дождался окончания строительства. Особенность архитектуры здания заключается в том, что при его строительстве (в том числе и для внутренней отделки) были использованы различные виды мрамора. Особенно элегантно смотрелся розово-красный тивдийский камень. В XIX—XX вв. дворцом владела одна из ветвей царской семьи Романовых. Позже владельцы менялись, а здание реставрировалось.