В квартале, где сегодня расположен памятник архитектуры, до середины XVII века жили иностранцы, среди них — купец Рутц. В 1670-х гг. это место еще не было застроено. Левую его половину занимал двор Рутца, а правую — пустырь. В конце XVII века двор Рутца перешел к Нарышкину, который выстроил на линии улицы палаты во всю ширину. В XX веке, в результате реставрационных работ, уличный фасад оформили в стиле ампир с лаконичными гипсовыми орнаментальными деталями. Со стороны двора были восстановлены фрагменты «большой палаты» — белокаменные наличники и консоли конца XVII века.