История этих мест начинается в 30-х годах XIX века, когда на месте Охотничьего болота был выкопан пруд, огражден дамбой, берега укреплены огромными валунами. В честь дочери императора Николая I пруд назвали Ольгиным. Два небольших искусственных острова по приказу императора стали собственностью его супруги императрицы Александры Федоровны и дочери Ольги. Архитектор А.И. Штакеншнейдер и садовый мастер П.И. Эрлер создали на островах уютные сады с павильонами, напоминающими итальянские загородные виллы XVIII века.
Царицын павильон, возведенный для Александры Федоровны, архитектурой и внутренним убранством напоминал об увлечении императрицы древнеримскими Помпеями. В интерьерах дворца использованы различные сорта мрамора, помпейские мозаики, подлинные произведения античного искусства.
Особое место в оформлении дворцового ансамбля занимали цветники. Ландышевые деревья, маслины, бананы, агавы, лавровые и померанцевые деревца выносили в кадках и мраморных вазах на террасы. Цветочное убранство трижды менялось в течение лета
Трехэтажный павильон на Ольгином острове был построен у самого берега на выступающем из воды цоколе. На плоской крыше дворца устроили площадку с трельяжным навесом. Итальянские мотивы в архитектуре здания были не случайны. Они напоминали о путешествии Ольги Николаевны на Сицилию, во время которого она познакомилась со своим будущим мужем принцем Вюртембергским.
Павильоны на островах использовались только в летнее время. Здесь устраивали и семейные чаепития, и пышные праздники. На Ольгином острове проходили театрализованные представления. В конце XIX века здесь появился открытый театр, сцена располагалась на воде, зрители наблюдали за представлениям с берега.
На острова переправлялись на лодках или специальном маленьком пароме. Сегодня после реставрации и открытия музейных экспозиций дворцовые павильоны Ольгина и Царицина островов соединены деревянным мостом.