مجموعه باغهای اشرف از 6 باغ متصل به یکدیگر که با دیوارههای سنگی از هم جدا می‌شدند، احداث شده است.
این باغها شامل باغ و عمارت چهلستون، باغ چشمه و باغ تپه در جنوب شرقی چهل ستون، باغهای خلوت، باغ شمال و باغ صاحبالزمان در غرب چهلستون (که در حال حاضر از آن باغها اثری دیده نمیشود) است.
هر یک از این باغها محل اقامت زمستانی شاه عباس اول و هر کدام دارای عملکرد خاصی مانند: حرمسرا، تشریفات، تفریح، شکارگاه و... بود.
همچنین علاوه بر این باغها 2 باغ دیگر در دوره صفویه ساخته شد: باغ صفیآباد که در آن رصدخانه وجود داشت و استخر عباسآباد که برای شکار مورد استفاده قرار میگرفت.