اطراف آن بیابان و رودخانه و سنگلاخ بوده، با گسترش شهرنشینی در جبهه غربی، به تدریج این باغ در داخل بافت شهری قرار گرفته. در حال حاضر در انتهای خیابان ارم و در تقاطع بلوار شرقی ـ غربی و بلوار شمالی ـ جنوبی جام جم و آسیاب سه تایی، باغ ارم قرار گرفته است. این باغ به مناسبت عمارت و باغ بزرگی که در گذشته توسط شداد بن عاد پادشاه عربستان جنوبی به رقابت با بهشت ساخته شده، به باغ ارم مشهور گردیده است.
تاریخ ساخت این باغ را به دوره سلجوقیان نسبت دادهاند چرا که در آن زمان، باغ تخت و چند باغ دیگر توسط اتابک قراجه حکمران فارس ـ که از سوی سنجر شاه سلجوقی به حکومت فارس منصوب شده بود، احداث شد و احتمال میرود ایجاد این باغ به درخواست وی و در آن زمان بوده است
در اواخر سلسلة زندیه، بیش از 75 سال این باغ در تصاحب سران ایل قشقایی بود، بنای اولیة عمارت باغ ارم توسط جانی خان قشقایی اولین ایلخان قشقایی و پسرش محمدقلی خان و در زمان فتحعلیشاه قاجار احداث شده است. معماری بنا نیز توسط شخصی به نام حاج محمد حسن که از معماران معروف بود، صورت گرفته است.
در زمان ناصرالدین شاه قاجار، میرزا حسن علی خان نصیرالملک، آن باغ را خریداری و عمارت فعلی موجود در باغ را به جای عمارت ایلخانی بنا نمود، اما تزئینات ناتمام باغ پس از فوت حسنعلی خان در سال 1311 توسط ابوالقاسم خان نصیرالملک پایان یافت.
هم اکنون این باغ به عنوان باغ گیاهشناسی مورد استفاده قرار گرفته و در اختیار دانشگاه شیراز می‌باشد. در سه دهه پیش قسمتهایی در سمت غربی باغ ازجمله اراضی دهی موسوم به «کوشک» به مساحت باغ افزوده شده است. در این زمان مساحت کل باغ ارم نزدیک 110380 متر مربع است.
زمین باغ بشکل مربع مستطیل بسیار وسیعی است که جهت شیب آن از غرب به سوی شرق است و مجموعه عمارت اصلی و اندرون در قسمت مغرب و در بلندی چشم‌گیری قراردارد. به سبب شیب زیاد زمین در قسمتهایی از خیابانهای اصلی و دیگر خیابانهای باغ پله‌هایی ایجاد نموده‌اند و این پستی و بلندی زمین بر زیبایی فضای باغ بسی افزوده است.
وشش گیاهی باغ را می‌توان به 2 دسته درختان غیر مثمر و درختان مثمر تقسیم کرد:
1. درختان غیر مثمر باغ عبارتند از: سرو ناز (بلندترین سروناز این باغ که قریب 35 متر بلندی آن است، بلندترین سروناز شیراز است)، کاج، افرا، ارغوان، بید مجنون، سیاه بید، زبان گنجشک، بید مشک، سپیدار، و اکالیپتوس.
2. درختان مثمر باغ عبارتند از: انار، ازگیل، نارنج، خرمالو، گردو، زردآلو، بادام، سیب، به و گلابی. محصول اصلی درختان میوه‌دار باغ در درجة اول انار است و در درجة دوم می‌توان مرکبات را به حساب آورد. درختان مرکبات باغ ارم در ردیف سایر نارنجستانها و باغهای مرکبات شیراز است.