این مکان در ابتدا خانقاه شیخ بوده که وی اواخر عمرش را در آنجا میگذرانده و سپس در همانجا دفن شدهاست.
برای اولین بار در قرن هفتم توسط خواجه شمس الدین محمد صاحبدیوانی وزیر معروف آباقاخان، مقبرهای بر فراز قبر سعدی ساخته شد.
در سال ۹۹۸ به حکم یعقوب ذوالقدر، حکمران فارس، خانقاه شیخ ویران گردید و اثری از آن باقب نماند.
تا این که در سال ۱۱۸۷ ه.ق. به دستور کریمخان زند، عمارتی ملوکانه از گچ و آجر بر فراز مزار شیخ بنا شد که شامل ۲ طبقه بود.
طبقه پایین دارای راهرویی بود که پلکان طبقه دوم از آنجا شروع میشد. در دو طرف راهرو دو اطاق کرسی دار ساخته شده بود.
در اطاقی که سمت شرق راهرو بود، قبر سعدی قرار داشت و معجری چوبی آن را احاطه کره بود. قسمت غربی راهرو نیز موازی قسمت شرقی، شامل دو اطاق میشد، که بعدها شوریده (فصیح الملک) شاعر نابینای شیرازی در اطاق غربی این قسمت دفن شد.
طبقه بالای ساختمان نیز مانند طبقه زیرین بود، با این تفاوت که بر روی اطاق شرقی که قبر سعدی در آنجا بود، به احترام شیخ اطاقی ساخته نشده بود و سقف آن به اندازه دو طبقه ارتفاع داشت.
بنای فعلی آرامگاه سعدی از طرف انجمن آثار ملی در سال ۱۳۳۱ ه-ش با تلفیقی از معماری قدیم و جدید ایرانی در میان عمارتی هشت ضلعی با سقفی بلند و کاشیکاری ساخته شد. رو به روی این هشتی، ایوان زیبایی است که دری به آرامگاه دارد