เกาะสีชังถือเป็นเกาะประวัติศาสตร์แห่งหนึ่งของเมืองไทย เนื่องจากว่าในอดีตมีพระเจ้าแผ่นดินถึง 3 พระองค์ คือรัชกาลที่ 4 รัชกาลที่ 5 และรัชกาลที่ 6 เสด็จมาประพาสพักผ่อน โดยเฉพาะรัชกาลที่ 5 ทรงโปรดเกล้าฯให้สร้างพระราชฐานบนเกาะขึ้นเป็นแห่งแรก เพื่อเป็นที่ประทับในฤดูร้อน พร้อมพระราชทานนามว่า "พระจุฑาธุชราชฐาน" ตามพระนามของพระราชโอรสที่ประสูติบนเกาะแห่งนี้

พระจุฑาธุชราชฐาน อยู่ห่างจากท่าเทววงศ์ลงมาทางใต้ของเกาะเป็นจุดท่องเที่ยวที่น่าสนใจ มีความสวยงามด้วยสถาปัตยกรรมไทยผสมตะวันตก ภายในบริเวณมีสภาพภูมิทัศน์ที่งดงาม ด้านหน้าเป็นชายหาดท่าวัง สิ่งที่น่าสนใจในพระราชฐานนี้นอกจาก อาคารพระจุฑาธุชราชฐาน ที่งดงามด้วยด้วยสถาปัตยกรรมไม้สไตล์เรือนขนมปังขิงแล้ว บริเวณรอบข้างก็ยังมี ตึกวัฒนาเป็นตึกสี่เหลี่ยมผืนผ้า หลังคาทรงปั้นหยา มุงกระเบื้องเกล็ดเต่า ตึกผ่องศรี เป็นตึกแปดเหลี่ยมชั้นเดียว ตัวตึกทาสีขาวมี 9 ประตู ตึกอภิรมย์ ตึกสี่เหลี่ยมผืนผ้าที่สร้างอย่างเรียบง่ายแต่ลงตัว