ตั้งอยู่ภายในสถาบันราชภัฏรำไพพรรณี ห่างจากตัวเมือง 6 กิโลเมตร ตามทางหลวงหมายเลข 316 เป็นที่ประทับของสมเด็จพระนางเจ้ารำไพพรรณี ตั้งแต่ปีพ.ศ.2493-2511 รวม 18 ปี พระองค์ทรงใช้ที่นี่เป็นที่ดำเนินงาน ทั้งเป็นที่ปลูกพืชและเลี้ยงสัตว์ด้วย ทั้งนี้เพื่อเป็นตัวอย่างแก่พสกนิกรในพื้นที่นำไปใช้เป็นประโยชน์ต่อไป ที่สำคัญที่สุดพระองค์ทรงพัฒนาการทอเสื่อจันทบูรอันเป็นหัตถกรรมพื้นบ้านของชาวจันทบุรีให้เจริญก้าวหน้ากว่าเดิม ทรงตั้งโรงทอเสื่อขึ้น ห่างจากพระตำหนักเพียง 200 เมตร ทรงออกแบบกระเป๋าถือและผลิตภัณฑ์ที่ทำด้วยเสื่อกก ปัจจุบันโรงทอเสื่อชำรุดทรุดโทรม คงเหลือเฉพาะอุปกรณ์บางชิ้น เช่น เตาย้อมกก อ่างแช่กก

สิ่งก่อสร้างในบริเวณวังสวนบ้านแก้ว ได้แก่ พระตำหนักใหญ่ (พระตำหนักเทา) เป็นบ้านชั้นครึ่ง ครึ่งตึกครึ่งไม้ พระองค์โปรดเกล้าฯให้ หม่อมเจ้าสมัยเฉลิม กฤดากร ทรงออกแบบและควบคุมการก่อสร้าง พระตำหนักนี้ทรงใช้เป็นที่ประทับส่วนพระองค์ และรับรองพระราชอาคันตุกะ ปัจจุบันเป็นที่รวบรวมสิ่งของเครื่องใช้ส่วนพระองค์ซึ่งแสดงถึงการใช้ชีวิตที่เรียบง่ายแบบสามัญ พระตำหนักดอนแค (พระตำหนักแดง) เป็นอาคารทรงยุโรปสองชั้น สร้างด้วยไม้สักทองทาด้วยสีแดงคล้ำ ออกแบบโดย หม่อมเจ้า กรวิก จักรพันธุ์ พระองค์โปรดเกล้าฯให้เป็นบ้านพระราชเลขานุการ และรองราชเลขานุการในพระองค์

วังสวนบ้านแก้ว เปิดให้เข้าชมทุกวันจันทร์-ศุกร์ เวลา 08.30–16.00 น. สำหรับวันเสาร์-อาทิตย์ และการเข้าชมเป็นหมู่คณะติดต่อล่วงหน้า โทร. 0 3933 5408-9 ต่อ ประชาสัมพันธ์