สวนศิลป์บ้านดิน ราชบุรี ถือกำเนิดโดยดำริของ  คุณภัทราวดี มีชูธน (ผู้อำนวยการภัทราวดีเธียเตอร์) เพื่อเป็นสถานที่ถ่ายทำละครโทรทัศน์เรื่อง"ตม" ทางไทยทีวีสีช่อง 3  ด้วยการสร้างสรรค์ของนายดี ศิลปินดินปั้น เมื่อปี พ.ศ.2546 เป็นบ้านที่ก่อสร้าง ด้วยดินผสมแกลบตลอดทั้งหลัง และ ในปีเดียวกัน สวนศิลป์ บ้านดิน ได้ปรับปรุงต่อเติมและก่อตั้งเป็นศิลปะสถาน ท่ามกลางธรรมชาติล้อมด้วยคูน้ำ และสวนมะม่วง บนเนื้อที่ 3 ไร่ เพื่อให้เป็นสถานที่รองรับกิจกรรมต่างๆในทุกรูปแบบอย่างครบวงจรเพื่อสร้าง พัฒนาและแลกเปลี่ยนความรู้ด้านศิลปะในแขนงต่างๆ ระหว่าง ศิลปิน นักเรียน นัก ศึกษา และบุคคลทั่วไป