มีสถานที่สำคัญซึ่งเป็นที่มาของชื่อวัด คือ ถ้ำดินเพียง มีหลานคนได้เล่าขานกันมาว่าเป็นถ้ำที่พระธุดงค์ประเทศลาวเดินทางข้ามมาโดยไม่ได้ผ่านมาทางเรือแต่เป็นการเดินทางผ่านถ้ำนี้ ซึ่งผู้ที่จะเห็นเส้นทางภายในถ้ำต้องเป็นผู้บำเพ็ญศีลภาวนา หรือพระอภิญญา