วัดบ้านสวนตั้งอยู่ที่เลขที่ ๑๖๖ หมู่ที่ ๖ ตำบลมะกอกเหนือ อำเภอควนขนุน จังหวัดพัทลุง ทำเลที่ตั้งเป็นเนินสูงเล็กน้อย น้ำท่วมไม่ถึงตั้งอยู่ในเขตชุมชนที่มีประชาชนอาศัยอยู่หนาแน่นพอสมควร ทิศเหนือจดถนนสายบ้านสวนซึ่งเป็นซอย ทิศใต้จดที่ดิน นายดิษ เดชสง นายคล้าย แต้มช่วย และที่ดินนายเยื้อน ชูยกทิศตะวันออกจดถนนสายบ้านสวน-บ่อนห้วยหมาก ตำบลชัยบุรี อำเภอเมืองพัทลุง ทิศตะวันตกจดที่ดินนายแสง รองเหลือ นายเล็ก ขุนสังข์ นายชม อินทรสมบัติ มีเนื้อที่ทั้งหมด ๓๘ ไร่ ๓ งาน ๓๘ ตารางวา ตาม ส.ค. ๑ เลขที่ ๕๐๔ มีธรณีสงฆ์รวม ๕ แปลง เนื้อที่ ๒๕ ไร่ ๓ งาน ๗๓ ตารางวา โดยหนังสือ น.ส. ๓ เลขที่ ๑๘๘๗ ส.ค. ๑ (พระมหาพรหม ขนฺติโก) เป็นเจ้าอาวาส
ความเป็นมาของวัดบ้านสวน (เหนือ) ตามหลักฐานในหนังสือทำเนียบวัดซึ่งพระครูพินิตฯ เรียบเรียง จากทำเนียบวัดจังหวัดพัทลุงของพระครูอริยสังวรณ์ อดีตเจ้าคณะจังหวัดพัทลุง (มหานิกาย) กล่าวไว้ว่า สร้างขึ้นเมื่อปี พ.ศ. ๒๐๗๐ ตรงกับสมัยของสมเด็จพระรามาธิบดีที่ ๒ สมัยกรุงศรีอยุธยา สันนิษฐานกันว่า พระปรมาจารย์ผู้เฒ่าวัดเขาอ้อ พร้อมด้วยพุทธบริษัท เป็นผู้จัดสร้างขึ้น เชื่อกันว่า วัดบ้านสวนมีความสัมพันธ์อยู่ในเครือสายวัดเขาอ้อ โดยที่วัดเขาอ้อสร้างขึ้นก่อน ในราว จ.ศ. ๓๐๑ (พ.ศ. ๒๔๘๒) ต่อมาในระยะหลังเจ้าอาวาสวัดเขาอ้อเห็นว่า ในละแวกใกล้ ๆ มีชาวบ้านผู้ศรัทธาในพระพุทธศาสนา ตั้งบ้านเรือนทำมาหากินอยู่มากมาย จึงตั้งวัดดอนศาลาขึ้นเป็นวัดที่ ๒ และเข้าใจว่าต่อมาก็ได้สร้างวัดบ้านสวนเป็นวัดที่สาม ในระยะแรก ๆ สันนิษฐานกันว่าเจ้าอาวาสคงสืบเชื้อสายมาจากวัดเข้าอ้อ เป็นลำดับ ดังจะเห็นได้จากในสมัยปัจจุบันพระครูสิทธิยาภิรัต (หลวงพ่อเอียด) อดีตเจ้าอาวาสวัดดอนศาลาเป็นศิษย์สำนักวัดเขาอ้อ พระครูสิทธิยาภิรัต วัดดอนศาลา สุดท้ายพระครูอดุลธรรมกิตติ์ (พระใบฎีกากลั่น อคฺคธมุโม) เจ้าอาวาสวัดเขาอ้อเป็นศิษย์พระครูพิพัฒน์สิริธร วัดบ้านสวน ทำให้เข้าใจว่า ทั้ง ๓ วัดนี้มีความสัมพันธ์กันเรื่อยมาตามกาลสมัย
วัดบ้านสวนนี้ ครั้งหนึ่งชาวบ้านเรียกขานกันว่า วัดกุลหอม หรือ วัดพิกุลหอม ดังคำกลอนสนุก ๆ ว่า
วัดกุลหอมจอมควนบ้านสวนนี้ ยังมีโจรดีดีสามสี่คน อยู่ตำบลมะกอกเหนือเหลือที่จัด ลักหนุนวัดเห็นง่ายไม่ขัดสน
แต่เนื่องจากที่นี้เป็นควนบ้านสวนชาวบ้านจึงเรียกกันติดปากมาว่า วัดบ้านสวน หลายปีผ่านมา วัดบ้านสวน เกิดขึ้นอีกวัดหนึ่งตั้งอยู่ที่ตำบลควนมะพร้าว อำเภอเมืองพัทลุง จังหวัดพัทลุง ทางราชการจึงตั้งชื่อ เพื่อไม่ให้ไขว้เขวเกี่ยวกับสองวัดนี้โดยให้วัดบ้านสวน ตำบลควนมะพร้าว ชื่อว่า วัดบ้านสวนใต้ วัดบ้านสวนตำบลมะกอกเหนือ ชื่อว่า วัดบ้านสวนเหนือ