การสร้างพระป่าเลไลยก์นั้นเป็นความคิดและกำหนดขึ้นโดยสมเด็จพระพุฒาจารย์ (โต พรหมรสี) เป็นการสร้างขึ้นทีหลังสุด เนื่องจากสมเด็จฯ เห็นว่าด้านตะวันออกนั้นมีป่ารกมากจึงกำหนดให้เป็นวัดป่า และวางแผนออกแบบสร้างเป็น พระปางป่าเลไลยก์

สมเด็จพระพุฒาจารย์ (โต พรหมรสี) ท่านจำลองแบบมาจาก พระป่าเลไลยก์ จังหวัดสุพรรณบุรี และสร้างเล็กกว่าองค์จริง คือให้สูง 9 เมตร

ท่านเจ้าคุณพระธรรมอุดม (ถึก) ได้จัดพื้นที่วัดแบ่งเป็น 2 ส่วนคือ ด้านทิศตะวันตก ให้เป็นวัดใหญ่ทองเสน ท่านเป็นผู้กำกับดูแล ส่วนทางด้านตะวันออก ให้เป็นวัดป่าเลไลยก์ โดยท่านสมเด็จพระพุฒาจารย์ (โต พรหมรสี) เป็นผู้ดูแล แต่วัดทั้งสองแห่งนี้ ท่านเจ้าพระคุณทั้งสองเป็นผู้ร่วมกันสร้างขึ้นมาทุกอย่าง

กล่าวว่า องค์พระป่าเลไลยก์นั้น สมเด็จพระพุฒาจารย์ (โต พรหมรสี) ร่วมกับท่านเจ้าคุณพระธรรมอุดม (ถึก) สร้างด้วยปูนขาวผสมทราบและน้ำอ้อย ลงรักเป็นองค์สีดำ ทั้งหมดในครั้งแรก เมื่อสร้างองค์ พระป่าเลไลยก์เสร็จแล้วจึงได้สร้างวิหารเป็นรูปสี่เหลี่ยม ก่ออิฐถือปูน และยังไม่แล้วเสร็จสมบูรณ์ ต่อมาปรากฏว่าวัดทั้งสองแห่งนี้ได้กลายเป็นวัดร้างไม่มีภิกษุ สามเณรอาศัยอยู่ มีแต่ชาวบ้านชาวสวนเท่านั้นอยู่ใกล้ หรืออาจมีไวยาวัจกรวัดดูแลก็ได้ ในช่วงนี้เนื้อที่ของวัดที่มีมากมาย จึงถูกนำไปใช้ในทางราชการบ้าง หรืออาจมีผู้บุกรุกเอาไปเป็นที่ส่วนตัวบ้าง เพราะวัดในสมัยโบราณนั้นไม่มีโฉนด มีแต่จำทำเป็นหลักเสาเขตไว้ ให้คนทั่วไปรู้ว่า นั้นเป็นเขตของวัด เมื่อมีภิกษุสามเณรอาศัยอยู่ ชาวพุทธหรือคนทั่วไปไม่กล้าบุกรุกเอา เพราะรู้ว่านั้นเป็นสถานที่ของพระพุทธศาสนา เมื่อเนื้อที่ของวัดใหญ่ทองเสนและวัดป่าเลไลยก์ ถูกตัดไปส่วนใหญ่ จึงเหลือไว้ให้วัดทั้งสองรวมกันแล้วเหลือเนื้อที่อยู่ 8 ไร่เศษ ที่เหลือไว้นั้นเข้าใจว่าเพราะวัดมีปูชนียวัตถุสำคัญอยู่ คือ อุโบสถ, หอไตร, และวิหารพร้อมองค์พระป่าเลไลยก์ อันเป็นที่เคารพนับถือที่สำคัญของชาวบ้านและชาวสวน ถือว่ามีความศักดิ์สิทธิ์ เพราะรู้ว่าเป็นพระที่สมเด็จพระพุฒาจารย์ (โต พรหมรสี) และพระธรรมอุดม (ถึก) เป็นผู้มาสร้างไว้

พระพุทธรูปปางปาลิไลยก์ อยู่ในอิริยาบถประทับนั่งบัลลังก์ พระบาททั้งสองวางอยู่บนดอกบัว พระหัตถ์ซ้ายขวาวางคว่ำบนพระชานุ (เข่า) เป็นกิริยารับหม้อน้ำจากพญาช้างปาลิไลยกะ ซึ่งเป็นช้างอยู่ในป่าหลีกหนีจากโขลง มาคอยปรนนิบัติพระพุทธองค์ ส่วนพระหัตถ์ขวาวางหงายบนพระชานุ แสดงกิริยาไม่รับรวงผึ้งจากลิง เนื่องจากรวงผึ้งมีแมลงผึ้งอยู่ ลิงต้องกลับไปเอาแมลงผึ้ง และตัวลูกอ่อนออกหมดก่อน แล้วนำไปถวายใหม่ พระองค์จึงทรงรับประเคน

มีประวัติเล่าว่า ครั้งหนึ่งพระภิกษุในวัดโฆสิตาราม กรุงโกสัมพี ทะเลาะวิวาทกัน ประพฤติตนเป็นผู้ว่านอนสอนยาก พระสัมมาสัมพุทธเจ้าทรงระอาพระทัยจึงเสด็จไปจำพรรษาอยู่ในป่าแถบหมู่บ้านปาลิเลยยกะ โดยมีพญาช้าปาลิเลยยกะและลิงตัวหนึ่งเป็นอุปัฏฐาก ครั้นออกพรรษา พระอานนท์พร้อมด้วยคณะพระภิกษุได้มากราบทูลอาราธนาพระพุทธองค์ให้เสด็จกลับพระเชตวันมหาวิหาร หลังจากพระพุทธองค์เสด็จกลับ พญาช้างเสียใจล้มลงขาดใจตาย บรรดาพระภิกษุผู้ว่ายากเมื่อทราบว่าพระพุทธองค์เสด็จกลับมายังพระเชตวันมหาวิหาร ก็รีบเดินทางมาเข้าเฝ้าเพื่อแสดงความสำนึกผิด

สำหรับความศักดิ์สิทธิ์ของพระป่าเลไลยก์องค์นี้มีมากมาย เช่น เล่ากันว่าในสมัยสงครามโลกครั้งที่ 2 มีการทิ้งห่าระเบิดลงแถวสะพานพระราม 6 วัดสร้อยทองและวัดวิมุต แต่มีระเบิดหลงมาตกถึงวัดใหม่ทองเสนตรงหน้าหลวงพ่อพระป่าเลไลยก์ แต่ไม่ระเบิด

พระป่าเลไลยก์องค์นี้นิยมบนโดยการปฏิบัติธรรม