หลวงพ่อเกษน้อยเดิมเป็นพระพุทธรูปของวัดเกษ เล่ากันว่าเป็นพระรูปอยู่ที่ศาลาท่าน้ำ หันหน้าลงแม่น้ำเพชรบุรี มีสององค์ เป็นที่นับถือของชาวเรือที่ใช้เส้นทางแม่น้ำเพชรบุรื ภายหลังเกิดการชำรุดถูกน้ำเซาะพังลงแม่น้ำ เหลือแต่เศียรพระพุทธรูปได้นำมาไว้ที่หน้าแท่นหลวงพ่อเกษ ต่อมาได้มีผู้มาขอเอาเศียรพระพุทธรูปไปเศียรหนึ่งเพื่อไปบูรณะเป็นพระพุทธรูปประจำศาลาในท้องที่อำเภอบ้านลาด จึงเหลืออยู่เศียรเดียว
เศียรของหลวงพ่อเกษน้อยเป็นพระพุทธรูปสมัยอยุธยา แบบศิลปะอู่ทอง น่าจะเป็นผลงานของช่างปูนปั้นสกุลช่างเพชรบุรี
สมัย นายน้อม บุญดิเรก เป็นครูใหญ่ (๒๔๙๓-๒๕๐๓) ได้ทำการบูรณะ นำเศียรพระพุทธรูปที่เหลือดังกล่าวมาทำเป็นองค์ให้สมบูรณ์ โดยมอบให้นายดิเรก ศรีเจริญ ครูช่างเป็นผู้ดำเนินการ นำมาประดิษฐานไว้ด้านหลังองค์หลวงพ่อเกษ หันหลังชนกับองค์หลวงพ่อเกษหันหน้าลงแม่น้ำเพชรบุรี และใช้สถานที่ๆ นักเรียนฝึกหัดครูประกอบพิธีสวดมนต์ประจำวันก่อนนอนทุก ๆ คืน
นายดิเรก ศรีเจริญ ครูช่างได้ทำการบูรณะโดยใช้แผ่นไม้สักหนาเป็นแกนองค์ พอกปูนปั้นเป็นพระพุทธรูปปางมารวิชัย เมื่อบูรณะใกล้เสร็จ นายดิเรก ศรีเจริญ ได้ล้มป่วยลงจึงมอบให้ มหากาหลง ช่างปูนปั้นฝีมืดดีคนหนึ่งมาปั้นต่อจนเสร็จใน พ.ศ. ๒๔๘๙ และได้เรียกนามพระพุทธ-รูปองค์ใหม่นี้ว่า "หลวงพ่อเกษน้อย"
พ.ศ. ๒๕๒๙ นายนิทัศน์ เพียกขุนทด อธิการวิทยาลัยครูเพชรบุรี ได้มอบหมายให้อาจารย์ล้อม เพ็งแก้ว และคณะคนงาน ทำการย้ายหลวงพ่อเกษน้อยจากวัดเกษไปประดิษฐานที่วิทยาลัยครูเพชรบุรี สร้างแท่นประดิษฐานไว้ใต้ต้นไทรทองทางด้านหน้าของวิทยาลัยครูเพชรบุรี โดยให้ช่างฝีมือปูนปั้น ลูกน้องนายช่างทองร่วง เอมโอษฐ์ มาตกแต่งบูรณะสมบูรณ์ จนปัจจุบันนี้
หลวงพ่อเกษน้อยหเป็นพระพุทธรูปประจำมหาวิทยาลัยราชภัฏเพชรบุรี เป็นสิ่งที่เคารพสักการะของชาวโรงเรียนฝึกหัดครูเพชรบุรี ชาววิทยาลัยครูเพชรบุรี (๒๕๒๙) และของชาวสถาบันราชภัฏเพชรบุรี (๒๕๓๘) เป็นหลักยึดเหนี่ยวจนถึงปัจจุบัน