ใน ค.ศ. 1955 พระสังฆราชเปโตร คาเร็ตโต ได้เริ่มย้ายสำนักงานพระสังฆราชมาประจำที่อำเภอเมืองราชบุรี เพื่ออำนวยความสะดวกในการติดต่อกับวัดต่าง ๆ

           ใน ค.ศ. 1956 เริ่มมีการสร้าง ศูนย์ของมิสซังราชบุรี เป็นอาคารคสล. 3 ชั้น แบ่งเป็น 3 ส่วน คือ โรงเรียนดรุณาราชบุรี สำนักพระสังฆราช และสามเณราลัยแม่พระนิรมล โดยมีการวางศิลาฤกษ์ วันที่ 25 กุมภาพันธ์ ค.ศ. 1956 อาคารส่วนของบ้านเณรก่อสร้างเสร็จและเสกในวันที่ 9 มีนาคม ค.ศ. 1959

           ในปีเดียวกันนี้ คุณพ่อซิลวีโอ โปรเวรา อธิการคนแรกได้นำบรรดาสามเณรย้ายข้าวของทุกอย่างจากบ้านเณรบางนกแขวกมาอยู่บ้านเณรแห่งใหม่ที่ราชบุรีจนถึงปัจจุบัน และนับตั้งแต่นั้นมาอาคารบ้านเณรบางนกแขวกก็กลายเป็นตึกร้าง ไร้คนอาศัย และในเวลาต่อมาก็ได้ถูกรื้อถอนออกไป