ต่อมาใน ค.ศ. 1941 สามเณรมิสซังราชบุรี ซึ่งอาศัยอยู่ที่ฝั่งวัดแม่พระบังเกิดก็ได้ย้ายข้ามแม่น้ำแม่กลองมาอยู่ที่บ้านเณรหลังนี้ต่อจากสามเณรคณะซาเลเซียน โดยยังคงใช้ชื่อว่าบ้านเณรแม่พระนิรมล บางนกแขวก

             ในปีนี้เป็นปีที่ต้องบันทึกลงในประวัติศาสตร์ เพราะมีเหตุการณ์สำคัญ ๆ อยู่หลายเหตุการณ์ที่เป็นผลมาจากข้อพิพาทอินโดจีน มีการกีดกันการปฏิบัติศาสนาของคาทอลิก วัดหลายแห่งถูกสั่งให้ปิด บ้านเณรทั้งที่ศรีราชาและทางภาคอีสานก็ถูกเบียดเบียนจนต้องปิดบ้านเณรไว้ชั่วคราว

              เมื่อพระสงฆ์ชาวฝรั่งเศสโดนควบคุมและไม่สามารถออกไปทำงานได้ คุณพ่อกาเยตาโน ปาซอตตี (สังฆรักษ์มิสซังราชบุรี) จึงได้รับการแต่งตั้งและอภิเษกเป็นพระสังฆราช ที่อารามคาร์แมล กรุงเทพฯโดยพระสังฆราชแปร์รอส เป็นผู้อภิเษกให้ เนื่องด้วยพระคุณเจ้าปาซอตตี เป็นชาวอิตาเลียนมิใช่ฝรั่งเศส ท่านจึงได้รับหน้าที่ให้เป็นผู้ดูแลมิสซังต่าง ๆ ในประเทศไทยในช่วงเวลาคับขันเช่นนี้ ดังนั้นงานหนึ่งที่สำคัญเป็นอันดับแรก ๆ ของท่านคือ การรวบรวมบรรดาสามเณรจากบ้านเณรต่าง ๆ ที่ประสบปัญหาในสถานการณ์เช่นนี้ให้มารวมกันที่บ้านเณรบางนกแขวกเสียก่อน

              พระสังฆราชกาเยตาโน ได้เห็นว่าอาคารบ้านเณรหลังนี้ใช้งานมานานประกอบกับขณะนี้มีสามเณรที่มาจากที่ต่าง ๆ ทั้งสามเณรพื้นเมืองมิสซังราชบุรี มิสซังกรุงเทพฯ และจากภาคอีสานมาอยู่รวมกันเป็นจำนวนมากเนื่องมาจากภัยสงคราม ท่านจึงให้ดำเนินการบูรณะซ่อมแซมให้เหมาะสมกับการใช้งานโดยมีการปรับปรุงพื้นให้สูงขึ้น ทำประตู หน้าต่างใหม่ ซ่อมกำแพงอาคาร และทาสีใหม่ให้น่าอยู่ มีคุณพ่อยอบ การ์นีนี เป็นอธิการบ้านเณร

              ภัยจากสงครามโลกครั้งที่ 2 ทำให้เณรต้องประหยัดทั้งอาหารการกินและของใช้สอย สงครามกินระยะเวลานานหลายปี ทำให้เณรต้องยากลำบาก บางค่ำคืนก็ต้องวิ่งหนีหาที่หลบภัยจากลูกระเบิด แต่สุดท้ายทุกคนก็ปลอดภัย