En 1937, el ejército japonés partió de Shanghai y atacó Nanjing, que era la capital de la República de China. Chiang Kai-Shek, que era el presidente de la república, había ordenado la evacuación de sus tropas de élite. El gobierno también avanzó por el río Yangtze. Los líderes del ejército pensaron que era mejor librar una guerra de desgaste con las mejores tropas del interior que dejar que el ejército fuera destruido en Nanjing. Sin embargo, decenas de miles de tropas quedaron para defender la ciudad. Se les ordenó defender la ciudad hasta la muerte. Los civiles intentaron huir, pero muchos quedaron atrapados en la ciudad porque los puentes, las carreteras y el transporte fuera de Nanjing fueron destruidos tanto para frenar el avance japonés como para mantener a las tropas y civiles en la ciudad.
Los relatos de la captura de la ciudad por parte de los extranjeros que viven en la ciudad y los propios chinos son de violaciones generalizadas y asesinatos sin sentido de civiles. Las estimaciones sobre el número de chinos muertos en el período de seis semanas después de que los japoneses capturaron la ciudad varían mucho. Las estimaciones del número de muertes varían. Era difícil saberlo porque muchos cuerpos fueron quemados en casas y edificios en llamas y muchos fueron arrojados a los ríos. Hubo muchos saqueos y actos criminales tanto contra los soldados como contra los civiles. Quizás hubiera sido mejor para el gobierno ayudar a los civiles a huir y dejar que el ejército tuviera una ruta de escape. O tal vez la lucha a muerte que ocurrió tanto en Shanghai como en Nanjing sirvió para impresionar a los japoneses que también eran conocidos por luchar a muerte en la Segunda Guerra Mundial.
El mausoleo indica que 300.000 personas murieron en la masacre. Otras estimaciones varían desde menos de 200.000 hasta más de 300.000 personas muertas. Parte de la razón de las diferentes estimaciones es que algunas estimaciones son para toda la región municipal de Nanjing y algunas estimaciones son solo para el centro urbano principal.
El monumento fue construido por el gobierno municipal de Nanjing en 1985 y se amplió en 1995.