Detta trots att hans muntliga erbjudande om avgång avvisats av premiärminister Su Tseng-Chang.
51 människor miste livet och många skadades när ett södergående snabbtåg i fredags krockade med ett parkerat arbetsfordon och spårade ur i närheten av Hualien. Flera vagnar hamnade i en närliggande tunnel, vilket gjorde räddningsarbetet komplicerat och omfattande.
Tågolyckan beskrivs som en av de värsta någonsin och frågor om hur den kunde ske har ställts.
– Jag är ansvarig för att minimera de skador som hela olyckan skapat. Efter att räddningsarbetet är avslutat kommer jag att ta mitt ansvar, sade Lin Chia-Lung när han besökte haveriplatsen på söndagen.
Enligt premiärministerns kansli erbjöd han sig i lördags att avgå. Lin Chia-Lung ombads dock att i nuläget stanna på sin post och fokusera på uppröjningsarbetet.