Rammstein gitaristi Richard Kruspe ve o zamanlar bateri çalan Till Lindemann Berlin Duvarı'nın ıkılmasından sonra "First Arsch" grubunda beraber çalarlar. Bu gruptan memnun olmayan Krupse gitar ve makinanın birbirinin içine girdiği bir grup için ev arkadaşları Oliver Riedel ve Christoph Schneider ile beraber yeni bir projeye başlar. Eski arkadaş Lindemann'ı da şarkı yazımına destek olması için gruba çağırır. 1994'te bir amatör gruplar yarışmasına katılan dörtlü bunu kazanıp 4 şarkılık demo şansı elde eder. Demoyu dinleyen Paul Landers da gruba dahil olur. Son olarak Landers'in arkadaşı Christian Lorenz de gruba girer.

İlk albüm "Herzeleid"ın kayıtlarına Mart 1995'te Jacob Hellner prodüktörlüğünde başlanır. İlk single'ı "Du Riechst So Gut" olan albüm 24 Eylül 1995'te yayınlanır. Aralık ayında Rammstein ana grup olarak ilk turnesine Almanya içinde çıkar. 1996'da yeni turlar ile birlikte ikinci single "Seemann" da yayınlanır. 27 Mart 1996'da İngiltere'de ilk konserlerini verirler. Grubun tüm dünya çapında tanınması ise Trent Reznor'un David Lynch'in Kayıp Otoban filmi için "Heirate Mich" ve "Rammstein" şarkılarını seçmesiyle olur. Film müziği albümü Amerika'da 1996'da, Avrupa'da 1997'de yayınlanır.