Do velkého fotbalu se klub z Mohuče probojoval po druhé světové válce, kdy se stal členem Oberligy Südwest. Potom se léta pohyboval v nižších soutěžích. Až na konci devadesátých let přišel postup do 2. Bundesligy. K historickému postupu do nejvyšší soutěže přivedl Mohuč mladý trenér Juergenn Klopp. Stalo se tak v roce 2004.