In ländlicher idyllischer Lage entstand im Bereich des heutigen Schwarzparks um 1862 eine Villa mit Ökonomiegebäude, das heutige Gärtnerhaus. 1871 wurde das Areal vom Gellertgut durch die Bahnlinie zwischen Bahnhof SBB und Badischem Bahnhof getrennt. Das Gärtnerhaus besteht bis heute aus Pferdestall, Orangerie, Holzschopf, Remise und einer Wohnung für den Gärtner im Obergeschoss, denn zum Anwesen gehörte auch eine Gärtnerei. Ab 1926 wohnte die eigentliche Namensgeberin des Schwarzparks in der Villa: die Familie Konsul Schwarz von Spreckelsen. Konsul Schwarz, ein passionierter Jäger, liess ein Wildgehege mit einem Hirschenrudel anlegen. 1965, rund 15 Jahre nach dem Tod des Konsuls, ersetzte die Witwe Sigrid Schwarz die alte Villa durch einen Neubau. 1987 verkaufte sie das Areal an eine Investorengruppe. Sobald die Öffentlichkeit von den Plänen für eine Überbauung des Areals erfuhr, formierte sich Widerstand im Quartier.

Die Initiative zur Grünerhaltung des Schwarzparks wurde 1991 in der Volksabstimmung angenommen. Um die Ausgaben für den Erwerb des Schwarzparks zu mildern wurden Teile des Areals trotzdem bebaut, u.a. durch ein siebenstöckiges Mehrfamilienhaus für gehobenes Wohnen. 1997 schloss sich eine Gruppe aktiver Quartierbewohner zum Verein Gärtnerhuus Schwarzpark zusammen mit dem Ziel im Gärtnerhaus einen Begegnungsort für das Quartier zu schaffen und den Schwarzpark als Naturoase zu erhalten.
Seit 2015 ist der Schwarzpark öffentlich zugänglich, die Wege laden zum Spazieren inmitten von Obstwiesen und unter alten Bäumen ein. Die artenreichen Wiesen jedoch sind geschützt und dürfen nicht betreten werden, mit Ausnahme der Wiese vor dem Gärtnerhaus. Das Gärtnerhaus muss dringend renoviert werden und soll dann sozio-kulturell genutzt werden.