Das auf 365 m ü. NN Höhe im westlichen Nordschwarzwald in einer Aufweitung des oberen Tals der Alb gelegene Bad Herrenalb ist von bis zu 947 m hohen, bewaldeten Bergen umgeben.

Der Fluss Alb entspringt in Luftlinie fünfeinhalb Kilometer südlich der Stadt, durchfließt Bad Herrenalb von Süden nach Norden und wird hier von mehreren Zuflüssen gespeist. Zum einen vom Rennbach von links ganz im Süden am Campingplatz; dem Gaisbach im Kurpark und dem Dobelbach im Norden an der Grenze zum Stadtteil Kullenmühle, beide fließen von rechts zu; und zuletzt wieder von links vom Bernbach am Ende dieses Stadtteils. Alle vier sind recht kleine Bäche mit einer Länge zwischen zweieinhalb und etwas über vier Kilometern, die aber durch ausgebildete Seitentäler zufließen.

Diese Seitentäler gliedern die umgebenden Höhen in Einzelberge, die also zumeist Mündungssporne dieser Bäche sind. Im Südwesten beginnend sind es im Uhrzeigersinn der Ausleger Bottenberg (563,7 m ü. NN) zwischen Rennbach und abfließender Alb, hinter dem sich der Rennberg (744,1 m ü. NN) erhebt; die Kuppe Hardtkopf (559,2 m ü. NN) auf dem Sporn Sägberg zwischen Bernbach und der ablaufenden Alb über Kullenmühle im Norden; der Maienberg (720,7 m ü. NN) zwischen dem mündenden Dobel- und Gaisbach im Osten; sowie der Wurstberg (691,9 m ü. NN) im Süden zwischen dem Gaisbachtal und dem oberen Albtal.

Der südlichste Punkt der Gemarkung liegt oberhalb des Albursprungs an der Wasserscheide zum Murgtal auf dem Langmartskopf, knapp einen Kilometer nordöstlich davon ist der Lerchenstein mit 947 m ü. NN die höchste Erhebung Bad Herrenalbs. Der tiefste Geländepunkt liegt auf gut 320 m ü. NN an der Alb auf der Grenze zu Marxzell bei Steinhäusle.

Bereiche des Talbodens im Albtal ober- und unterhalb von Bad Herrenalb sowie des Moosalbtals bei Althof gehören zum Naturschutzgebiet Albtal und Seitentäler. Die drei Landschaftsschutzgebiete Albtalplatten und Herrenalber Berge, Staatswald südlich Bernbach und Bottenberg nehmen gut 55 % der Gemeindefläche ein.

Die Böden bestehen überwiegend aus lockerem rotem Buntsandstein. Um Kullenmühle tritt verkieseltes Porphyrkonglomerat des oberen Rotliegenden zutage, das die als Naturdenkmale ausgewiesenen Felsengruppen Falkenstein und Zwölf Apostel bildet.

Im Albtal und Gaistal im Süden der Gemeindefläche wird der Granit des Grundgebirges angeschnitten.

Wie schon im ehemaligen Land Württemberg befindet sich Herrenalb innerhalb des Landkreises Calw in einer westlichen Randlage. Der etwa 700 m hohe Bergzug bei Dobel trennt die Stadt vom übrigen Kreisgebiet. Die Fahrtstrecke in die Kreisstadt Calw im Tal der Nagold beinhaltet zwei Passübergänge und die Querung des Enztals. Das verkehrsgünstigere Albtal führt von Bad Herrenalb ins badische Ettlingen (Landkreis Karlsruhe), wo es in die Oberrheinebene mündet.