Железноводский курорт первоначально занимал небольшую площадку. В настоящие время на этом месте находится краеведческий музей, здание бывших Новых ванн и лаборатория курорта.
Железные воды стали привлекать к себе людей уже через два года. Сюда под защитой конвоя стали приезжать первые больные. В основном представители среднего дворянства, помещики - те, у которых на заграничные поездки не хватало средств. Первым посетителям Железных Вод приходилось переносить большие неудобства и сильно страдать из-за этого. Они жили в кибитках, палатках, шалашах, купались в выкопанных в травертине или прямо в земле ямах. Из записок генерала Н.Н. Раевского:«...Здесь мы в лагере, как цыгане, на половине высокой горы. Десять калмыцких кибиток, 30 солдат, 30 казаков... Места так мало, что 100 шагов ступить негде, или лезть в пропасть, или на лезть на стену... Картину перед собой имею прекрасную, то есть гору Бештовую».
В 1819 году по приказу командующего Отдельным Кавказским корпусом генерала А.П. Ермолова на склоне Железной горы был выстроен для приезжих первый дом из семи комнат. Позже, в 1824 году, при источнике №1 построили первую купальню под камышовой крышей. Это здание в 1880-е годы было коренным образом переделано. На протяжении нескольких десятилетий оно представляло собой деревянное сооружение изящной архитектуры с 11-ю ваннами. Сегодня на этом месте каменное здание, где располагается рентгеновское отделение курортной поликлиники.
На случай увеличения числа посетителей возле ванн (в 1825 году) поставили войлочную палатку с двумя дополнительными ваннами. Эти ванны назывались Калмыцкими. Ими пользовался поручик Лермонтов незадолго до своей гибели. Несколько выше стояли Солдатские купальни с одной ванной.
В 1828 году здесь было всего три строения. Один дом предназначался для посетителей, другой - для воинской команды. Третье строение находилось над железным источником. По иным сведениям, на Железных Водах имелось два казённых деревянных дома, крытых железом с крытыми балконами, а также один частный деревянный дом и несколько турлучных домиков.
В 1872 году на месте бывших Калмыцких ванн было сооружено восьмигранное здание, увенчанное куполом и напоминающее красивый садовый павильон. Эти ванны просуществовали до 1914 года. Они оказались ненужными, когда в эксплуатацию вошло новое здание минеральных ванн на 32 кабины. Перестали быть нужными и ванны №1 и №2. На этой площадке находились Муравьёвские ванны, названные в честь генерала Муравьёва, наместника Кавказа в 1854г. В парке были Ново Барятинские и Старо Барятинские ванны, названные в честь князя Барятинского, наместника Кавказа в 1856г, взявшего в плен имама Шамиля.