Замок Брохен, как многие старые английские замки, был построен на месте старого римского форта с использованием части его кладки. В 13 веке эти земли приобрел Роберт де Випон, который соорудил на них множество конструкций. Он приказал обнести замок, по методу тех времен, деревянным палисадом. Позднее Брохен перешел во владение состоятельной фамилии Клиффордов, которая владела не одним замком.
Роберт Клиффорд превратил замок в настоящее боевое сооружение. По его приказу вокруг Брохена появилось каменное ограждение. Такие меры были необходимы, ведь стране в те годы угрожали шотландцы. Позднее обустройством и усилением защитных и боевых качеств замка занялся внук Роберта, который частично изменил стиль внутренних помещений. Однако и здесь основной упор был сделан на усиление крепости. Вскоре замку пришлось испытать свою стойкость, в конце 14 века крепость противостояла шотландцам. В войне Алой и Белой розы, где семейство Клиффордов принимало самое активное участие, замок подвергся атакам.
После смерти Джона Клиффорда Брохен на короткий срок перешел во владения Невиллов, однако вскоре сын Джона восстановил свои права хозяина и знатная фамилия снова включила замок в свои владения. Начало 16 века стало золотым временем для знатного рода. Некоторые из членов семьи были удостоены титулов, а замки получили реконструкцию.
Однако вскоре последовал период, когда замок оказался заброшен и оставлен на волю стихий. Это был период гражданской войны, когда семье Клиффордов было не до поместий. Жизнь вернулась в Брохен после того, как Анна Клиффорд однажды заинтересовалась родовым наследием.
Это была очень энергичная активная женщина, которая вывела из инертного состояния большую часть угодий, доставшихся ей. После ее смерти потомки не проявляли такого интереса к поместьям, а в 18 веке Брохен (как и многие замки семьи) стал напоминать руины. Сегодня это сооружение, история которого насчитывает около двух тысячелетий, можно осмотреть, отправившись на экскурсию.