Ještě dva roky po koupi uvažovali o rekonstrukci brumovského Kaštýlu, ale nakonec zvítězil odvážný plán výstavby budovy nové – budovy, jež začala psát historii zámku Návojná. Manner radikálně přestavil stávající budovy návojského dvora, nákladně je vybavil, přesto nebyl stále spokojen. Proto nechal v roce 1845 vyhotovit nové plány na již skutečně zámeckou budovu. Tu stavitel Vašíček vsadil mezi dvě upravené ramena z původního dvora, čímž vznik charakteristický půdorys podkovy. Manner souhlasil a o dva roky později výstavba započala. Zámek byl dokončen roku 1851, upravován byl dále nádherný a rozměrný park, který čítal přes dvě stovky šlechtěných dřevin. Manner byl tvrdým mužem a svým chováním často vyvolával spory s návojňany, nicméně pozvedl návojské panství k relativně spokojenému životu. Zemřel 30. března 1864 na svém zbudovaném zámku.
Wofgang rytíř Manner měl se svou ženou Barborou dvě děti, Huga a Felicii. Hugo se stal právníkem a do své smrti (1910) byl velkým návojským patriotem a oblíbeným, váženým mužem. Felicie se jako šestnáctiletá provdala za čtyřicetiletého Jana Křtitele Centnera. Jemu porodila šest dětí: Sefine (1856), Huga (1857), Barboru (1860), Fritze (1863), Jindřicha (1869) a Antonína – nejzáhadnější ze zámeckých dětí. Dětem z návojského zámku však nebylo dopřáno dlouhé putování po tomto světě. Sefine zemřela ve svých osmi letech, Hugo spáchal v osmadvaceti sebevraždu, Barbora podlehla duševní chorobě, Fritz zemřel záhy po porodu a tajemný soudní praktikant Antonín za nejasných okolností umírá v roce 1894.
Dospělého věku se tedy dožívá pouze Jindřich, který se 5. září 1896 oženil s Pavlínou Mrázkovou. Spolu vychovali tři děti – Viktora (1897), Huga (1900) a Felicii (1909). Jindřich byl jednou z prvních obětí I. světové války, takže Pavlína následně zůstala na výchovu tří dětí sama. Jejich život byl silně ovlivněn výstavbou železnice v letech 1923-1928. Jako majitele velkého dílu místních lesů se Centner-Mannerové stali dodavateli dříví ke stavebním pracím, využili pilu, kterou výhodně koupili v Brumově, a jejich ekonomická situace se výrazně zlepšila. A samozřejmě ne jenom jejich. Stavba železnice se stala významným zdrojem obživy pro naše místní a zároveň se spojení se světem nabízelo jako možnost řešení mnoha dalších tíživých okolností.
Tak jak zasáhla do života zámeckých první světová válka, postihla je i hrůza fašistické poroby národa. Center-Mannerové jako Němci samozřejmě nepociťovali všechny útrapy, které válka uvalila, ovšem dodejme, že bylo-li to možné, snažili se místním pomoci. Existuje několik doložených případu, kdy zejména slečna Felicie využila svého vlivu a zabránila neštěstí.