Les premiers seigneurs de Romainville apparaissent au XIIIe siècle. En fait, la seigneurie ne se constitue véritablement qu'avec l'arrivée de Nicolas Le Quelen. En 1630, celui-ci fait construire derrière l'église, au cœur du village, un château entouré d'un grand parc. Aujourd'hui il ne reste plus rien du château de Romainville.
Le style du château de Romainville se situe entre celui de la Renaissance et le classicisme du XVIIIe siècle, dans un courant appelé l'architecture à la française plus communément nommé le style Louis XIII. La demeure se compose d'un corps de bâtiment central où la façade présente la régularité obligatoire à ce style (emplacement des fenêtres, symétrie de l'avant-corps, sobriété des décors). Flanqué de deux pavillons, le château de Romainville demeure fidèle à la tradition de la construction française avec sa toiture haute, ses lucarnes, ses souches de cheminée et son avant-corps soulignant la distribution intérieure du bâtiment. Lorsque trente ans plus tard, en 1666, la seigneurie devient baronnie, la famille de Baud prend possession du château et y accueille de nombreuses personnalités liées à la cour.
En 1723, Henri-François de Ségur (1689-1751), acquiert le château et devient le baron de Romainville. Quelques années plus tard, il le cède à son fils Philippe-Henri (1724-1801), pour s'installer dans sa nouvelle acquisition, le château de Maison-Blanche à Gagny. Philippe-Henri de Ségur est nommé ministre de la Guerre en 1780 et maréchal de France en 1783. Il réside à Romainville avec sa famille jusqu'à la Révolution française. Dans le château de Romainville, la famille de Ségur aime à recevoir des artistes. Parmi ceux-ci, Elisabeth Vigée-Lebrun (1755-1842) décore l'une des portes d'une chambre à coucher d'une peinture en trompe l'œil représentant un couple enlacé. D'autres décorations du bâtiment ont été réalisées par Hubert Robert (1733-1808), artiste célèbre pour ses paysages archéologiques qu'il exposa souvent aux Salons annuels. Dans l'une des salles de réception d'un des pavillons se trouve un magnifique parquet en marqueterie. Réalisé avec un mélange de diverses essences de bois, répondant au goût raffiné de cette époque, on y trouve des formes ornementales diverses comme des rosaces.
Vendu comme bien national au moment de la Révolution française, le château de Romainville connaît alors le début de son déclin. La dernière personne a l'avoir habité est le duc de Noailles (1757-1845) qui s'y installe en 1823. Il fait appel à l'architecte Mandar (1757-1845), le premier dessinateur des travaux d'aménagement du Champ de Mars, afin de revoir les plans de la propriété, aménager un jardin et réaliser une nouvelle décoration. À partir de 1839 commencent les vicissitudes de l'existence de ce château. Dans un premier temps, la partie centrale du bâtiment est transformée en carrière de plâtre. Elle ne sera véritablement exploitée qu'en 1848. Le parc, abandonné, est progressivement occupé par des cultivateurs qui y installent des jardins tandis que la partie basse est aménagée en briqueterie.
Pendant de nombreuses années, il n'a resté qu'un pavillon d'angle en très mauvais état et dénaturé par une construction en briques. Les plâtres s'effritaient et les ardoises de la toiture s'envolaient au moindre vent fort. Pourtant, il était encore possible d'y voir dans la décoration intérieure des papiers-tentures imitant les tapisseries d'Aubusson. Au rez-de-chaussée, un des salons était décoré de grands panneaux inspirés des scènes villageoises réalisées par Teniers, un peintre flamand du XVIIe siècle. Ces représentations sont typiques des papiers-peints créés dans le faubourg Saint-Antoine de Paris dans les années 1880. Ceci laisse penser que le pavillon du château de Romainville a été occupé et entretenu au moins jusqu'à la fin du XIXe siècle.
L'ensemble du site, a été difficilement conservé plusieurs année, fragilisé par la présence d'une carrière de gypse qui a exploité le sous-sol dans de grandes profondeurs. La SCI des Bas-Pays, l'actuelle propriétaire, se charge de son remblaiement.
La municipalité a acquis, en 1988, les restes du château et une association a été créée afin de conserver l'un des plus importants vestiges du patrimoine local.
La région Île-de-France a racheté le site du château en 1992 avec pour objectif de le transformer en lieu de loisir. Le projet de rénovation est abandonné car le pavillon restant est très dégradé. Un incendie survenu en 2010 va précipiter le sort du château. Par mesure de sécurité les ruines sont déblayées et les restes du château sont démolis en avril 2017. Il est prévu d'ouvrir le parc du château au public. Un square est déjà ouvert au public qui préfigure le projet d'île de loisirs de la Corniche des Forts et sa promenade écologique inauguré en 2021.
