Um 1120 wurde in Adelsdorf eine Wasserburg erbaut. Sie stand neben der alten Pfarrkirche auf den Aischwiesen, wurde 1430 im Hussitenkrieg zerstört und im Bauernkrieg 1525 und in den nachfolgenden Kriegswirren wiederholt beschädigt. Spätestens 1666 war sie eingeebnet. 1592 bauten die Stiebars das heute noch bestehende ursprünglich hufeisenförmige Schloss. 1826 versah man den Mittelbau mit einem Treppengiebel. 1836 wurde der baufällige rechte Schlossflügel abgerissen. Die zwölf meist geschwungenen Andreaskreuze im Fachwerkgiebel sollten nicht nur dekorativ sein, sondern auch böse Geister abschrecken.
Früher soll eine Weiße Frau in den Räumen des Schlosses umgegangen sein: 1736 war eine Hausiererin aus Fürth wegen eines geringfügigen Diebstahls angeklagt worden und im Schloss durch Peitschenhiebe ums Leben gekommen.
1993 wurde das Schloss von der Gemeinde Adelsdorf erworben. Mehrmals im Jahr finden dort Ausstellungen statt.
