Nach dem Aussehen des Hauses kann man schließen, dass hier maßgebende Leute wohnten. Das Grafenhaus war (laut mündlicher Überlieferung) der Sitz der Hochfreien von Amicinesbach, die von 1090-1203 hier ihre Herrschaft hatten und sich nach dem Ortsbach benannten.

Den Kern des Hauses bildet ein fast quadratischer Wohnturm. Um diesen entstanden Zubauten aus dem 16.-18. Jahrhundert. Die Räume sind eingewölbt, an der Ostfront mit einem halbrunden Anbau (Erker) in beiden Stockwerken versehen. Im 18. Jahrhundert erfolgte wieder eine Vergrößerung durch einen Zubau und so entstand ein Dreiseithof, der durch Stallungen und Scheunen abgeschlossen war.

In der Türkenzeit brannte das Grafenhaus aus. Die Brandspuren konnte man beim Einziehen einer neuen Holzdecke im Jahre 1974 noch sehen.

Seit 1923 ist dieses Anwesen im Besitz der Familie Walderdorff.