A Daniel kastély építése valószínüleg a 17. század elején kezdődött, azután hogy 1621-ben Daniel Mihály, Háromszék alkapitánya, Bethlen Gábor fejedelemtől új adományt kapott olaszteleki birtokaira. Az évszázadok során az épület több átalakításon, bővítésen ment keresztül, vegső formáját a 20. század elején nyerte el.  

 Erdővidék más nemesi épületeihez hasonlóan a kastély a késő reneszánsz szellemében épült, a 19. század folyamán kalsszicista szárnnyal bővült. Az épületen több értékes késő reneszánsz kőfaragvány lelhető fel.  

A kastély északnyugati végében található pince és a felette levõ helyiségek kiképzése a legrégiesebb, így ezt azonosíthatjuk a Daniel Mihály által legelsõként megépített „szállással.”

 A következő nagyobb építkezés II. Daniel Mihály (Daniel Mihály unokája) nevéhez fűződik, aki megépítette akastélyhoz északkeleti irányban 45°-ban kapcsolódó rövidebb épületszárnyat. A rövidebb szárny minden bizonnyal emeletével együtt elkészült, hiszen tudjuk, hogy alsó szintjén eredetileg kapubejáró volt. 

Az 1669-es építési munkálatokról emlékezik meg az épület homlokzatán elhelyezett faragott kõcímer.

Az olaszkoszorúba foglalt címerkép két növénydíszes oszlop és egy rozettával ékesített timpanon által meghatározott térbe illeszkedik. A pajzs alját egy dombocska tölti ki, melyen a család jelképe, a nyakán balfelõlrõl átnyilazott hattyú áll.  Tőle kétoldalra a H és I betûk Haller Judit (Daniel Mihály felesége) nevét jelölik. A pajzson koronás, díszes takarójú sisak látható, rajta átlõtt nyakú hattyúval, melynek két oldalán Daniel Mihály iniciáléjai olvashatók. A fülkének a timpanon alatti részét a család jelmondata és a készítés éve tölti ki: DEUS PROVIDEBIT (Isten gondoskodik) / ANNO 1669.

A faragvány készítõjének nevét nem ismerjük (talán brassói kõfaragó), az 1980-as években került vissza eredeti helyére, egy ideig a székelykeresztúri múzeum kõtárában õrizték.

Az 1669-es építés emlékét õrzi az egyik vörös andezitbõl készült ajtó kerete is. Szemöldökkövének fogrovatos párkánya alatti pajzsán a házaspár MD és HI monogramjai az 1669-es évszámot fogják közre.  

Daniel Mihály1680-ban újra építkezni kezdett, a hoszszabb szárnyra is emeletet építtetett. Az építkezéshez a fát az olaszteleki református egyházközség erdeibõl hozatta, ennek fejében megígérte, hogy a templom körül felépítteti a kõkerítést. Ennek a kötelezettségének azonban utódai csak jóval késõbb tettek úgy-ahogy eleget – tanúsítják az olaszteleki egyházközség elmarasztaló vizitációs jelentései.

Az 1680-as építkezést volt hivatva megörökíteni az épület hosszabb szárnyán látható nagyméretû stukkódísz. A stukkó, a Haller Judit és Daniel Mihály által elkezdett újabb építkezés befejezésének idõpontjaként 1680. szeptember 20-át jelöli meg.

Az út felõli homlokzaton befalazva megfigyelhetõ még néhány késõ reneszánsz, kõbõl faragott ablakszemöldök, valószínûleg ma már másodlagos elhelyezésûek. Ezek közül egyiken az MD iniciálékat, a profilozás fölött pedig az 1680-as évszámot jelenítették meg. Egy másik szemöldökkõ középtengelyében lévõ pajzson pedig az átlõtt nyakú hattyú és a kissé csonkított MD monogram látható.

Az épület egészen a 19. század közepéig megõrizte formáját, báró Rauber Nándor tulajdonába kerülve, õ átszervezte az épület emeletén lévõ termek beosztását, és más kisebb átalakításokat is végeztetett.

Az utolsó nagyobb mérvû javítás Daniel Gábor nevéhez fûzõdik, kinek felesége, Rauber Mária révén került újra az épület a Danielek tulajdonába. 1884-ben Daniel Gáborcsatoltatta az épület központi részéhez az északkeletre nézõ klasszicizáló szárnyat a félköríves ablakokkal, oromfalán terakotta lapon megjelenített átlõtt nyakú hattyúval.

Ugyancsak õ falaztatta be a kapubejárót is. Ekkor kerülhetett ide a hátsó “kicsi kastélyból” az 1649-es évszámot és ID monogramot viselõ ajtókeret, valamint ennek két oldalára az 1884-es építkezésrõl megemlékezõ két feliratos márványtábla: V. D. G. / UDVARHELYMEGYE / FÕISPÁNJA és R. M. / UJITATTÁK / AZ 1884-IK ÉVBEN. Valószínûleg ekkor kapta az épület az udvarra nézõ nagyméretû félköríves ablakait is. 

Az épület utca felõli homlokzatához az 1890-es évek elején épült hozzá a szellõs veranda, melyet Draskóczy Jenõ mérnök tervezett.

Az államosítás után a kastély végigjárta az ilyen épületeknél szokásos utat, eredeti bútorzata elveszett, irodahelyiségek kaptak benne helyet, magtárként, vegyszerraktárként is szolgált, állapota folyamatosan romlott. Arról, hogy mi pusztult el, csupán feltételezéseink lehetnek.