Pierwsza wzmianka o Miłowicach pojawia się w 1270 roku i wymieniana jest jako własność klasztoru w Buch. Wcześniej była w posiadaniu Ulryka von Pack z Żar. Informacja o wsi pojawia się w kolejnych latach: 1381(Mildennawe), 1457(Myldinnawe), 1494(Mildenaw). Od XIV wieku występuje jako część dóbr żarskich. Od 1452-57 roku jest własnością Balzera von Unwürde. W 1494 roku przechodzi na własność Petera von Niesemeuschel. W latach 1509-12 oraz w 1520-21 jako właściciel wymieniany jest Georg von Schӧnaich. Rodzina von Schӧnaich posiada Miłowice do roku 1590. Do 1608 roku Miłowice są w posiadaniu rodziny von Rackel(1586). Następnie od 1608 do 1627 roku właścicielami Miłowic są baronowie von Promnitz. Stanislaus baron von Promnitz sprzedaje Miłowice rodzinie von der Dahme(1596), którzy rezydują w Miłowicach do roku 1685. Przez krótki okres czasu właścicielami Miłowic są baronowie von Knobelsdorff, później przechodzą w ręce rodu von Dyherrn. Do końca XVIII wieku jako właściciele wzmiankowana jest rodzina von Schwarzbach(1798,1800), w 1827 roku przechodzi w ręce rodziny von Mutzdorf. W roku 1841 Miłowice zakupił Leberecht Theuner. Po nim majątek dziedziczy syn, Moritz. W 1860 roku powstaje siedziba dworska. Jako właściciel majątku pojawia się rodzina von Rabenau(1877). W roku 1879 jako właściciela majątku wymienia się hrabiego von der Schulenburg-Wolfsburg a dobra liczą sobie w tym czasie 489,80 ha gruntów. Prawdopodobnie od hrabiego dobra zakupuje rodzina von Vahl i powstaje nowy obecnie istniejący pałac dla rodziny von Vahl, której herb widnieje na ryzalicie budynku. Później jest w posiadaniu właściciela fabryki włókienniczej, Georga Frenzl, który pałac nabył od rodziny baronów von Wackerbarth, będącej w posiadaniu pałacu do 1916 roku. W 1914 roku majątek o powierzchni 605ha należał do majora barona von Wackerbarth. Po krótkim okresie posiadania przez Georga Frenzl pałac wraz z majątkiem powraca w ręce baronów von Wackebarth, którzy są wymieniani jako właściciele w 1929 roku a ich majątek obejmuje 608ha gruntów. Do majątku należał folwark Neumühle. Od 1928 roku majątek przechodzi w ręce rodziny von Dyhrn.
ZAMEK-DWÓR
Na terenie obecnego założenia dworsko-folwarcznego w wiekach średnich znajdowała się wieża rycerska, obecnie bez śladu po budowli. Prawdopodobnie na murach wieży-zamku w 1860 roku zbudowano dwór. Po 1945 roku dwór z folwarkiem w posiadaniu Państwowego Gospodarstwa Rolnego. W latach 70-tych znacznie przebudowany z rozebraniem poddasza. Obecnie budynek bezstylowy, parterowy, podpiwniczony, z oryginalnymi drewnianymi elementami wejścia głównego. Obecnie w rękach prywatnych.
PAŁAC
Pałac wzniesiony w stylu eklektycznym prawdopodobnie w latach 80-90-tych XIX wieku przez rodzinę von Vahl , na planie zbliżonym do prostokąta, o asymetrycznej kompozycji, kryty dachem czterospadowym z lukarnami. Nad całością dominuje wysoka wieża na planie kwadratu, na szczycie przechodząca w ośmiobok. Cały budynek podpiwniczony. Po 1945 roku podzielono zespół na dwie części użytkowane przez ówczesny PGR oraz Zakład Specjalny dla Dzieci Upośledzonych, który funkcjonuje w pałacu. W 1987 roku remont kapitalny. W 1992 roku remont i wymiana instalacji CO i wodno-kanalizacyjnej.
