Pierwszy raz wymieniony w 1427 roku. Rodowe gniazdo książąt Świrskich herbu Szaława. W 1481 roku wymienieni bracia Andrzej i Marcin. W XVII wieku miasteczko należy do rodziny Cetnerów herbu Przerowa, które posiadali do początków XIX wieku. W drugiej połowie XVIII wieku należało do Dominika Cetnera(zm.1804r), starosty stockiego, syna Stanisława i Róży z Dąbrowskich, właściciela Husiatyna i Kniahinicz, żonatego z Antoniną Ożdżanką. W 1780 roku otrzymał tytuł hrabiowski. Miał dwóch synów: Andrzeja, członka Stanów i strażnika sreber koronnych austriackich, zmarłego bezdzietnie, oraz Ignacego Eugeniusza(zm.1821), żonatego z Teklą Sapieżanką, po raz drugi z Elżbietą księżniczką Lubomirską, ostatniego z rodziny właściciela Świrza. Miał syna Aleksandra(zm.1873), wnuka Eugeniusza i prawnuka Andrzeja(zm. po 1926 roku), na którym linia ta wygasła. Po śmierci Ignacego Eugeniusza dobra sprzedane. Początkowo w rękach Sierakowskich herbu Ogończyk. Później w latach 40-tych XIX w. były własnością Katarzyny Starczewskiej i Magdaleny Pierzchały, w 1855 roku Tadeusza Wiktora, w 1878 Marii Ilasiewicz, w latach 90-tych XIX wieku Klaudii z Czaykowskich herbu Gryf, Władysławowej Tustanowskiej herbu Sas. Jako posag Władysława i Klaudii Tustanowskich, Marii(1871-1893) która w 1891 roku poślubiła Konstantego hrabiego Romera h.Jelita(1861-1933), Świrz miał przejść do Romerów. Na podstawie układu rodzinnego Świrz przejęła siostra Marii, Felicja(1871-1942) zamężna za Aleksandra Krzeczunowicza herbu własnego(1863-1922). Sprzedała majątek Irenie Martynie hrabiance z Wolańskich herbu Przyjaciel, 1-o voto Aleksandrowej hr. Pinińskiej, 2-do voto żonie Roberta Franciszka Fean Walentego hrabiego Lamezan de Salins herbu własnego(1869-1930), generała austriackiego, a później Wojska Polskiego. Miał tylko córkę Irenę(1904-1968) zamężną za Tadeusza hrabiego Komorowskiego herbu Korczak(1895-1968), późniejszego generała dywizji Wojska Polskiego, dowódcę Armii Krajowej i powstania warszawskiego, słynnego „Bora”. Byli ostatnimi właścicielami Świrza do 1939r.
We wsi zamek Świrskich herbu Szaława zbudowany w XV wieku. Na fundamentach zamku książąt Świrskich Aleksander Cetner(zm.1667) zbudował zamek, wielokrotnie przebudowywany. Zniszczony w 1914 roku, odbudowany. Dostępny z zewnątrz.
Urodzeni w Świrzu:
Alicja Grześkowiak(*10.06.1941)- polska polityk, doktor habilitowany w zakresie prawa karnego, senator I,II,III i IV kadencji, marszałek Senatu IV kadencji w latach 1997-2001
Tadeusz Lipski(*30.03.1920)-polski dowódca wojskowy, podoficer AK, oficer partyzantki antykomunistycznej,
Andrzej Żak(*06.09.1923-+04.01.2017)- polski archeolog