Istnienie rezydencji książęcej w Grabowcu poświadczają źródła staroruskie z 1268 roku, kiedy to przebywał w nim Wasylko, syn księcia włodzimierskiego Romana. Nie zachowały się żadne ślady założenia, dlatego też historycy sądzą na podstawie inwentarza z 1617 roku, iż było ono drewniane, może poza murowaną wieżą mieszkalną stojącą w południowo-wschodnim narożu. Wzgórze zamkowe otoczono wysokim parkanem.

W 1387 roku Grabowiec wraz z całą ziemią bełską został przyłączony do korony, a rok później otrzymał go we władanie książę mazowiecki Ziemowit IV. Po śmierci księcia w 1462 roku i włączeniu do Korony, Grabowiec był miastem królewskim oddawanym starostom w dzierżawę. Pierwszym znanym starostą był Paweł Jasieński herbu Poronia, który zarządzał starostwem w latach 1473-76. W pierwszej połowie XVII wieku zamek popadł w ruinę i dopiero w latach 1655-58 odbudował go po uchwale sejmowej starosta Stanisław Sarbiewski. W XVIII wieku rezydencja zaczęła stopniowo popadać w ruinę, dlatego król Stanisław August w 1765 roku nakazał jego odbudowę, lecz ostatecznie do niej nie doszło, a ruiny zamku zostały rozebrane po 1807 roku gdy miasto znalazło się w rękach Feliksa Radziejowskiego. W roku 1968 i 1971 na terenie ruin przeprowadzono badania archeologiczne lecz nie przyniosły one danych umożliwiających odtworzenie układu przestrzennego zamku. Do dziś zachowały się ślady suchej fosy oddzielającej cypel od reszty wzniesienia. Na północnym cyplu Góry Zamkowej ustawiono współcześnie trzy krzyże widoczne z miejscowości.

Grabowiec jest położony około 23 km na północny-wschód od Zamościa, przy lokalnej drodze do Hrubieszowa. Nikłe pozostałości ruin zamku znajdują się na wysokim cyplu, zwanym Górą Zamkową, na lewym brzegu rzeczki Kalinówki.

Zdjęcia wykonano w sierpniu 2017 roku.