Murowany zamek w Miłakowie został zbudowany przez Krzyżaków w I połowie XIV wieku w północno-zachodnim narożniku starówki, na brzegu doliny Miłakówki, powyżej młyna wodnego. Warownia była siedzibą komornika krzyżackiego, który podlegał komturstwu elbląskiemu.

Było to prawdopodobnie regularne, trójskrzydłowe założenie z dwiema wieżami. Pięciokondygnacyjna, nakryta stromym dachem wieża główna wzniesiona była na planie kwadratu, w północno-zachodnim narożniku. Brama wjazdowa na dziedziniec znajdowała się w kurtynie wschodniej.

Pierwsza pisana wzmianka o krzyżackim zamku w Miłakowie pochodzi z roku 1354. Zniszczony został przez wojska polskie w 1414 roku, następnie przez Szwedów w 1659 roku oraz wojska Napoleona w 1807 roku, nie został odbudowany i popadł w ruinę. Do dzisiaj zachowały się jeszcze tylko resztki fundamentu północno-zachodniej wieży zamku, oraz resztki murów przyziemia. 

Miłakowo jest położone około 13 km na południe od Ornety, przy drodze nr 528 do Morąga. Zamek stał naprzeciwko kościoła, dokładnie w tym miejscu, gdzie teraz stoi piekarnia.  Nikłe resztki fundamentów znajdują się na skarpie za piekarnią.

Zdjęcia wykonano we wrześniu 2015 roku.