飫肥城下町建於天正16年（1588年），由平定九州有功的伊東祐兵整治而成，並獲得豐臣秀吉的賞賜，成為飫肥藩伊東家5萬1千石的城市，直到廢藩置縣為止，繁榮了280年。這裡保留了飫肥城跡、武家房宅和古老倉庫，被譽為九州第一個指定的重要傳統建造物群保存地區，並獲得“九州小京都”的美譽。

整個城下町有許多值得探索的亮點，包括昭和53年（1978年）重新修復的飫肥城大手門、能了解伊東家歷史的飫肥城歷史資料館，以及伊東家居住房邸的豫章館等。

此外，飫肥還是明治時代外交官小村壽太郎的出生地。小村紀念館展示了與小村壽太郎相關的資料，他的出生房宅也是值得參觀的場所。這些館場均為付費設施，若想一同參觀，建議購買聯合通票。

當地知名美食包括獨特的煎蛋「厚燒玉子」和口感如薩摩揚般的「飫肥天婦羅」。此外，還有可以使用的「邊走邊吃地圖」，這是一種付費的散步地圖，可以領取各種在地美食和商品。在飫肥杉建造的商家資料館，以及保留過往風貌的商人町通，都是必逛的景點，讓人感受到濃厚的歷史氛圍與文化魅力。