「魚楽園」という名は、江戸時代の漢学者村上佛山氏が、中国の詩経の大雅篇の一文から引用して命名したとされる。奥座敷と北側の自然林との間に造られた庭園で、背後の山を借景とし、中心においた池には亀島を思わせる中島を配するとともに、石橋を3ヶ所架ける。谷奥から引いた渓流から滝を落として池に水を引き入れ、池の周りには古木をはじめとし木々が配される。雪舟による作庭とされる。