霊巌寺は、弘法大師作と伝えられる観音菩薩を本尊として開創された禅刹である。境内地などに分布する奇岩群は、応永13年（1406）に明から帰国した出羽国の学僧、栄林禅師が座禅したことに由来する座禅岩をはじめ、男岩、仲人岩、小人岩、女岩、釣鐘岩、弘法岩、剣岩、猫岩、屏風岩などで構成される。これらは、安山岩質の集塊岩と凝灰岩が風雨により浸食される過程で特徴的な奇岩を形成したものと考えられている。