翛然楼は、鴻山の祖父作左衛門の時代に建てられたものといわれ、鴻山はこれを「翛然楼」と名づけて書斎として使用していました。
「翛然」とは、「物事にとらわれず思いのままに進退する」という意味があります。中国明時代の文人、陳文燭の書斎「翛然亭」にあやかって名づけられたものと推測されます。
鴻山はここで、書画や読書に専念し、あるいは葛飾北斎をはじめ、訪れてくる文人墨客と語り合い、また佐久間象山ら幕末の志士たちと国事を論じたのです。
特に2階は秘密を守るため家族も近づけなかったと言われています。
高井家の隠家として200有余年前に建てられた「京間風」の建物でこの地方にはまれです。