桂阳县图书馆建立于1981年3月，是由县委县政府批准成立的公益性全额拨款事业单位。现有编制数10个，在职人数8人。专业技术职称7人，技术工人1人。具体情况是：副高职称1人，中级职称2人，初级职称4人，技术工人1人；本科学历3人，大专学历4人，中专学历1人。单位现有办公室、综合外借室、成人阅览室、文化共享工程桂阳支中心暨电子阅览室、少儿阅览室、休闲读书吧、红色阅览室、视障阅览室、多媒体室、采编室、过刊书库等部门。其中综合外借室、成人阅览室、文化共享工程桂阳支中心暨电子阅览室、少儿阅览室、休闲读书吧、红色阅览室、视障阅览室7个是对外服务窗口。现总藏量198045册。

 桂阳县图书馆自2011年就实行了免费开放，图书馆免费开放主要包括：1、综合外借室、成人阅览室、少儿阅览室、电子阅览室、多媒体室、休闲读书吧、红色阅览室、视障阅览室等公共空间设施场地免费开放。2、文献资源借阅、检索与咨询、公益性讲座和展览、基层辅导、流动服务等基本文化服务项目健全并免费提供。 3、取消公共图书馆办证费、验证费、电子阅览室上网费、存包费等。实施免费开放以来，在基础设施建设方面，整修了服务场馆，增加了服务面积，改善了借阅环境；在读者服务方面，开展了主题鲜明、形式多样的读书活动、阅读推广活动及服务宣传活动。设立了馆外图书服务点，坚持送书下乡、送书进校园、进企业、进警营、进社区。在县城人口密集、读者需求量大的路段设立了3个“24小时自助图书馆”。以图书馆为中心，涵盖各乡镇文化站图书室的总分馆制不断完善。桂阳县图书馆为打造书香桂阳，推动全民阅读，创建省级公共文化服务体系示范区发挥了重要的作用。