合肥市图书馆起源于合肥县立中和图书馆，1958年正式建制，1968年并入市文化馆，1973年市图书馆回迁至徽州路134号（原美菱大道612号），1974年建馆舍大楼，建筑面积2010平方米， 1977年郭沫若先生欣然为合肥市图书馆题写馆名。

2003年合肥市图书馆新馆正式向社会开放，坐落在景区风景秀丽的琥珀潭畔，馆舍面积1.5万平方米。2011年起，合肥市图书馆在全省公共图书馆中率先实行免费开放，经过不断发展，逐渐从过去的以典籍文献的收藏、流通和利用为主体的服务，发展到以“人”为本，以现代手段为媒介，以“全民阅读活动”为平台，以文献为内容的多元化、立体化的综合文化服务。

截止2020年底，合肥市图书馆藏书图书210万册，本地数字资容量100TB,设有各类对外服务窗口10余个，特色典藏有地方文献、地方名人传记、地方老报纸老照片数据库和大型文化典籍《四库全书》和《续四库全书》等，还收藏了美籍华人贾成宽、石以明，德国侨胞周仲铮，香港石景宜以及作家鲁彦周、那沙和画家韦君琳、摄影家康诗纬等社会名人的赠书数万册，已初步形成具有本馆特色的藏书体系。

合肥市图书馆坚持全年365天对外开放，在坚持完善传统服务的基础上，不断增加服务资源、创新服务方式、拓展服务平台。通过设立46家分馆、建立合肥市公共图书馆联盟等措施，逐步完善全市公共图书馆的服务体系，打造公益均等、覆盖城乡的公共图书馆服务网络；通过以“悦读 ”为主题的街区自助图书馆、“快递到家”等新型服务方式，打通服务读者最后一公里；通过“梦想图书馆”、“夕阳红”公益培训、“趣味国学”系列讲座和“家庭古诗词大赛”等优质阅读推广活动，向全社会传播文明、推广阅读、推动建立书香社会。

2017年起，合肥市人民政府在全市范围启动城市阅读空间建设工作，通过现代信息技术和体制机制创新，构建市、区、街道、社区四级纵向贯通、横向互动的阅读服务体系和运营网络，形成15分钟阅读圈，合肥市图书馆承担图书的统一配送、定期更换和公共服务业务培训、绩效考核工作。合肥市图书馆搭建高效地配送平台、建立专业团队，较为出色地完成城市阅读空间的配送调拨、培训考核工作。

近年来，合肥市图书馆紧跟信息技术的发展，不仅打造了数字图书馆、手机图书馆、微图书馆等数字服务方式，同时通过硬件更新、软件升级等多种形式，实现远程访问、免押办证、扫码借阅、移动支付等多种便民措施，努力通过技术提升让合肥市图书馆的服务触手可及。

合肥市图书馆获得的荣誉称号有：“一级图书馆”、“全民阅读先进单位”、“全民阅读示范基地”、“安徽省文明单位”、安徽省阅读推广联盟“十佳图书馆”、“读者心目中的最美安徽公共图书馆”等。