昭和４４年 （１９６９年） に新築された倉敷公民館の建物の３階に、隣接の倉敷市立図書館の附属施設として新設されました。地方都市がこのような音楽の専門施設の設置するのは画期的なことであり、全国から大変注目を浴びました。なお、故大原総一郎氏は、設立の発案者でもあり、多額の寄付金と所蔵する多数のレコードを提供されるなどして、設立に向けて多大な力を注がれました。
　その後、倉敷市は５か年計画で資料の補充整備に努める一方、一般市民も数多くのレコードや音楽図書を持ち寄り、名実共に全国に誇れる内容のある施設に育てて行きました。

　昭和５８年 （１９８３年） 、倉敷市中央図書館の新設・移転に伴い倉敷公民館の管理下になり、音楽の講座も増えました。そして、ＣＤやＬＤ （レーザー・ディスク） や、レーザー・レコード・プレヤーなど新しいメディアの導入等に努め、より幅広い方々に利用していただけるようになりました。

　平成１４年 （２００２年） 、利用者が，音楽図書室とくらしき作陽大学附属図書館が所蔵する資料を併せて利用できるよう相互利用協定を結びました。これにより音楽図書室で、簡単にくらしき作陽大学附属図書館の資料検索や利用手続ができるようになりました。また、時代の急激な進歩に即応して、ＤＶＤやスーパーＣＤなどの最新のメディアを導入し、よりきれいな音や画像も楽しんでいただけるようになりました。

　　現在、クラシックに限らず、いろいろなジャンルにわたるＳＰ、ＬＰ、ＣＤ、ＬＤ、ＤＶＤ、テープ、楽譜、書籍の利用ができ、憩いの場、生涯学習の場、音楽の研究の場として親しまれております。観光客を含め市外の方々にも利用していただいております。