История Библиотеки № 4 имени Е.А. Фурцевой тесно переплетается с историей Библиотеки № 247 имени Н.К. Крупской ГБУК г. Москвы "ОКЦ ЦАО", одной из старейших библиотек Москвы. Их объединяет имя советского государственного, партийного, общественного и культурного деятеля Надежды Константиновны Крупской (1869–1939), которое Библиотека № 4 имени Е.А. Фурцевой носила до 2005.
Известно, что уже во время Великой Отечественной войны 1941–1945 годов произошло разделение фондов на взрослый и детский, а в 1956 году часть фонда этой библиотеки перевезли в здание на Фрунзенской набережной. Так здесь появилась новая библиотека для взрослых.
В 2005 году Правительством Москвы было принято решение увековечить память Екатерины Алексеевны Фурцевой, министра культуры СССР с 1960 до 1974 года и библиотеке было присвоено ее имя. В библиотеку были переданы документы, личные вещи и фотографии Фурцевой, которые стали основой мемориальной коллекции библиотеки. По экспозиции коллекции проводятся экскурсии для всех желающих.
В настоящее время Библиотека № 4 имени Е.А. Фурцевой является одной из крупнейших библиотек района Хамовники, располагаясь в Доме Совета министров, над которым работали известные советские архитекторы Евгений Стамо и Яков Белопольский. Сегодня можно с уверенностью сказать, что имя Фурцевой и классическая сталинская архитектура гармонично совпали. Книжный фонд библиотеки насчитывает более 18 тысяч книг различной тематики: художественная литература, литература по искусству, языкознанию и литературоведению, а также многочисленные справочные и учебные пособия, современные нон-фикшн издания. С 2015 года фонд стал комплектоваться детской литературой, а с 2020 года литературой по истории костюма, прочно закрепив за библиотекой модное направление.