К концу войны в 1945 году знаменитые Прусские музеи в Берлине лежали в руинах. В этой ситуации берлинский магистрат, по-прежнему отвечавший за город в целом, уже в ноябре 1945-го принял решение учредить собственную коллекцию, которая с 1948 года носила официальное название «Галерея XX века». Как отдельное учреждение она просуществовала в Западном Берлине до 1968-го, а затем влилась в созданный тогда же Фонд прусского культурного наследия. Тот факт, что во всемирно известном здании Новой национальной галереи власти Западного Берлина изначально хотели разместить Галерею XX века, давно забыт, как и само существование отдельной городской коллекции. Теперь ее история впервые исследована в книге Кристины Томсон и Петры Винтер.
Изначально галерея должна была стать «музеем живого искусства», дабы установить «органичную связь с актуальными течениями». Идеальным кандидатом на пост ее главы стал директор отдела изобразительных искусств магистрата Адольф Яннаш (1898–1984). Еще с 1919 года директор Национальной галереи Людвиг Юсти (1876–1957) собирал ее коллекцию во Дворце кронпринцев — одном из первых в мире музеев, посвященных только современному искусству. Начиная с 1946 года Юсти работал над возрождением Национальной галереи, откуда нацисты изъяли более 500 работ, а Яннаш занялся комплектованием нового собрания. Из-за ограниченности ресурсов он сосредоточился на актуальных художниках, живших тогда в Берлине. Едва галерея открылась, как случившееся в том же 1948 году политическое разделение Берлина разорвало ее надвое. Некоторые работы из Галереи XX века приняла Национальная галерея на востоке города. На западе в начале 1960-х возникла собственная Национальная галерея. К договоренности там пришли лишь в 1967 году. Западная Национальная галерея получила 350 картин и скульптур из Галереи XX века. При этом ее директор Вернер Хафтман сожалел по поводу «злодейского разорения» коллекции. Он считал, что восполнить утраты, понесенные в период нацизма, «можно будет лишь спустя долгое время». На церемонии открытия Новой национальной галереи 15 сентября 1968 года он признал, что Галерея XX века и Национальная галерея всегда шли к слиянию, «ибо обе они ориентировались на один образец для подражания — бывшую коллекцию Дворца кронпринцев».