Музей был основан в 1862 году. В 1950 году музей был разделен на два, когда коллекция современного искусства была перенесена в Музей де Халлен (с 2018 года называется Hal). Основная коллекция, в том числе ее знаменитые картины Франса Хальса 17-го века, в честь которых назван музей, находится в бывшей Оуде Манненхейс в Грут Хейлигланд.
Музей был основан в 1862 году в недавно отреставрированных бывших доминиканских церковных монастырях, расположенных в задней части ратуши Гарлема, известной как Принсенхоф, и, когда ему понадобилось больше места, в 1913 году он переехал в недавно освобожденное место городского приюта. Коллекция основана на большом количестве картин, принадлежащих городу Харлем, который включает в себя более 100 произведений искусства, изъятых из католических церквей в 1580-х годах после протестантской реформации, и искусство Харлема, спасенное из разрушенных местных зданий с 15-го века.
В 2018 году музей вновь объединился с Музеем де Халлен, чтобы сформировать единый музей под названием Музей Франса Хальса с двумя местами расположения: Хоф (расположенный в Гроот-Хайлигланд) и Хэл (расположенный на Гроте-Маркт).
Самые старые экспонаты музейной коллекции, состоящие в основном из религиозных тем, являются реликвиями Харлема периода Реформации, когда все римско-католическое искусство было официально захвачено городским советом в 1648 году. Первые признаки официального музея произошли, когда Голландское научное общество, основанное в 1752 году, в 1754 году начало арендовать зал Принсенхофа в мэрии для своих собраний и стало оформлять его как Кабинет раритетов. Из инвентарного списка в городских архивах видно, что они использовали в качестве модели для своей системы наименования и представления книги Амбона Эберхарда Румфиуса «Amboinsche Rariteitkamer». Они делили комнату с Синодом голландской реформатской церкви, которая использовала его один раз в шесть лет для своих собраний. Они наняли женщину для присыпки и подачи чая, а в 1768 году они наняли куратора, который отвечал за всю коллекцию и медицинский сад Хортус во дворе.
Просторная комната вскоре оказалась слишком маленькой для количества пожертвованных артефактов, благодаря увеличению судоходства и связанных с этим поездок. В конце 18-го и начале 19-го века, Харлем стал спальным районом Амстердама, и многие богатые банкиры стали членами молодого Общества. Старые картины стали просто красочным фоном для сундуков, наполненных чучелами животных и готовыми образцами. В 1777 году Общество перенесло свою переполненную коллекцию в отремонтированный дом на улице Гроте. Это здание, расположенное рядом с меннонитской церковью, было выкуплено у меннонитского банкира Питера Тейлора ван дер Хюлста, который не был членом Общества, но создал свое собственное художественное общество и последующее завещание которого послужит основой для музея Тейлора. где ван Марум тоже станет куратором.
Этот шаг существенно расколол коллекцию, и половина естествознания в настоящее время находится в коллекции музея Тейлора. Хотя картины и сад остались в мэрии, через 40 лет после того, как Карл Линней опубликовал свою Систему природы, никто не интересовался садом (который был создан как живая версия этой книги), и еще меньше людей интересовались религиозное искусство. Ратуша рассматривалась как склад крупных экспонатов исторического значения, и следующая большая группа картин, присоединившихся к коллекции, произошла, когда Наполеон распустил гильдии в Нидерландах в 1794 году. Имущество гильдий было возвращено государству. Без официального куратора коллекцию картин можно было увидеть только по предварительной договоренности с городским клерком, эта ситуация сохранилась до наших дней, для больших полотен, все еще находящихся там.
В середине 19-го века задним монастырям был предоставлен дополнительный этаж для дополнительного выставочного пространства, и именно в это время музей открыл свои двери для публики через отдельный вход, чем главный вход в здание муниципалитета. В то время произведения современного искусства не покупались, и решение о создании музея состояло в том, чтобы обслуживать посетителей других музеев Гарлема.
Помимо нескольких работ Галса и других произведений искусства, изначально принадлежавших коллекциям многих бывших гильдий, монастырей и церквей Гарлема, в коллекцию из более 750 произведений также входят предметы, относящиеся к Гарлему, которые были приобретены местными пожертвованиями и покупками. Музей специализируется на реставрации и исследованиях произведений художников Гарлема 17-го века. В конце 19-го века музей стал местом паломничества для молодых импрессионистов, которые были очарованы рыхлой кистью, видимой на двух групповых портретах регентов Халса, которые он нарисовал, когда ему было за восемьдесят. Это является причиной того, что после переезда в нынешнее место в 1913 году музей получил имя Франса Хальса, поскольку в то время они считались наиболее выдающимися картинами коллекции. Музей до сих пор известен групповыми портретами Галса, но поскольку групповые портреты из военных гильдий были очищены в начале 20-го века. Большинство предметов и картин не могут быть выставлены из-за нехватки места, и музей вращает свою коллекцию посредством выставок в различных местах в Гарлеме, хотя работы некоторых выдающихся художников не могут быть сданы в аренду и остаются на хранении.
Несколько величественных комнат, спасенных от разрушенных домов в Гарлеме, были частично реконструированы, и коллекцию серебра Харлема, сохраненную в различных поместных церквях, можно увидеть в бывших комнатах для прихожан богадельни, которые теперь кажутся намного более грандиозными, чем они были первоначально. Окна украшены произведениями искусства анонимных художников из Гарлема, большинство из которых было приобретено в результате работ по сносу домов в муниципалитете. Вдоль коридоров выложены прекрасные голландские изразцы местных спасательных работ, которые были установлены вдоль стен в сопровождении мебели 17-го века, включая часы, стулья и сундуки.