C’est en 1694 que l’abbé Jean-Baptiste Boisot (1638 – 1694), commanditaire de l’abbayeMonastère dirigé par un abbé ou une abbesse. More de Saint-Vincent, lègue à celle-ci un ensemble important de livres, manuscrits, peintures, sculptures, « médailles » et autres objets de curiosité. Il exige que cette collection soit regroupée en un lieu unique et présentée deux fois par semaine au public. Il est même prévu un budget réservé à de nouvelles acquisitions pour compléter les séries.
Ces dispositions novatrices dictées par l’abbé Boisot font que ces collections peuvent être considérées comme premières collections publiques alliant la vocation de bibliothèque à celle de musée. Sous la Révolution, alors que naissent en France des musées ouverts au public, les collections sont entassées dans l’École centrale, ancien collège des Jésuites, puis dirigées sur l’actuelle bibliothèque municipale. En cette période de troubles et de destruction, Besançon n’est pas retenue comme ville destinataire des envois de l’État. Ce n’est qu’un demi-siècle plus tard, en décembre 1843, que le nouveau musée est officiellement inauguré au premier étage de la halle aux blés construite à partir de 1835 par l’architecte Pierre Marnotte (1797 – 1882). Au cours du XIXe siècle, il s’étendra à la totalité du bâtiment. La richesse du musée provient essentiellement des legs de collectionneurs comme : Pierre-Adrien Paris (1745 – 1819), ancien architecte du roi ; François-Xavier Donzelot (1764 – 1843), qui lègue une série de peintures napolitaines du XVIIe siècle ; Jean-Louis-Eugène Willemot, en 1889, qui lègue près de mille céramiques ainsi que des peintures ; Jean Giroux (1806 – 1894), peintre, qui laisse près de cinq cents peintures et trois mille dessins ; Alphonse DelacroixNé en 1798, il appartient pleinement à la génération romantique de la première moitié du XIXe siècle. Il est rapidement reconnu comme le chef de l'Ecole romantique En 1830, il réalise la fameuse Liberté guidant le Peuple, synthèse de sa conception des couleurs et du mouvement. Ses opinions..., qui propose la création d’un musée d’archéologieScience des vestiges anciens, des traces matérielles laissées par le passé, que l'on retrouve notamment en procédant à des fouilles. L'archéologie n'est pas réservée à l'Antiquité. Des fouilles permettent de retrouver des traces de toutes les époques, y compris de l'histoire contemporaine... au rez-de-chaussée. Il souhaite y présenter les antiquités locales, les dons et les antiquités méditerranéennes et nordiques, cela dans un contexte d’urbanisation, de prospections archéologiques et d’intérêt militant pour l’Antiquité de la part de personnalités locales. Après la première guerre mondiale, un travail d’inventaire et de présentation est conduit. Le musée connaît une phase de restructuration à l’occasion de la donation Georges et Adèle-Besson. Georges Besson, critique d’art, originaire du Jura (Saint-Claude), offre sa collection à l’État et exige qu’un dépôt soit fait à Besançon, permettant au musée de s’enrichir d’œuvres du début du XXe siècle. En 1965, l’architecte Louis Miquel (1913-1996), disciple de Le Corbusier et ami de Besson, construit dans la cour centrale une structure en béton brut de décoffrage, faite de rampes et de paliers successifs. L’ouvrage, promenade architecturale et artistique, est salué comme exemplaire lors du colloque mondial d’architecture à Mexico (1968).