Trae origine dall'archivio diplomatico, costituito a partire dal 1803, presso il palazzo del governo, a cura di L. Bossi, prefetto generale degli archivi, con la raccolta delle pergamene tratte dagli archivi confluiti nell' Archivio generale del fondo di religione . L'opera di raccolta e sistemazione delle pergamene continuò durante il regno d'Italia, nella nuova e più idonea sede dell'Archivio nazionale, diretto da M. Daverio. Dopo il 1815 l'archivio diplomatico fu separato dall'Archivio governativo (nuova denominazione dell'Archivio nazionale), ebbe una sede distinta e il lavoro di ordinamento vi fu continuato secondo i dettami della scuola cistercense.
Tornato all'Archivio governativo, Luigi Osio diede inizio alla costituzione di una sezione storico-diplomatica di cui l'archivio diplomatico era la parte più preziosa, e vi affiancò la scuola di archivistica, paleografia e diplomatica. Nella sezione furono anche concentrate pergamene provenienti dai fondi dell'archivio governativo camerale, da quelli dell'archivio giudiziario e dell'archivio della plenipotenza imperiale in Italia. In particolare le serie della sezione storico-diplomatica furono costituite come segue.
Dall'archivio diplomatico furono tratte le serie: Bolle e brevi, Diplomi reali, imperiali e ducali, Miniature.
Dall'archivio visconteo-sforzesco furono tratte le serie: Corrispondenza diplomatica dei duchi di Milano, Atti del consiglio segreto, delle segreterie ducali e cancellerie segrete, Corrispondenza dei referendari del ducato, Trattati fino al 1535, Registri delle missive, Gride e gridari, sigilli.
Dai carteggi delle cancellerie dello Stato, posteriori al 1535, furono tratte le serie: Corrispondenza diplomatica dei vari governi succedutisi nello Stato di Milano, facendo seguire ad essi i carteggi della presidenza Melzi, quelli della seconda divisione del ministero degli esteri del regno italico e infine quelli della commissione imperiale Bellegarde.
Dall'archivio del senato fu tratta la serie delle Interinazioni.
Con documenti tratti da tutti i fondi dell'archivio governativo-camerale furono costituite le altre serie: Araldica, Dispacci sovrani da Carlo V in avanti, Famiglie dei regnanti, Feudi camerali, Feudi imperiali e, infine, Autografi.
Senonché, nell'ultimo periodo del sec. XIX, la sezione storico-diplomatica subì la prima defalcazione a vantaggio del fondo peroniano Atti di governo , nelle cui voci passarono le serie Araldica, Feudi camerali e Feudi imperiali. Subì una più forte riduzione dal primo al secondo decennio del sec. XX, in virtù della opera di ricostituzione dei fondi intrapresa dal Fumi. In particolare furono ricostituiti come già detto, i fondi dell'archivio visconteo-sforzesco e, col riordinamento dell'archivio del senato, fu ricondotta ad esso la serie delle Interinazioni.
Dopo il 1920 furono stralciati dalla sezione storico-diplomatica gli archivi della cosiddetta Presidenza Melzi e della seconda divisione del ministero degli esteri del regno d'Italia, per ricomporre ad opera del Vittani, insieme agli archivi restituiti dalla Austria, i fondi del periodo napoleonico. In seguito alla ricostituzione dei fondi dell'archivio ducale spagnolo, effettuata tra il 1946 e il 1954, è stata ricondotta a questo archivio la serie Documenti diplomatici, appunto del periodo spagnolo, e ultimamente i Registri del Panigarola sono stati ricongiunti al ricostituito archivio del governatore degli statuti. Infine il gruppo dei Documenti statistici, già inseriti nella Miscellanea della sezione storico-diplomatica, sono stati ricondotti all'archivio sforzesco.
Attualmente il Diplomatico (o sezione storico-diplomatica), che consta di circa 130.000 pergamene, comprende pertanto solo quelle collezioni che parve meno dannoso lasciar sussistere. La più importante mantiene la denominazione di Archivio diplomatico, che secondo la sistemazione data dal Vittani è così articolato: Museo diplomatico, Diplomi e dispacci sovrani, Bolle e brevi, Pergamene per fondi, Appendice. Vi sono poi altre pergamene raggruppate in raccolte o collezioni così denominate: Autografi, Comuni, Famiglie, Miniature e cimeli, Sigilli, Statuti, Miscellanea storica