Die Zusammenfassung jenes Schriftguts, das bei den Zentralbehörden für innere Verwaltung in der Habsburgermonarchie (österreichische Abteilung der Reichshofkanzlei, ab 1620: Österreichische Hofkanzlei, Böhmische Hofkanzlei) angefallen war, erfolgte erstmals 1749 im Zuge der Schaffung des „Directorium in publicis et cameralibus“ (ab 1762: Vereinigte Böhmisch-Österreichische Hofkanzlei).
Das so entstandene Direktorial- bzw. Hofkanzleiarchiv hatte im Wesentlichen das Behördenschriftgut bis zum Stichjahr 1748 aufzunehmen.
Als Annex der „Alten Registratur“, die ihrerseits das Behördenschriftgut der Zeit von 1748 bis 1792 betreute, fristete das „Archiv“ ein trostloses Schattendasein. In der 1. Hälfte des 19. Jahrhunderts, als „Alte Registratur“ und „Archiv“ zusammenwuchsen, wurde der Aktenbestand zudem durch rigorose Skartierungen und großzügige Abtretungen an das Haus-, Hof- und Staatsarchiv oder die Nationalbibliothek erheblich gelichtet.
Mit der Auflösung der Hofkanzlei in mehrere Fachministerien im Jahre 1848 verlor die Registratur notwendigerweise verschiedene Schriftgutkörper an die neuen Behörden. Das Hofkanzleiarchiv wurde zum „Allgemeinen Archiv des Ministeriums des Innern“.
Bedeutende Historiker-Direktoren wie August Fournier (1878–1883), Thomas Fellner (1883–1904) oder Heinrich Kretschmayr (1904–1925) sicherten dem Archiv einen besonders prominenten Platz, auch innerhalb der österreichischen Historiographie der Jahrhundertwende. Das gewaltige Publikationsunternehmen „Österreichische Zentralverwaltung“ (1907 ff.) etwa wurde von Fellner und Kretschmayr begonnen und von ihren Nachfolgern fortgeführt.
Die Archivbestände erhielten in der 2. Hälfte des 19. Jahrhunderts wertvollen Zuwachs durch die jüngeren Teile der Hofkanzleiregistratur (1828–1848) und das Archiv der Polizeihofstelle (1782–1848).
Die Direktion und ein Großteil der Bestände waren in Kellerlokalen der ehemaligen Böhmisch-Österreichischen Hofkanzlei (Innenministerium) am Judenplatz untergebracht (heute Sitz des Verfassungs- und Verwaltungsgerichtshofes).
Nach dem Ende der Monarchie 1918 begannen in der österreichischen Archivlandschaft Zentralisierungsbemühungen zu greifen. Zentrum und Motor derselben war nicht zuletzt das Archiv des Ministeriums des Innern mit Heinrich Kretschmayr an der Spitze.
Mit der Inkorporierung des erst 1896 im Justizministerium gegründeten „Justizarchivs“ (Gesetzgebungskommissionen der maria-theresianischen Zeit und Vorbereitung des Allgemeinen Bürgerlichen Gesetzbuches, Oberste Justizstelle 1749–1848) änderte das Archiv des Ministeriums des Innern seinen Namen 1921 in „Staatsarchiv des Innern und der Justiz“.
Ausgerechnet die glückliche Lösung der beklemmendsten Raumnot wurde dem Staatsarchiv des Innern und der Justiz zum Verhängnis. Die schließlich im Justizpalast am Schmerlingplatz zusammengeführten Bestände wurden während des Justizpalastbrandes am 15. Juli 1927 zu etwa 75 Prozent vernichtet, ein erheblicher Teil konnte nur schwer beschädigt gerettet werden („Brandakten“). Allein der Kernbestand „Hofkanzlei“ verringerte sich von etwa 18.000 archivalischen Einheiten auf 2.200 Kartons.
Dem dramatischen Substanzverlust stand der Zugewinn des Schriftguts des Ackerbauministeriums und des Ministeriums für öffentliche Arbeiten gegenüber. 1934 kam das Parteiarchiv der verbotenen Sozialdemokratischen Partei an das Staatsarchiv.
Das Glanzstück der neu hinzugekommenen Bestände aber bildete das 1933 eingegliederte, bis dahin selbständige „Adelsarchiv“ mit den Konzepten der Adelsstandsdiplome, Wappenverleihungen und anderer herrscherlicher Gnadenakte seit dem 16. Jahrhundert.
Erst 1938 erhielt das Staatsarchiv des Innern und der Justiz – längere Zeit mit dem Kriegsarchiv unter einem Dach in der Wiener Stiftkaserne untergebracht – wieder ein festes Quartier, nämlich das Palais Pálffy in Wien I, Wallnerstraße 6-6a, das bis zu diesem Zeitpunkt eine Bank beherbergt hatte.
Hier richtete ein Bombentreffer im September 1944 schwere Schäden an Gebäude und Archivalien (vor allem im Bestand Handelsministerium) an, soweit letztere noch nicht ausgelagert worden waren.
1940 war das Staatsarchiv des Innern und der Justiz, dem nach dem „Anschluß“ 1938 die Registraturen der liquidierten Obersten Organe und Zentralstellen der Republik Österreich und neuerlich zahlreiche Parteiarchive (Christlichsoziale Partei, Großdeutsche Volkspartei, Landbund) zufielen, in das Reichsarchiv Wien integriert worden.
1945 wurde das Staatsarchiv des Innern und der Justiz nach Vereinigung mit dem bis dahin selbständigen, mit der Bibliothek des Unterrichtsministeriums zusammengefassten „Unterrichtsarchiv“ (gegründet 1896) in „Allgemeines Verwaltungsarchiv“ umbenannt und als solches Teil des an die Stelle des Reichsarchivs Wien tretenden Österreichischen Staatsarchivs.
Das Allgemeine Verwaltungsarchiv hatte nach 1945 weiterhin laufend das archivwürdige Schriftgut aller Zentralstellen des Bundes (ausgenommen Außen- und Landesverteidigungsministerium) zu übernehmen.
1983 ging diese Aufgabe an das neu gegründete Archiv der Republik über, an das auch die jüngeren Teile der Behördenregistraturen ab 1918 abgegeben wurden. Nur in den Bestandsgruppen „Unterricht“ und „Justiz“ sind 1940 bzw. 1945 die Grenzjahre. Die Bestände des aufgelösten Verkehrsarchivs (1897 als „Eisenbahnarchiv“ gegründet) wurden zwischen Allgemeinem Verwaltungsarchiv und Archiv der Republik geteilt.
1988–1989 übersiedelte das Allgemeine Verwaltungsarchiv aus der Wiener Innenstadt in das neu errichtete Zentralarchivgebäude in Wien III.