Thư viện Quốc gia khánh thành vào cuối năm 1971 ở số 34 đường Gia Long (nay là Thư viện Tổng hợp số 69 Lý Tự Trọng). Thư viện có lối kiến trúc hiện đại pha đường nét Á Đông. Mặt tiền thư viện được trang trí lam gió bằng chữ Thọ xen kẽ phù điêu chim phụng ở góc tường; có hồ nước dọc hàng hiên trước khi lên tam cấp vào cửa chính, chung quanh trồng cây cảnh, tạo không gian trang nhã cho nơi lưu trữ hàng trăm ngàn tài liệu quý.
Vị trí này, vào thời Nguyễn là xưởng đúc tiền, rồi thành chợ Cây Da Còm. Theo Trương Vĩnh Ký, sở dĩ chợ có tên Cây Da Còm, vì chợ nhóm dưới gốc một cây da nhánh còm, lá gie khòm xuống mặt đất. Xưa, nơi đây chuyên bán trống, lọng, yên ngựa và mão tú tài. Sau đó, người Pháp dẹp bỏ chợ, để xây thành Khám Lớn (Maison Centrale). Ðến năm 1957, xây thành Ðại học Văn khoa. Sau khi, Ðại học Văn khoa chuyển về đường Cường Ðể (nay là Ðại học Khoa học Nhân văn), vị trí được bàn giao cho công trình Thư viện Quốc gia. Lễ đặt viên đá đầu tiên vào ngày 28/12/1968 dưới sự chủ toạ của Thủ tướng Trần Văn Hương. Xây dựng trong ba năm thì hoàn thành. Tổng thống Nguyễn Văn Thiệu đích thân cắt băng khánh thành vào ngày 23/12/1971.
Kiến trúc sư Bùi Quang Hạnh và Nguyễn Hữu Thiện đồng tác giả đồ án Thư viện Quốc gia cùng với sự cộng tác của cố vấn kỹ thuật, Kiến trúc sư Lê Văn Lắm. Kinh phí xây dựng lên đến 177 triệu đồng, phải dùng tới 100,000 công thợ, 500 tấn sắt và 27,000 bao xi măng. Công việc xây cất ròng rã trong 3 năm mới hoàn thành với diện tích 7070 m2 bao gồm hai khối:
– Khối thứ nhất là một dãy nhà dài 71m, ngang 23m, gồm một tầng hầm, một tầng trệt và hai lầu, một sân thượng.
– Khối thứ hai nằm ở trung tâm, hình vuông và vươn lên cao như một ngọn tháp với 14 tầng, cao 43m, chứa tài liệu sách báo.
Ðây là thư viện lớn nhất Việt Nam vào bấy giờ và cũng là một công trình sử dụng đá rửa và đá mài có diện tích lớn nhất trong các công trình hiện đại thời VNCH. Lúc này thư viện có 53 nhân viên phục vụ với khoảng 100,000 bản tài liệu.
Nhìn lại lịch sử, hệ thống thư viện hình thành sau khi Pháp chiếm thành Gia Ðịnh. Ðó là vào năm 1868, Phó Ðô đốc Ohier ký sắc lệnh thành lập Thư viện các Ðô đốc, Thống đốc Nam kỳ (hay Thư viện Soái phủ Nam kỳ). Ðến năm 1882, Thư viện đổi tên thành Thư viện Tài liệu Chính phủ Nam Kỳ thuộc Pháp (Bibliothèque de Documentation du Gouvement de la Cochinchine Francaise) và trở thành thư viện công cộng đầu tiên của Việt Nam. Năm 1902, Thư viện được tách ra thành một sở tự trị gọi là Thư viện Nam Kỳ Soái phủ (hay Thư viện Sài Gòn) trực thuộc Tòa Thượng thư đặt ở tầng một của Tòa Thư ký Chính phủ (số 27 đường Lagrandìere nay là đường Lý Tự Trọng). Năm 1909, ông Riffa là giám thư đầu tiên được bổ nhiệm chính thức điều hành thư viện.
Năm 1946, Thư viện Nam Kỳ Soái phủ dời sang số 34 đường Gia Long và được Pháp trao lại cho Chính phủ Lâm thời Việt Nam, đến năm 1949 được đổi tên là Thư viện Nam phần. Ở Sài Gòn có 3 thư viện công quyền gồm: Thư viện Nam phần; Tổng Thư viện với trụ sở tạm thời đặt trong trường Pétrus Ký (đường Trần Bình Trọng), trực thuộc Viện Ðại học Sài Gòn; Thư viện cho mượn và phòng đọc thiếu nhi tại 194D Pasteur, trước đây là bộ phận của Thư viện Nam phần.
Ngày 01-07-1957, theo công lệnh số 544/GD-CL của Bộ Giáo Dục, Tổng Thư viện trực thuộc Viện Ðại học Sài Gòn chuyển sang trực thuộc Bộ Quốc Gia Giáo Dục. Tiếp theo đó, ngày 04-08-1964, Nghị định số 1354/GD/PC/ND, Tổng Thư viện Sài Gòn trực thuộc Nha Văn Khố và Thư viện Quốc Gia; Thư viện Nam Phần chuyển sang trực thuộc Bộ Quốc Gia Giáo Dục.
Bộ Quốc Gia Giáo Dục tổ chức cuộc thi vẽ đồ án trụ sở Thư viện Quốc Gia đặt tại số 69 Gia Long (nay là 69 đường Lý Tự Trọng). Chính phủ tổ chức 4 kỳ xổ số đặc biệt để lấy kinh phí xây dựng Thư viện Quốc Gia. Trong năm 1955, công trình xây dựng Thư viện Quốc Gia được khởi công với sự chủ tọa của Tổng thống Ngô Ðình Diệm, nhưng dự án bị bỏ dở cho đến ngày 28-12-1968.
Mặc dầu thời Ðệ Nhị VNCH, Thư viện Quốc gia lúc đó được xem là một thư viện hiện đại, tuy nhiên nhìn chung, hệ thống thư viện công cộng chưa có kế hoạch phát triển chung và đầy đủ.
Trong bài viết của ông Lâm Vĩnh Thế, cựu Chủ tịch Thư viện Việt Nam (1974-1975) cho biết: “Ðặc tính rõ nét của giai đoạn nầy là việc phát triển hoàn toàn không theo một kế hoạch nào cả. Lý do chính là thiếu lãnh đạo; trong cả hai lãnh vực công và tư mà đại diện là Thư Viện Quốc Gia và Hội Thư Viện Việt Nam đều không có một chính sách cho việc phát triển thư viện của VNCH.
Hệ thống thư viện công cộng (public libraries) gần như không có tại miền Nam. Ngoài Thư Viện Quốc Gia ở số 34 đường Gia Long (gồm khoảng 70,000 cuốn sách và 620 nhan đề tạp chí) và Tổng Thư Viện trong khu vực trường Trung Học Pétrus Trương Vĩnh Ký (đây là Thư Viện Ðông Dương từ Hà Nội dọn vào trong cuộc di cư năm 1954 sau Hiệp Ðịnh Genève; sưu tập gồm khoảng 3,000 cuốn sách và 110 nhan đề tạp chí) tại thủ đô Sài Gòn tương đối có bề thế, tại các tỉnh và thị xã các thư viện công cộng rất nghèo nàn, phần đông chỉ đóng vai trò một phòng thông tin hay phòng đọc sách với một số lượng sách báo không đáng kể.
Giáo sư Nguyễn Ứng Long, tốt nghiệp Master of Library Science – MLS tại Ðại Học Peabody ở tiểu bang Tennessee (Hoa Kỳ) về sau được bổ nhiệm vào chức vụ Giám Ðốc Nha Văn Khố và Thư Viện Quốc Gia của VNCH vào năm 1970”.
Sau năm 1975, hầu như toàn bộ tài liệu, ấn phẩm báo chí, sách khảo cứu từ các Thư viện Abraham Lincoln trực thuộc Cơ quan Thông tin của Mỹ trên đường Mạc Ðĩnh Chi, Thư viện của Phái Bộ Văn Hoá Pháp cạnh nhà thương Ðồn Ðất và Thư viện của Hội Ðồng Minh Pháp Ngữ trên đường Gia Long được chuyển về Thư viện Quốc gia. Trước đây, những thư viện này lưu giữ rất nhiều tài liệu quý về chiến tranh Việt Nam và sách báo văn hoá Pháp, Mỹ. Với gần trăm ngàn đầu sách, báo chí miền Nam được bổ sung nên kho tài liệu hiện có của thư viện Khoa học Tổng hợp thành phố (sau 1975) càng thêm phong phú.
Hệ thống tài liệu của Thư viện Tổng hợp hiện nay được bổ sung rất nhiều đầu sách và tài liệu mới với hơn 500,000 đầu sách và 300,000 tựa báo, tạp chí các loại. Công việc bảo quản hàng chục ngàn tài liệu cũ đã có cách nay hơn trăm năm thu hút ngày nhiều độc giả trong nước cũng như nước ngoài đến tìm tài liệu tra cứu vì ở nhiều nước không có.
Ngoài tài liệu sách báo, tạp chí, tài liệu xưa in ở Ðông Dương cuối thế kỷ 19 đầu thế kỷ 20 rất đầy đủ cũng như các tài liệu xuất bản trong vùng tạm chiếm, những năm kháng chiến chống Pháp và giai đoạn quân đội Mỹ tham gia chiến tranh VN, còn có những cuốn in bằng chữ Nho và Pháp ngữ đã ngót nghét 300 năm cực kỳ giá trị vì là độc bản. Ngoài ra, còn có cả những sắc phong, hương ước, bản đồ, gia phả rất cũ xưa của các thư viện, bảo tàng, tổ chức xã hội, của người dân trên khắp mọi miền đất nước