Thủa nhỏ ông học tiểu học ở Hội An và Huế. Năm 1922, ông học tại Trường Quốc học Huế. Năm 1926, ông học Trường Bưởi, Hà Nội. Ông đỗ tú tài 1929. Năm 1930, ông sang Pháp học Trường École Centrale (A) Paris và Trường Kỹ thuật Điện. Ông được cấp học bổng sang Anh học Trường Đại học Oxford. Năm 1934, ông về nước, làm việc ở Nhà máy Điện Huế (SIPEA), dạy học tại Thiên Hựu học đường và tích cực hoạt động trong phong trào Hướng đạo.
Sau Cách mạng tháng Tám, ông được Bác Hồ giao một số công tác ngoại giao và cử giữ chức Thứ trưởng (1947) rồi Bộ trưởng (1948) Bộ Quốc phòng; tham dự các hội nghị: Đà Lạt, Fontainebleau và Genève.
Sau hòa bình (1954), ông là Thứ trưởng Bộ Quốc phòng, Chánh Văn phòng Quân ủy Trung ương. Với cương vị Phó Chủ nhiệm kiêm Tổng Thư ký Ủy ban Khoa học kỹ thuật Nhà nước (1959 - 1965), ông đã điều hành mọi công việc của Ủy ban làm cho ngành khoa học kỹ thuật có những đóng góp đáng kể vào Kháng chiến chống Mỹ và phát triển kinh tế.
Ông là Hiệu trưởng Trường Đại học Bách khoa Hà Nội (1956 - 1961); Bộ trưởng đầu tiên của Bộ Đại học và trung học chuyên nghiệp (1965 - 1976), góp phần xây dựng mạng lưới các trường đại học và trung học chuyên nghiệp, định rõ chế độ thi tuyển, khuyến khích tài năng, chế độ gửi học sinh và nghiên cứu sinh ra học nước ngoài qua thi tuyển, đẩy mạnh nghiên cứu khoa học trong nhà trường, gắn nhà trường với cuộc sống, xây dựng chương trình đào tạo chính quy…
Ông đã viết một số giáo trình đại học và trên đại học, các sách, báo khoa học: "Vật lý cương yếu" (1945), "Nguyên tử hạt nhân", "Vũ trụ tuyến" (1948), "Cấu trúc của Buôcbaki" (1961), "Đại số các toán tử" (1961), "Nhiệt động lực học không thuận nghịch" (1971), "Các mức điều chỉnh trong lý thuyết hệ thống" (1981), "Viết thêm về các mức điều chỉnh trong lý thuyết hệ thống" (1985), "Về chiến lược con người, để có thêm tài năng mới" (1986), "Hạt cơ bản" (1987). Các công trình của ông được đánh giá là đã định hướng phát triển một số ngành khoa học cơ bản; chỉ đạo kỹ thuật việc rà phá bom mìn phong tỏa Vịnh Bắc Bộ, Hải Phòng và chỉ đạo những nhiệm vụ kỹ thuật quan trọng khác trong Kháng chiến chống Mỹ.
Ông là người tham gia sáng lập Hội Vật lý Việt Nam (1966). Ông là Đại biểu quốc hội từ khóa I đến khóa IV (1946 - 1981).
Ông đã được Nhà nước Việt Nam tặng thưởng: Huân chương Độc lập hạng Nhất, 2 Huân chương Kháng chiến hạng Nhất, Huân chương Chiến thắng hạng Nhất, Huân chương Chiến công hạng Nhất. Năm 1996, ông được Nhà nước Việt Nam truy tặng Giải thưởng Hồ Chí Minh (đợt 1) về khoa học công nghệ. Tại Thủ đô Hà Nội và TP. Hồ Chí Minh có đường phố mang tên ông. Trong Trường Đại học Bách khoa, một thư viện khá lớn đã được xây dựng mang tên Giáo sư Hiệu trưởng Tạ Quang Bửu.
Tên tuổi và những đóng góp của Giáo sư Tạ Quang Bửu sống mãi trong sự nghiệp xây dựng đất nước như một nhà khoa học xuất sắc, một vị Bộ trưởng tài ba, luôn gắn liền giữa học và hành.
Ngày 23-07-2010, Bộ Thông tin và Truyền thông phát hành bộ tem "Kỷ niệm 100 năm sinh Tạ Quang Bửu (23-07-1910 - 21-08-1996)" gồm 1 mẫu do họa sĩ Vũ Kim Liên thiết kế.
