Nông Văn Khang sinh năm 1937 trong một gia đình nghèo thuộc xã Đổng Xá, huyện Na Rì, tỉnh Bắc Cạn.Ông là người dân tộc Tày. Năm 1953, ông vào Đoàn văn công liên khu Việt Bắc. Năm 1963, ông được đi học tại Trường Âm nhạc Việt Nam.

Ông được phong tặng danh hiệu NSƯT năm 1993.