Taner Yıldız, 3 Nisan 1962 tarihinde Yozgat'ın Boğazlıyan İlçesi’ne bağlı Devecipınar Kasabası'nda doğdu. Emekli Havacı Astsubay olan babasının adı Eşref, annesinin adı ise Emine'dir.
Babasının mesleğinden ötürü 10 yıl Balıkesir'de ikamet etmiştir.
Yıldız Kayseri Lisesi'nden mezun olduktan sonra İstanbul Teknik Üniversitesi Elektrik-Elektronik Fakültesi Elektrik Mühendisliği Bölümü'nde lisansını tamamladı.
Gençlik ve lise yıllarında Millî Türk Talebe Birliği üyesi oldu. Okul çıkışları ve hafta sonları Necip Fazıl Kısakürek’in ‘Büyük Doğu’ dergisini sık sık ziyaret ederdi. 1979-1982 yılları arasında üç yıl kadar Kısakürek'in çaycılığını yaptı.
Yıldız, Kayseri Elektrik Üretim Şirketi'nin Yönetim Kurulu Üyesi, Kayseri ve Civarı Elektrik TAŞ'ın Yönetim Kurulu Üyesi ve Genel Müdürlüğü gibi görevleri üstlendi.
2002 genel seçimlerinde AK Parti'den aday oldu ve Kayseri milletvekili olarak 22. Dönem' de TBMM'ye girdi. Başbakan Erdoğan'a enerji konusunda danışmanlık yaptı.
60. Hükümet'te gerçekleşen kabine değişikliği sonucu 1 Mayıs 2009'da Enerji ve Tabii Kaynaklar Bakanlığı görevine getirildi.
1 Aralık 2009 tarihinde hükümetin nükleer santral projesine karşı yapılan eylemlerde yer alan Greenpeace'in Akdeniz ofisine ziyaret gerçekleştirdi. Yıldız, Greenpeace Türkiye Ofisi'ni ziyaret eden ilk bakan olarak tarihe geçti.
Yıldız, 61. 62 ve 63. Hükümet'te de Enerji ve Tabii Kaynaklar Bakanlığı görevini devam ettirdi.
Selma Yıldız'la evli olan Taner Yıldız, 4 çocuk babasıdır.