3 Nisan 1962'de Yozgat Devecipınar'da doğdu. Babasının adı Eşref, annesinin adı Emine'dir. İstanbul Teknik Üniversitesi Elektrik-Elektronik Fakültesi Elektrik Mühendisliği Bölümü'nü bitirdi.
Kayseri Elektrik Üretim Şirketi'nin Yönetim Kurulu Üyesi, Kayseri ve Civarı Elektrik TAŞ'nin Yönetim Kurulu Üyesi ve Genel Müdürü olarak görev yaptı. 22. Dönem AK Parti Kayseri Milletvekili'dir.
ENERJİ VE TABİİ KAYNAKLAR BAKANI
01 Mayıs 2009 günü Başbakan tarafından açıklanan yeni kabinede Enerji ve Tabii Kaynaklar Bakanı olarak yer aldı. 6 Temmuz 2011 günü Başbakan Recep Tayyip Erdoğan tarafından açıklanan 61. Hükümette Enerji ve Tabii Kaynaklar Bakanı olarak görev aldı.
İyi düzeyde İngilizce bilen Yıldız, evli ve 4 çocuk babasıdır.