祁姓发源于祁地，当时的祁地，几乎包括整个晋中平川。晋顷公十二年(前五一四年)，祁奚之孙祁盈因罪被杀，食邑亦被没收，此后祁姓子孙散居晋地。

晋悼公时任中军尉，后因年老请退，初荐其仇人解孤代己，因解孤未及赴任而卒，又荐己子祁午以代，孔子赞其：“外举不避仇，内举不避亲，可谓尚公矣。”晋平公即位后，被任为公族大夫。本为姬姓，晋平公一年（前五五六年）食采于祁，遂以地为氏改姓祁。