源于芈姓，出自远古黄帝的臣子伍胥，属于以先祖名字为氏。黄帝为部落首领时，有大臣名伍胥。伍胥就是楚国望族的伍氏始祖，传至春秋时候，楚庄王有个谋臣叫伍参，传说便是伍胥的后裔。此后，伍参的后裔子孙遂以先祖名字为姓氏，其后裔世代称伍氏至今，史称伍氏正宗。

伍姓著名郡望有安定郡、武陵郡、堂邑郡、椒邑郡等；主要的堂号有安定堂：以望立堂、武陵堂：以望立堂、另外，还有孝友堂、恩远堂、肇基堂、忳取堂、树德堂、敦叙堂等。