起源一：芈姓，春秋楚国公族“芈潘崇”之后。起源二：毕公高儿子季孙封邑在潘，后世以国为姓。起源三：姚姓，舜帝姚重华后裔建有潘子国，后世以国为姓。起源四：住在潘水边的人以水地名为姓，下雒城西南故潘城，以地名为姓。起源五：源于其他少数民族，属于汉化改姓为氏。

潘姓目前的郡望主要有荥阳郡，广宗郡，河南郡，豫章郡等4个。堂号主要有黄门堂，荣杨堂，承志堂，如在堂，花贤堂，笃庆堂，优肃堂，永言堂，司谏堂，春茂堂，花果堂，世德堂，荥阳堂等13个。