服部氏祖先原本是日本古代豪族之一的秦氏的后裔，而秦氏则是自中国吴国渡海过来的移民。秦氏不但传授纺织技术给日本人，更在日本各地展开"新乐"公演，令日本人大开眼界。值得一提是，和服在日本传统的称呼叫"吴服"，语源正式取自秦氏出身的吴国。服部氏于第2代的服部半藏正成时，仕奉于德川家康，以旗本的职位领有8000石俸禄。家康将召募自伊贺地方的武士编成伊贺同心军团后交予服部指挥。一般若没有特别说明，服部半藏指的就是第二代的服部正成，乃德川十六神将之一，又号称"鬼半藏"。