“千牛卫”始于唐代，正式名称为“左右千牛卫”。在唐代，“左右千牛卫”是大唐南衙“十六卫”中的两“卫”，不领府兵，专责“掌执御刀宿卫侍从”，是皇帝内围贴身卫兵。晚唐以后，随着“府兵制”的瓦解、“南衙十六卫”的衰败，“左右千牛卫”也逐渐变得徒有虚名，变成了虚衔的一部分。五代、宋、辽、金，皆是如此。
最初“千牛备身”出现的时候，似乎并没有一个专门的机构来统领这些武官。后来，北魏孝明帝中期出了“领左右”，很可能就统领着“千牛备身”。再往后，历朝历代统领“千牛备身”的机构名称不断变化，在唐高宗显庆五年（公元660年）称“左右千牛府”，到了唐中宗神龙元年（公元705年），改为“左右千牛卫”。