白耳兵是近卫军，如果刘备算是皇帝的话，那么白耳兵就是皇帝身边的禁军，相当于汉朝的羽林军，而这支军队的统率是陈到。
陈到在三国是一个很陌生的名字，不太为人所熟悉，陈到是豫州汝南(今河南驻马店平舆县)人，刘备曾经担任过豫州刺史和豫州牧，刘备在徐州投靠陶谦时，被陶谦上表为豫州刺史，后来刘备投靠曹操，又被曹操上表为豫州牧，时间大概是在194年到199年间。
而陈到就是在这段时间内投靠刘备的，之后一直跟随刘备，正因为陈到一直担任刘备近卫军的首领，而近卫军直接负责刘备的安全，所以陈到在历史上显得非常低调，而且刘备对陈到是相当的信任，否则也不会直接把个人安危全部托付给陈到了。
刘备起兵是在184年黄巾起义暴发的当年，在家乡幽州涿郡得到中山商人张世平、苏双的钱财支持，开始招兵买马，并在黄巾起义中镇压有功，而刘备是在幽州涿郡招兵的，刘备最早的士兵班底就是幽州涿郡（今河北省保定市涿州市）人。
之后刘备就带关羽、张飞和这帮士兵南征北战，先是投靠公孙瓒对抗袁绍，后来投靠陶谦主政徐州，在徐州刘备首次有了自已的地盘，兵员也得到了极大的扩充，其中陶谦还给了刘备四千丹阳兵，但刘备最信任的显然还是那支从河北涿郡带来的士兵。
刘备主政徐州时，丹阳兵首领之一的曹豹还联合吕布反叛刘备，之后刘备就被迫投靠吕布，驻守小沛继续招兵，小沛在三国时期属于豫州，就是今天的江苏沛县，很有可能陈到就是这个时候投靠刘备的，刘备在小沛招的兵也就是豫州兵，就是现在的江苏兵。
刘备后来被吕布攻打就投靠了曹操，投靠曹操没多久，就袭夺了曹操的徐州，后被曹操击败，刘备就带着残兵败将又去投靠袁绍，投靠袁绍没多久，在官渡之战结束前，刘备就逃走了，投靠荆州刘表了，之后刘备替刘表镇守荆州的北大门-新野，刘备在新野一待就是七年，并在当地继续招兵买马。
再后来，刘备在赤壁之战后占据荆南四郡，又向孙权借来了南郡，刘备在经过一两年的休整，受刘璋邀请开始带兵进入益州，打了三年战争，夺取了益州。之后就是汉中之战，刘备击败曹操夺取汉中，再之后直到夷陵之战，刘备亲率大军东征，结果刘备大败，拼死逃回永安。
从刘备的人生轨迹来看，白耳兵的前身就是刘备首次起兵的部队，之后历次跟随刘备参战，并且不断的增加新的士兵进来，基本是三部分人：幽州兵（河北兵）、豫州兵（江苏兵）、荆州兵（河南、湖北、湖南兵）。
白耳兵最有可能就是在新野组建的，因为在新野的七年，是刘备最为安逸的七年，之前在北方的征战中，刘备虽然偶有空闲，但多数时间并不稳定，经常受到攻击，而陈到跟随刘备到了新野，经过多年的跟随，刘备也认可陈到的忠勇。
但在新野期间，早期跟随刘备的士兵都老的老，死的死，而白耳兵是精锐士兵，年轻是肯定的，因此刘备会在所属士兵中挑选年轻的精锐士兵组建成白耳兵，对内外都极度保密，只有少数几个高层人员知道这个情况。
白耳兵的前身，刘备的直属部队参加过刘备早期的所有战争，因为史书也没有记载，所以只能靠猜测。
1、白耳兵随刘备参与博望之战，击败夏侯惇。
2、随刘备参与当阳长坂之战，被曹操击败，但拼死保护刘备逃走。
7、随刘备参加夷陵之战，这也是白耳兵最大的战绩，陈到率领的数百白耳兵，挡住了东吴数万追兵，拼死抵抗，为刘备安全逃走提供了时间，并且陈到也安全逃回永安。
夷陵之战后，白耳兵随陈到镇守永安，陈到去世后，白耳兵逐渐消散。