李靖的祖父李崇义曾经是北魏、东魏、西魏、北周的殷州刺史，为李氏家族赚下了永康郡公的爵位，后来传到了李靖父亲李诠的头上，李诠在隋朝时，出任过赵郡太守，不过开皇早年就已经逝世，因此其爵位传给了嫡长子李药王。李药王如今是永康郡公，另外有一个大将军的勋官，在舅父代州总管帐下带兵。

李氏家族虽然不是李穆、李渊、李密这些顶级关陇门阀，但也算是贵族之列。父亲虽然死的早，可李靖的仕途还算不错。

自幼李靖就长的仪表魁伟，由于受家族影响，他从不就很有文武才略，颇有进取之心，甚至还曾经跟他父亲李诠说过，大丈夫如果遇到圣明的君主和时代，就应当建功立业求取富贵。甚至连他的舅父韩擒虎，有时都和他谈论兵事，甚至为他的见解拍手称绝，说出过能跟我一起讨论孙、吴之兵法的，我就只有你了。这话虽然有些夸张，但李靖确实少有才名。

凭着家族的门荫，李靖十六岁就做了长安县功曹，功曹，相当于后世的一个人事局长。十六岁年纪，就已经当了首都郊县的局长，已经很了不得了。当时，甚至连杨素都曾经拍着自己的榻对李靖说，以后你终当做上这个位子。有这样的名声，才气，加上家族的关系，名人的欣赏，李靖的仕途很顺，当了几年功曹，就升为殿内直长。这个官是七品正式官职，主要负责皇宫的一些日常事务，之后李靖又升任了六品的驾部员外郎一职。

驾部是兵部下辖的一个部门，主要掌管帝王外车时的车马等工作。

李靖虽然没能继承爵位，但官职却也是稳步上升，几乎是隔几年就升了一个大品，提升速度已经很快了。

不过在开皇十二年，李韩两家最大的顶梁柱韩擒虎当阎罗王去了。已经成为了驾部员外郎的李靖，也开始仕途止步不前了。一转眼，到现在，他都已经近三十岁了，却还是六品的员外郎，呆在一个清水衙门里嗟跎时日。

造成这样的原因一是李靖这一族人口不多，二来李韩两家都不是关陇集团中的重要成员，虽然韩擒虎也曾经是名动一时的大将，但韩家底子不足，这也导致灭陈之后，贺若弼能以功封爵，韩擒虎却被论罪，最后虽免罪，可却也没有封公。而且当时韩家三兄弟，一个比一个猛，韩擒虎勇猛天下皆知，韩僧寿也丝毫不比韩擒虎差，当时连杨坚都称赞他道，韩中宿将之能征惯战而有常胜之功者，仍以韩僧寿称最。韩僧寿不但猛，而且从没有打过败仗。这份能力是后来隋朝的常胜将军杨素的前辈。而韩洪也相当猛，曾经跟着韦孝宽破尉迟迥，因功封县侯。后来灭陈之后。杨广与诸将会猎蒋山，突然奔出一只老虎，众皆惧，独韩洪纵马上前，张弓而射，老虎应弦而倒。韩洪后来以功加柱国，先后任蒋州刺史、廉州刺史、朔州总管、代州总管。

韩僧寿现任兰州总管。爵广陵郡公，柱国，韩洪任代州总管。爵甘棠县侯、柱国。

当初韩擒虎在世之时，虽然两兄弟也都为当世猛将，可天子却不肯让韩家兄弟三人同时统领大军，因此一直压制二人。韩擒虎死后。才又重让二人统领边镇。还又因为兄弟二人政见不和，韩僧寿是太子一党，而韩洪却与晋王关系很好。

不过李靖向来跟韩洪关系不错，连李药王也是跟随韩洪在代州。但这样一来，却不得亲舅喜欢，尤其是李靖所在驾部更是兵部尚书柳述的所管部门，而柳述，所有人都知道。他是坚定的太子党，这也是韩擒虎一死。李靖再没挪过位子的一个重要原因。韩擒虎一死，韩家顶梁柱没了，韩僧寿和韩洪兄弟又不和，加上李靖与亲晋王的韩洪走的近，他自然就不被亲太子的上司兵部尚书待见，李氏家族又不强，也就造成了他十六岁就当了长安县功曹，可二十九岁还在驾部员外郎上原地不动的现状。