在逆潮暗涌的政治斗争逐渐现出端倪的时候，久经沙场的秦王李世民对自己所处的危险环境并未觉察。他只是觉得李渊对自己的宠信似乎越来越少了，更多的时候，太子和齐王陪伴在李渊的身边，除非有特别事务，李渊才会想起要召见一下李世民。对于这个局面的出现，李建成和李元吉非常满意，他们感觉到了李渊对李世民的疏远。
然而，仅仅这些还是不够的。因为在李渊的心目中，李世民在诸子中是才华最为出众的一个。所以，当赵弘智等人建议李建成要进一步疏离李渊和李世民的时候，太子便选择了李渊身边当时最为宠爱的两个人作为自己的联盟对象。
在李渊后宫，大多数嫔妃对于李世民是非常不满意的，因为太子总是会时不时地带一些礼物或者战利品献给后宫的嫔妃。而李世民却是一个秉承原则的人，他从来不去拜会那些嫔妃，更不会为她们送去礼物。甚至有一次，当缴获的夏王宫殿的珠宝被送到长安，嫔妃们一拥而上，想将其据为己有时，李世民硬生生从她们的手中缴回。其中，最为李渊所宠爱的尹德妃与张婕妤对于李世民的反感最甚。
张婕妤出身钟鼎之家，精通诗文，因此深得李渊欢心。有一次，李世民出征归来，认为部将李神通作战骁勇，便将长安城外一片富饶之地赐予他。然而，李神通前脚刚到，那片地便被张婕妤的父亲看中了，他暗中通知女儿，希望可以让皇上下旨，将那块儿地赐予他，好让他修建花园。张婕妤一番撒娇之后，李渊便下旨将那片地赐给了张父。可是张婕妤欢喜了不过半天，便又来找李渊，口称秦王强夺封地。
李渊召见了李世民，询问事情的始末。李世民说：“李神通随军远征，为稳固大唐的江山出生入死，那块地是他应得的。他现在已经在那里修建了府邸。而张婕妤之父强夺，只是为了一己私欲，难道陛下要为了一个妃子而让为国流血的勇士居无定所吗？”
一句话噎得李渊无言以对，只能将他遣退，悄悄对裴寂说：“这个小儿带兵打仗久了，连我的话都不听了。他已经不是从前那个乖顺的儿子了。”裴寂却说：“秦王将地给了李神通，抚慰了将士，其实也是好事。”可李渊却摇摇头，说：“我的诏令都不如他的命令，我看这都是被他身边那群儒生给灌输的！”
在裴寂的安抚下，也因当时与刘武周战况正紧，李渊并没有因此过多地责怪李世民，对那块地也就听之任之了。但是张婕妤却从此对李世民添了恨意，觉得秦王是跟自己作对。
李渊的另一位宠妃尹德妃，其父是个投机取巧的小人，只因女儿得宠，便在长安城中招摇过市，甚为嚣张。有一次杜如晦骑马经过尹府，尹父觉得他态度倨傲，居然不下马，便领着一众恶仆一拥而上，将杜如晦一顿暴打，其中杜如晦一根指头被打断了。而尹父打完了才知道，这人是秦王府中最为得宠的幕僚。
尹父虽然嚣张，但也惧怕秦王威名，于是便恶人先告状，让尹德妃向李渊哭诉，说是秦王府的杜如晦带人将她父亲打了。李渊一听大怒，又紧急召见了李世民，责问他：“我的宠妃的父亲，你也敢随意动手便打，更何况是普通百姓！我看你就要横行在长安城了！”李渊任凭李世民怎么分辩也不听。有了这个过节儿，尹德妃对于李世民也愈加敌视。
李建成眼看尹德妃和张婕妤都对李世民无好感，偏偏这两人又是诸妃中最为得宠的，便让人带了珠宝珍玩，悄悄拜访了两人，对她们说：“今日两位都是皇上的宠爱之人，我虽然是太子，但是也得二位在皇上面前为我美言，才能保得住这东宫之主的位子啊！”
一番恭维让尹、张二妃得意非凡，尹德妃说：“太子过谦了，我等不过是服侍皇上的奴才，哪儿敢跟您比！倒是我们需要太子殿下多多提携才是真的。”
李建成说：“二位深谋远虑，恐怕早有打算。皇上年事已高，若有一天龙归碧海，谁又能来庇护你们呢？不说这宫里的养尊处优，还有你们娘家的富贵，恐怕就都危险了。”
张婕妤忙说：“太子殿下如此仁慈，臣妾等日后都得靠您庇佑。”
李建成笑着说：“这就好比是风火相依，风吹得火势更加凶猛，火也会让风力更加灼人。”
三个相视一笑，李建成又对尹德妃说：“他日我做了皇帝，一定会优待大家，至于我的兄弟姐妹，自然也不会亏待。”
尹德妃为李渊所生育的儿子李元亨，在诸皇子中碌碌无为，这才是她最为焦急的地方。李建成的许诺正中她下怀，于是便答应只要太子能保李元亨，自己一定会在李渊面前为建成美言。
在两位宠妃的不断游说下，李渊对李世民的印象越来越差，甚至很久都不召见。李世民也在宇文士及的帮助下，通过宇文士及的妹妹宇文昭仪为自己美言，但收效甚微。李世民虽然惆怅，却也无奈。
没过多久，正好是李渊大寿。举国大赦之后，群臣欢聚一堂，皇子们也都拿出浑身本事要讨李渊的欢心。除了进献各种奇珍异宝，还有满嘴的甜言蜜语。正当大家其乐融融的时候，李建成忽然看到李世民坐在角落里暗自垂泪，便故意大声地问：“今天是父皇的寿辰，二弟何事如此悲伤？”
本来是暗暗抹泪的李世民发现，在太子一声询问下，大家都看着自己，不由得万分尴尬。他忙端起酒杯说：“我看到现在大唐已经获得天下，有此太平之世，心里高兴。却忽然想起我的母亲，她自幼便教导我们。现在有了天下，母亲却早已不在了，不能和我们一起分享这美酒飨宴，因此落泪。”
李世民的话让大家都开始沉默，萧瑀等老臣纷纷说：“窦皇后贤德福荫天下，秦王就不要太难过了！”
原本沉浸在欢乐中的李渊，因李世民忽然提起窦氏而心情变得低落，窦氏对自己的帮助非常大，但现在他做了皇帝却不能和她分享，也是他的遗憾。李渊做了皇帝之后一直不立皇后，也正是为了缅怀她，所以他并没有对李世民多加责怪。
可是酒宴结束后一回到后宫，尹德妃与张婕妤两人便对李渊说：“在今天那样欢乐的场合之中，秦王忽然垂泪，真是让人败兴。”
李渊说：“秦王是个孝顺的孩子，他思念自己的母亲，也是情有可原的。”
张婕妤说：“秦王是孝顺没错，但是今天是皇上的寿宴，在那样的场合不仅流泪，还说出怀念已经去世的人的话，这恐怕不只是对他的母亲孝顺，而是没把皇上放到心上吧？”
李渊听了，不由得开始沉吟。
尹、张二妃看李渊态度似乎有转变，互相使了一个得意的眼色。张婕妤接着说：“现在我大唐一片繁荣，四海升平，陛下年事已高，正是需要享受欢乐的时候。那秦王动不动就哭哭啼啼怀念母亲，恐怕是对我等嫔妃们不满吧！”
尹德妃也叹了一口气说：“是啊，秦王一向就看我们这些人不顺眼，总觉得我们服侍陛下不够尽心。我真是怕哪一天秦王得势了，我们恐怕就没有好日子可以过了。”
李渊见二人悲悲戚戚，自怜自怨，便说：“你们放心，秦王是个贤德的人，怎么会对你们不利呢？”
尹德妃见状，便继续说：“要说贤德，我看没有人比得过东宫太子了。我听说他时常为陛下的安康祈祷。而且我儿元亨也多次对我说：太子殿下对待兄弟们甚为宽和，有长者之风，在弟兄中威望很高，大家都尊崇他！”
张婕妤也不甘示弱：“朝堂之上，谁不夸太子是难得的英明储君。大家都说太子殿下对皇上忠诚爱戴，对群臣宽厚仁慈，是大唐的福气呢！”
一番大肆的赞誉溢美之词，李渊也开始得意自己有这么一个好儿子了。对比李世民的不懂事，李建成显得不管是为人处世还是口碑上，似乎都胜出一筹。
自此之后，李世民虽然主动进宫拜谒，李渊也很少接见他，总是冷言冷语相对。而太子建成却愈加受到宠信，李渊将更多的军国大事都交给他处理，希望可以锻炼他处理政事的能力。