李智云因为是个富贵闲王，没什么实权，所以与之结交的妃嫔并不多，而李隐和李世民，都是出于忌讳，而没去讨好诸位妃嫔，所以诸妃嫔妃这时都争相称赞李建成、李元吉而对李隐和李世民所有诋毁。

当然，李隐虽没故意结交宫中的妃嫔，但他与李智云的母亲万贵妃，因之前的互相帮助，而一直有联系，有她的枕边风相助，李渊对李隐的厌恶感要比李世民好上一些。

因为李建成与李元吉与后宫来往甚密，后世也有人说他们与张婕妤、尹德妃私通，但宫禁幽深神秘，此事却是无从证实之事了。

这时，太子东宫、各王公、妃主之家以及后宫妃嫔的亲属，在长安横行霸道，为非作歹，而有司部门却不敢追究，这对大唐的威望有所损伤。

为了显示皇家和睦，李渊下诏让李隐住在皇宫的外殿承德殿，而李世民则住在承乾殿，李元吉住在武德殿后院，他们的住处与皇帝寝宫、太子东宫之间日夜通行，没有限制。

太子与晋、秦、齐三王出入皇帝寝宫，均乘马、携带刀弓杂物，彼此相遇只按家人行礼。太子所下达的令，晋、秦、齐三王所下达的教和皇帝的诏敕并行，有关衙门不知所从，只有按照收到的先后为准。

李隐的部下先入洛阳皇宫，缴获了许多珍宝，但大部分都封存好了，仍留在洛阳，李渊便让尹德妃等几人到洛阳挑选隋朝宫女和收取仓库里的珍宝。

但尹德妃等人在洛阳得了珍宝后，仍觉得不满足，私下又向李隐索要宝物并为自己的亲戚求官，李隐回答道：“宝物都已经登记在册上报朝廷了，官位应当授予贤德有才能和有功劳的人。”没有答应她们的任何要求，因此尹德妃等妃嫔们更加恨他了。

李隐与李渊的大部分妃嫔的关系日益恶化，李世民更是没好到哪去。

最近，李世民因为淮安王李神通平定河北有功，拨给了他几十顷田地，其中的深意，自是为了结交李神通了。

但张婕妤的父亲却通过张婕妤向李渊请求要这些田，李渊手写敕令将这些田赐给张婕妤的父亲，李神通却因为有秦王之令在先，且贪图那几十顷田地，不愿归让。

张婕妤于是向李渊告状道：“皇上敕赐给我父亲的田地，被秦王夺去了给了神通。”

李渊因此发怒，责备李世民说：“难道我的手敕不如你的王令吗？”李世民连忙称不甘，那几十顷田地最终还是落到了张婕妤父亲的手里

这事发生后没过几天，秦王府的署官杜如晦骑马经过尹德妃的父亲尹阿鼠的门前时，却被尹阿鼠的几名家童把杜如晦拽下马，揍了他一顿并打断了杜如晦一根手指，说道：“你是什么人，胆敢过国丈的门前不下马！”尹阿鼠向来骄横跋扈，他的家童也是胆大包天之辈。

尹阿鼠怕李世民告诉李渊，先让尹德妃对李渊说：“秦王的亲信欺侮我家人。”

李渊又生气地责备李世民说：“我的妃嫔家都受你身边的人欺凌，何况是小老百姓！”李世民反复为自己辩解，但李渊始终不相信他。