开皇九年（589）平陈战争结束后，隋文帝的家庭开始出现一系列问题。太子杨勇被废，蜀王被废，秦王夭亡，一个好端端的家庭四分五裂。
事实上，在同一时期，不仅隋文帝的家庭出现了问题，他在治国理政方面也同样出现了严重的失误，隋朝初年那种君臣协力、奋发图强的局面也因此不复存在。
第一个问题，隋文帝开始骄傲自满，追求生活上的享受了，最突出的表现就是兴修仁寿宫。在讲太子被废的时候，已经提到过仁寿宫了，那么，这个行宫是怎么修起来的？这还是在开皇十三年（593）。当时，国内战争已经基本结束，财政上又出现了几百年未曾见过的仓库皆满的喜人场景，国家一副太平景象，隋文帝都有点找不到奋斗的方向了。再加上他已经年过半百，辛苦了这么多年，也想稍微享受一下了。
怎么享受？正好，这一年年初，隋文帝到长安西面的岐州祭祀，觉得这里山长水阔，很适合生活，就决定在这里修一座行宫。这个想法非常不错，问题是，找谁主持修建呢？当时杨素风头正盛，隋文帝就把这个任务交给他了。
杨素适合不适合去完成这项任务呢？从能力来讲，当然不容置疑，但是，杨素有一个弱点，那就是奢侈。在隋朝，如果你想找出一个最有钱的官员，那肯定就是杨素了。杨素富裕到什么程度？按照史书的记载，他有“家僮数千，后庭姬妾曳绮罗者以千数。第宅华侈，制拟宫禁”。意思是说，他有好几千家奴，在后庭穿着绫罗绸缎的高级姬妾，也有一千多人，他的房子修得富丽堂皇，比皇宫还好。
杨素怎么会这么有钱？因为他战功赫赫。隋文帝是一个能办大事的皇帝，虽然生性吝啬，但是奖赏功臣从不含糊。而杨素在平江南、平突厥等重大战争中都立下了赫赫战功，当然被赏赐很多，这样一来，杨素慢慢成了富翁，生活也极尽奢侈。
让这样一个人来主持修建行宫，问题自然就出来了。杨素品位高，他按照自身的品位来设计仁寿宫，把仁寿宫设计得美轮美奂。按照史书的记载，就是“夷山堙谷以立宫殿，崇台累榭，宛转相属”。宁可削山填谷，务必要弄出一大块人造平地，好修建大规模的宫殿建筑群。工程量这么大，当然得耗费大量的钱财，也就远远超过预算了。
光是奢侈也罢了，更要命的是，杨素还有另一个弱点——暴虐。杨素不是每次都在战场上派敢死队冲锋吗？只要打了败仗，回来多少处死多少。
这样严明的军纪是杨素克敌制胜的法宝，在战场上有它的合理性。问题是，现在他又拿这套做法来对付服劳役的老百姓了。这些老百姓在杨素的严厉监督之下昼夜赶工，稍稍体力不支，马上就被视为无用之人。
怎么处理这些无用之人？在山里建行宫要填平山谷，创造更多的平地。杨素下令，就用这些民夫去填，直接把他们推下山谷，上边再盖上土石，打成地基得了！在这样残酷的劳役之下，两年下来，累死的民夫就达到一万多人。这不是对盛世莫大的讽刺吗？
开皇十五年（595）三月，仁寿宫终于修好了。当时高颎还是首席宰相，隋文帝先派高颎去验收。高颎可是和隋文帝一起开创节俭型政府的人物，跟杨素的价值观很不一样，他一看这个宫殿如此豪华，马上心疼国库，也心疼百姓了，回来之后如实汇报说：“颇伤绮丽，大损人丁。”建得倒是挺好，问题是好过头了，损失了好多老百姓。
隋文帝是个节俭的好皇帝，一听高颎这样汇报，心里咯噔一下，就有了先入为主的坏印象。
三月底，隋文帝终于抽出时间亲自去视察了，这一视察，印象更坏了。他在沿途就听到一些说法，说杨素为了赶工期，把好多民夫都累死了，有些人死后填了山谷，还有些干脆就地焚烧了事，这也太不爱惜民力了！所以，一到仁寿宫，隋文帝就怒气冲冲地说了一句：“杨素竭百姓之力，雕饰离宫，为吾结怨于天下。”杨素用尽百姓的财力来修建离宫，他这么干，是在给我招恨啊。
这话传到杨素耳朵里，可让他惴惴不安了一阵子。本来是竭尽全力想讨好皇帝，没想到马屁拍到马腿上了。怎么办？
这时候，有个人把杨素的担忧看在眼里，悄悄给他出了个主意。谁呢？杨素的侄女婿，也是仁寿宫的监工——封德彝。封德彝对杨素说，皇帝听皇后的，现在既然皇帝对您有成见，您不如先跟皇后沟通一下，只要皇后认可，皇帝肯定不会责备您，没准儿还有赏赐呢。
杨素一听主意不错，赶紧悄悄找到独孤皇后，对她说：“帝王法有离宫别馆，今天下太平，造此一宫，何足损费！”按道理来讲，帝王就应该是建离宫别馆的，现在天下如此太平，我就帮皇帝修这么一座离宫，这有什么不可以的？花的那点钱算什么？
这一句“天下太平”真的把独孤皇后给打动了。是啊，我们以前克勤克俭，不就是为了能够天下太平吗？现在既然已经天下太平了，干吗还要一直当苦行僧呢？
第二天一早，隋文帝召见杨素。杨素虽然提前做了工作，心里还是不太踏实，磨蹭了好半天才进去。进入宫中，一看隋文帝和独孤皇后并排坐在那里，面色和缓，他终于放下心来。果然，刚一说起此事，独孤皇后就发话了。她说：“公知吾夫妇老，无以自娱，盛饰此宫，岂非忠孝！”你知道我们夫妻年纪大了，也没别的爱好了，所以给我们修了一座好宫殿，让我们也享受享受，是个忠孝之臣啊！
隋文帝听了，也面带喜色，连连点头。就这样，杨素靡费资财，草菅人命，不仅没有受到惩罚，反倒赐钱百万，赐绢三千段。
怎么评价修仁寿宫这件事？这件事其实并不大，客观地说，作为一朝皇帝，兴修一两座离宫别馆也不算过分。问题是，从这件事上可以看出，隋文帝夫妇的追求改变了，在巨大的成就面前，他们已经不那么愿意自我约束，自我克制了。而隋文帝的自我约束，自我克制，其实正是隋朝在魏晋南北朝的乱世中脱颖而出的法宝。现在，在生活上，隋文帝已经露出了放纵的苗头，那么，在其他方面的任性和放纵也就为期不远了。