另有一桩伤心惨目的风流往事。有一个少女，原是中宫身边某位女官所使用的人，意外地受到高仓天皇的宠爱。其宠爱之情，并非世间常有的那种露水姻缘，而是朝朝暮暮，眷眷缠绵，频频召幸。身为主人的女官眼看皇上如此认真，便也不好再将她当下人使用，反而待之如主子，不敢稍有怠慢。古时谣咏有云：“生女勿悲酸，生男勿喜欢。男不封侯女作妃。”将来不是没有承恩策妃封后的机会。女官道：“此女以后可能成为妃子、皇后，甚至贵为国母仙院，广受世人仰慕。”于是改呼其名曰葵姬，但私下却称之为葵贵妃。
皇上耳闻此事后，便不再召幸葵姬。并不是失去了宠爱之情，而是顾虑到世人的指责或毁谤。此后变得郁郁寡欢，日夜躲在寝殿中，若有所思。当时的关白松殿觉得此事非同小可，其情可悯，宜加安慰，便趋赴宫中，上奏道：“居然牵肠挂肚，如此其甚。其实，此事又有何难？不妨立即将该女子召来，无须查其身份。基房可以随时收之为养女。”皇上婉拒道：“如何是好？爱卿所言，固然可行，但偶有先例，均在退位之后。若尚在其位而为之，则必遭后世谴责。”关白松殿无能为力，只得含泪退了出去。
其后，皇上曾以深绿的薄纸，写了一首偶然想起的古歌：
暗恋人不知，朝暮无已时，如今人知后，都问何所思。
冷泉少将隆房将此御笔习字题歌，转给葵姬看了。葵姬红了脸，以身心不适为借口，乞假返回故乡。果然在家卧病五六日后，终于与世长辞了。古诗云：“为君一日恩，误妾百年身。”盖指类此之事而言。
古昔，唐太宗欲聘郑仁基之女为充华。魏征上奏，谓郑氏之女与陆氏已有婚约，乃作罢。此种胸襟与高仓天皇的心意，似可比拟并论。