无论是不是现实主义者，不伦之恋的禁忌都是不可触犯的，更何况还是别人引起的爱情纠纷。在一个阴谋与亲属之间的争斗属于家常便饭的时代，不伦之恋必然会以悲剧的形式来结束，这就是它的宿命。
首先是卢克雷齐娅·波吉亚与伊莎贝拉的丈夫弗朗切斯科的不伦之恋。切萨雷·波吉亚在1507年死于西班牙之前，从心底里关心的只有妹妹卢克雷齐娅。当四处散发的苦苦请求帮助哥哥的信件全部落空时，安慰绝望中的卢克雷齐娅并与她亲切商量的是伊莎贝拉的丈夫弗朗切斯科。他们两个人都处于拥有相互稳固的协作关系的埃斯特家族兄弟姐妹的外围，并且两人都不太能理解沉浸于深厚修养氛围中的埃斯特家族。
以往，对于弗朗切斯科的女性交往经历，伊莎贝拉都假装不在意。10年前，一个女子生下了丈夫的孩子而公开了恋情。但是因为两个孩子都是女孩儿，所以根据当时的风俗，她选择了无视，但这次的对手是她的弟弟阿方索的妻子。她非常爱这个弟弟，而且她也很清楚弟弟爱着妻子。当丈夫在波河河畔与卢克雷齐娅相会并将她带回曼托瓦城附近时，伊莎贝拉并没有感受到嫉妒或是愤怒，只有轻蔑。
弗朗切斯科与卢克雷齐娅的关系，究竟是单纯的亲密还是有更深的感情，当时没有留下任何记录。但是不久之后，两人不再通信，因为在他们之间传递信函的男人不知被谁谋杀了。阿方索派人杀害的嫌疑很快就被洗清了，也找不到伊莎贝拉指使的证据。
还有一个恋爱的悲剧，发生于1505年费拉拉的埃斯特家族。这场真实的悲剧在后来的半个世纪中，让埃斯特家族处于灰色的阴霾之中。
当时，卢克雷齐娅·波吉亚嫁到埃斯特家的时候带了一个女官安杰拉·波吉亚。她与伊莎贝拉同父异母的弟弟、年轻俊美的朱利奥相爱了。爱上美丽的安杰拉的不只有朱利奥，还有另一个弟弟、枢机主教伊波利托。可是，对于枢机主教的爱恋，安杰拉断然拒绝说：“你的一切都比不上朱利奥那双美丽的眼睛。”为此愤怒嫉妒得发狂的伊波利托在数日后的费拉拉城外，与几个家臣一同袭击了急匆匆地孤身一人回城的朱利奥，用手指抠掉了他的双眼。
受伤的朱利奥向哥哥阿方索诉说了这件事。可是，伊波利托是基督教枢机主教，所以就算是阿方索也无能为力。更让阿方索担心的是，在处置枢机主教的事情上，教皇尤利乌斯二世会如何刁难费拉拉，因为费拉拉从不掩饰与法国的密切关系，而被尤利乌斯二世视为永远的眼中钉。费拉拉是教皇册封的公国，正如曼托瓦是神圣罗马帝国皇帝册封的一样。阿方索命令朱利奥必须忍耐，并且恢复与枢机主教伊波利托的关系。
怀恨在心的朱利奥向另外一个哥哥费兰特吐露了心思，同情他的费兰特与朱利奥计划了一个谋杀阿方索的方案。但是他们始终没有实施的勇气，一拖再拖。就这样，计划被枢机主教伊波利托获悉，他紧急通报给当时正前往南意大利而不在费拉拉的阿方索。阿方索急忙返回费拉拉。费兰特跪在哥哥的面前请求原谅而被捕，朱利奥则逃到伊莎贝拉身边。伊莎贝拉为自己的弟弟们发生这起事件伤心不已。她虽然暂时让朱利奥避开了追捕者，但非常清楚这是没有用的，她能做的只有努力请求将死刑稍微减轻一点儿，至少减成终身监禁。只是，这么做的只有伊莎贝拉一个人。
处刑之日来临了。在费拉拉城前的广场上，费兰特与朱利奥两个埃斯特家的兄弟及其附和的家臣都被带了出来。在众人的目光下，先是家臣们被处以五马分尸之刑。最后轮到埃斯特家的兄弟时，国主阿方索公爵感念手足之亲，免除了二人的死刑，宣告终身监禁。人群中响起了如释重负的欢呼声。
费兰特与朱利奥两人分别被幽禁于城堡角落里一个白塔之中的上下两个房间，通往房间的入口被墙土牢固地封住，除了偶尔前来传达事务的人以外，禁止任何人会见。房间的上方只开了一个洞，餐饭由此传递。过了一阵，他们可以从面向费拉拉城外的窗户，眺望远方的人们往来的情形。又过了一段时间，上下两个房间被打通，变成一个可以互相联络、通风良好的大房间。26岁的费兰特在被幽禁了37年后病死于牢房之中，而25岁的朱利奥在费兰特死后还活了19年，他在这座塔中足足待了56年，直到他去世的两年前才被释放了出来，真正是半个世纪的执念啊。在这一期间，阿方索死了，埃尔科莱二世也死了，已经到了孙子阿方索二世的世代了。费拉拉的年代记中是这么结语的：“当这个老人从塔中走出时，他身上穿着的衣服正是半个世纪前最流行的款式。”
深受打击的伊莎贝拉在这场悲剧发生后的一段时间内都没有到访费拉拉，可是出于对娘家的深厚感情，后来当阿方索与教皇等人相继发生对立时，她总是帮助弟弟，帮助埃斯特家。阿方索也从这个姐姐的身上感到了超越任何人的真挚情谊。