辛亥（1191）之冬，予载雪诣石湖。止既月，授简索句，且徵新声，作此两曲。石湖把玩不已，使工伎肄习之，音节谐婉，乃名之曰《暗香》《疏影》。
宋光宗绍熙二年冬天，天下着雪，姜夔冒雪来到远在苏州石湖的范成大家里。范成大一生爱梅，特意在故乡石湖置下了这座庄园，栽下许多梅树。这一年，石湖山庄的红梅正迎雪开放，于是同样酷爱梅花的姜夔就在石湖山庄住了一个多月，日日在梅边吹笛，恋恋不去。
有一天，他吹了两首新曲，范成大觉得曲子悠远婉转，美如仙乐，细问，才知道，那是他新谱的《暗香》和《疏影》。两首得意之作，皆取名自林逋著名的咏梅诗《山园小梅》：“疏影横斜水清浅，暗香浮动月黄昏。”
“旧时月色，算几番照我，梅边吹笛？唤起玉人，不管清寒与攀摘。”梅花吐幽的月下清夜，他在梅边吹笛，这悠悠一缕笛音，使玉人忘记清寒，循声而来攀摘梅花。这是回忆“玉人折梅我吹笛”的昔日情事。
“何逊而今渐老，都忘却、春风词笔。但怪得、竹外疏花，香冷入瑶席。”何逊是南朝的梁国诗人，8岁能诗，20岁举为秀才，少年成名，可叹身世贫寒，仕途不顺，姜夔用他来自比。那昔日的飞扬少年已经不见，如今我竟也像当年的何逊一样，在扬州见到旧时官舍的梅花，却再也写不出一首像样的诗。写不出可还是要写，因为它们太美了，我实在控制不住自己了。
这既是谦虚又是大实话。谦虚的是，那春风词笔的才情仍在；大实话是，当年风流自得的少年已经不复存在了。“春风词笔”是指他的《咏春风》诗：“可闻不可见，能重复能轻。镜前飘落粉，琴上响余声”，咏物颇称工细。
“长记曾携手处，千树压、西湖寒碧。”回忆的窗子再一次打开。他和她曾经在西湖畔，手牵手，同游梅林。那应该是如雪一般盛大的花事，整个天地间似乎都被没有尽头的花树占领，那一团团花雪，似乎要从树枝下坠下来一般。这花海曾给人一种错觉，那就是这场花事会永远都开不完。
“又片片吹尽也，几时见得？”然而，这念头刚起，只见一阵轻风，那花瓣便片片落下来，由几片到十片、百片，千万片，直至密密麻麻，簌簌而下。转眼，那树头已经空空，只剩下空枝。
但此时，“江国正寂寂”，梅花迎来了这个冬天的第一场雪，“叹寄与路遥，夜雪初积”，我想寄给她一枝梅花，只叹路途遥远，无从相寄。捧起翠色的玉樽，我不由落下泪来，红梅无言，让我对她的思念越加地明晰起来。
“苔枝缀玉，有翠禽小小，枝上同宿”。苔枝，长有苔藓的梅枝。范成大曾著有《梅谱》，说到绍兴、吴兴一带的古梅：“苔须垂于枝间，或长数寸，风至，绿丝飘飘可玩。”缀玉，梅花像美玉一般缀满枝头。梅树长有苔藓的枝干上缀满晶莹如玉的梅花，小小的双翠鸟，在枝间同栖。翠禽用的是一个关于梅花的典故。讲的是隋代赵师雄在罗浮山遇仙女的神话故事，见于曾慥《类说》所引《异人录》记载。
隋开皇年间，赵师雄行经罗浮山，日暮时分，入一梅林，遇一美人，与之对酌，又有一绿衣童子歌舞助兴。不知不觉沉沉睡去，待醒来时，发现东方已白，耳中听到有鸟儿欢快的鸣叫声，想起昨晚的艳遇，待起身察看，哪里还有美女的影子？只见梅花树上有一些小小翠鸟成双成对地在花间跳跃欢叫。想来昨夜，自己是和梅花女神玩了一场艳遇，那绿衣童子便是这些翠鸟了。想到此，他心下一阵惆怅。
姜夔似格外偏爱这个典故，在其《鬲溪梅令》中，他亦写道：“漫向孤山山下觅盈盈，翠禽啼一春。”简直是将梅花与罗浮神女融为一体了，似花非花，似人非人。在他的心中，他和她是否也是一场人间仙遇呢？
“客里相逢，篱角黄昏，无言自倚修竹”，我与你在异乡相逢，那一日，在黄昏的篱角，你默默地倚着修竹茕茕孑立，使人想起杜甫笔下的佳人意境：“绝代有佳人，幽居在空谷。天寒翠袖薄，日暮倚修竹。”
“昭君不惯胡沙远，但暗忆、江南江北；想佩环、月夜归来，化作此花幽独。”原来这位佳人不是别人，而是王昭君的香魂所化。这几句用王昭君的典故，“王昭君入宫久不见幸，积悲怨，乃请行，远嫁匈奴，死于他乡。”作者的构思主要是参照杜甫的这首《咏怀古迹》：
群山万壑赴荆门，生长明妃尚有村。
一去紫台连朔漠，独留青冢向黄昏。
画图省识春风面，环佩空归月夜魂。
千载琵琶作胡语，分明怨恨曲中论。
想来，姜夔认为，死后的昭君应是梅花仙子，因为思念故乡，身佩玉环月夜归来，化作幽独的梅花。梅因人增色，人因梅得归。
“犹记深宫旧事，那人正睡里，飞近蛾绿”，蛾，细长的眉毛，绿，眉淡如山的颜色，用的是寿阳公主的典故。《太平御览》引《杂五行书》记载，宋武帝的女儿寿阳公主非常美丽，有一天，她在含章殿檐下躺着打瞌睡，有一朵梅花落在她的额头上，竟留下一朵五瓣梅花的印迹，怎么擦也擦不掉，过了三天，才能洗掉。宫女们觉得公主额头印有梅花的样子很好看，便都在自己的额头上画一朵梅花的图案。这就是梅花妆的由来。
“莫似春风，不管盈盈”，是怜花；“早与安排金屋”，是惜花。这里用的是汉武帝“金屋藏娇”的典故（见《晏几道：当时明月在，曾照彩云归》）。可惜的是，花开花落自有时，梅花的开落与春风有关，也与春风无关。“还教一片随波去”，梅花终于又一次凋零了。
短短一阕词，竟一口气写了五位女性，而且这五位女性都与梅花有关。
“却又怨、玉龙哀曲”，玉龙即玉笛，马融《长笛赋》：“龙鸣水中不见己，截竹吹之声相似。”“哀曲”当指《梅花落》，与前篇“梅边吹笛”相呼应。这就是《疏影》和《暗香》的连环效果，你中有我，我有中你，环环相扣。
“等恁时，重觅幽香，已入小窗横幅”，又从绘画这一角度加以深化主题。《疏影》最后一句的“小窗横幅”应该是与《暗香》的开头一句“旧时月色”相呼应的，那么，“小窗横幅”就既可解释为图画，又可解释为梅影了。月色日光映照在纸窗上的竹影梅影，也是一种“天然图画”，非常好看。
《疏影》是写与情人昔日与梅花有关的回忆，可用“美人折梅我吹笛，携手梅林香雪里”来概括。《疏影》走的是则纯咏物的路线，几乎字字用典，句句都有来历，只觉写得巧，用得妙，作者真正的心意，反而不好琢磨了。梅花在他笔下，是一位寂寞的绝代佳人，她那么美、那么好，必须万分珍重，可做不到，不能够，她终于还是随波而去，只留下纸窗上的剪影，令他徘徊无地。
其实，梅即是人，人即是梅。在姜夔心中，梅就是她。
《疏影》和《暗香》写就后，范成大叫来歌妓小红，演唱这两首《暗香》和《疏影》，姜夔在一旁吹箫伴奏。范成大一旁看得直咋舌，小红身着红衣，宛如云霞，姜夔白衣胜雪，玉树临风，轻歌伴玉箫，这可真是一对金童玉女。
待姜夔回家时，范成大便把小红推向他：“带上她走吧。”
一向孤身江湖的姜夔从此身边便多了一个仙子相伴。一天，船过垂虹桥，天下起了大雪，只见茫白一片的天地之间，只有他和小红，一个唱歌，一个吹箫，仿若天外仙侣，于是，他奋笔写下一首《过垂虹》：“自琢新词韵最娇，小红低唱我吹箫；曲终过尽松陵路，回首烟波廿四桥。”
元人陆友仁的《砚北杂志》记述姜夔得了小红之后，“每自喜度曲吟洞箫，小红辄歌而和之”，有可能，二人在一起确实度过了一段美好时光。后来，姜夔晚年贫病交迫，陷入了衣食难继的困苦之中。此时范成大早已病逝，姜夔不愿小红跟着自己吃苦受罪，便帮她寻了一富人家做妾。小红流泪不肯，后来看姜夔已决，终于离去。
姜夔67岁时，因病卒于西湖，贫不能殡，在友人吴潜的帮助下，葬于杭州钱塘门外西马塍。曾与之诗词唱和的名士苏泂作挽诗：
“所幸小红方嫁了，不然啼损马塍花。”
《暗香》《疏影》是姜夔人生的最高峰，又得了小红相伴，他的人生，也曾经有过刹那的美梦成真吧。