前面已经提到过连歌，通俗来说连歌就是多人共同完成的一首和歌，比如一人先说出一首和歌的前半部分，另一个人就要将剩余的部分补足，从而形成一首完整的和歌。作连歌的过程和中国人作对联非常相似。到了镰仓时代，由于藤原定家等人喜爱连歌，连歌会也在宫廷内出现了。当时的连歌分为两种，一种叫作“无心连歌”，也就是并不注重内容，而以滑稽、机智为主；另一种叫作“有心连歌”，更加注重连歌本身的情趣。在贵族之间比较流行有心连歌，然而到了镰仓后期，连歌传入民间后，无心连歌成为平民日常休闲、娱乐的主要方式。
俳谐，其实是“俳谐连歌”的简称。在连歌会之后，人们通常都会放松、休息一下自己的大脑，俳谐连歌就作为连歌会结束后的余兴节目而存在。它融合了无心连歌的一些元素，逐渐在民间流行起来。
到了江户时代，俳谐的发展达到了顶峰，而松永贞德可谓将俳谐发扬光大的人物。他确定了俳谐的基本样式，并利用自己的声望和学识，集结了一批门徒，自成“贞门派”，并以一种简单易懂的方式解说和普及俳谐。然而，松永贞德并没有试图将俳谐与连歌的格调区分开来，所以在风格上仍旧显得温和、保守。
在此之后，以西山宗因为中心的“谈林派”俳谐开始兴起。与身处京都的贞门派不同，谈林派以大阪独特、强盛的经济力量为背景，开创了具有活力、轻妙阔达的俳谐风格。谈林派激发了俳谐的活力，推进了俳谐的游戏化，对其推广起到了一定的积极作用。
最后，我们要提到日本的“俳圣”——松尾芭蕉。他早先学习贞门派，移居江户之后，又受到谈林派的极大影响，并在自己行走日本的过程中，成功地将两派的风格相结合，形成松尾芭蕉独特的“蕉风”，《猿蓑》就是“蕉风俳谐”成熟的标志性作品。松尾芭蕉在日本的地位，相当于中国的“诗圣”杜甫，他有多部脍炙人口的作品传世。
松尾芭蕉去世后，日本的俳谐进入了衰退期。后来俳谐进一步大众化，俳谐的低俗化现象也同时产生，并对俳谐的文学性造成了一定的影响。其间俳谐有过一段时期的复兴，尽管松尾芭蕉在日本被权威化，接触俳谐的人越来越多，却无人再有松尾芭蕉的功力，作品的低俗化反而越来越严重，千篇一律的文章比比皆是。尽管如此，俳谐还是在日本文学史占据着一席之地。