南书房的设立是康熙帝的一个创造，这是应军事之需、行政之需、学问之需和情趣之需。说军事之需，是因为当时正进行平定三藩之乱的战争，军报紧急而繁多，指示应迅速及时，皇帝身边需要有军政顾问和机要秘书。说行政之需，是因为康熙帝是勤政君主，三藩平定后，皇权集中，日理万机，处理政务，也需要一个贴近的咨询、秘书班子。说学问之需，是因为康熙帝酷爱读书学习，经史子集，天文地理，算学音律，地方民情，随时请教和探讨，需要身边有机要的师友。说情趣之需，是因为康熙帝喜欢书法、绘画、诗词、文玩，也需要人同趣相通，同好相逑。所以，南书房建立后，没有因平定三藩之战结束而结束，而是坚持下来，并制度化、规范化。
南书房实际设立较早，但没有制度化、规范化。康熙十六年（1677年）十月二十日，正式创立南书房。康熙帝说：“朕不时观书写字，近侍内并无博学善书者，以致讲论不能应对。今欲于翰林内，选择二员，常侍左右，讲究文义。但伊等各供厥职，且住外城，不时宣召，难以即至。著于城内拨给闲房，停其升转，在内侍从数年之后，酌量优用。”（《清圣祖实录》卷六十九）
以上所引说明，康熙帝设立南书房的最初动因是：其一，康熙帝身边的太监等，没有文化或文化不高，不能同他研讨经史，切磋书法；其二，各大臣都有职务，也不能随时陪伴身边，日侍左右；其三，大臣住地离皇宫较远，随时咨商，很不方便，每日派员，轮流值班；其四，加强皇权，抑制旗权。所以要设南书房，这些随侍左右的大臣应是：品德高尚，学艺有长，任事专职，住近宫廷。
南书房的名称。“书房”是清入关前的旧名，“南”字是因书房在乾清宫南面，所以称南书房，又称南斋。雍正时在圆明园也设有南书房。最早正式入直南书房的官员为张英和高士奇。南书房官员称南书房行走，但自大学士到侍郎等，都称翰林，进出南书房，可走乾清门。（英和《恩福堂笔记》）不过进出门时都由内监或侍卫陪同，不可个人单独进出，在书房门外的院里也不能随便走动。
南书房的官员，地位特殊，称为“内廷”。“内廷”官员有哪些人呢？一是御前大臣，二是军机大臣，三是南书房翰林，四是上书房师傅，五是内务府总管等。就连内阁大学士、内阁官员都算外廷，而不算内廷。这是为什么呢？因为内阁为外廷。内阁又为什么算外廷？因为雍正朝从内阁分出军机处，军机大臣算内廷，大学士也就算外廷。南书房翰林与内廷官员进入内廷，从乾清门出入。
南书房翰林，挨近皇帝，参与机要，容易得宠，升迁较快。但是，南书房翰林，也蛮辛苦的——官员虽以入直南书房为荣，但不知其苦：“咫尺天颜，垂手侍立，久之则气血下注，十指欲肿。若派写进呈书籍，则终日伏案而坐，两脚不得屈伸。”有人说：“伺候时立得手痛，钞录时写得脚痛。”皇帝到南书房的时候，值班的翰林们都要到门外站着回避，“呼某人则入，不呼则候，帝去乃入也”。皇帝同每个人谈话内容，都是两人间的机密，外人不得闻知，更不能外传。
南书房值班的翰林，文具由内务府办理，饮食由御膳房供应。早餐在家里吃。《履园丛话》记载：徐乾学饭量大，每早入朝，吃实心馒头五十，黄雀五十，鸡子五十，酒十壶，可以竟日不饥。同朝张玉书古貌清癯（qú），早餐只食山药两片，清水一杯，亦竟日不饥。大多南书房值班翰林，伙食标准有规定：“每餐每日肉菜半桌，稻米一仓升，茶叶一钱。”（《清宫述闻》）可以喝免费的茶水。夏天，从五月初一日开始，每天赐给冰块，装在大盘里乘凉。时令鲜果，地方特产，时常供应，也受赏赐（如字画、笔砚、眼镜、鱼类、鹿肉等）。
南书房也有趣闻：状元于敏中初直南书房时，一日同僚谈锋正浓，于敏中微闻声音，疾呼其同僚说：“老头子来矣！”话音刚落，皇帝驾到。乾隆帝听到说自己是“老头子”，颇不高兴，严厉诘问。翰林们很紧张，不知如何回应。这时，于敏中机灵地对答：“万寿无疆曰老，首出庶物曰头，父天母地曰子。”乾隆帝一听，转愠为喜。于敏中节节高升，很快升为尚书，后官至大学士。
康熙少年智擒鳌拜的故事，有的书说就发生在南书房。康熙帝召鳌拜到南书房进讲经史。鳌拜遵旨进入，内侍以折一条腿的椅子请他坐，持椅立后。命赐茶，内侍先把茶碗用开水煮，使杯极热，鳌拜一接，茶杯坠地。持椅子的内侍，乘势一退，椅子歪斜，鳌拜倒地。鳌拜在国君面前，摔杯、洒茶、歪椅、倒地，实属大大地不敬。康熙帝呼曰：“鳌拜大不敬！”布库内侍，扑而擒之。（《南亭笔记》）但《啸亭杂录》和《归田琐记》记载，是鳌拜入见时，康熙帝召羽林士卒或布库少年将他擒捕的。
南书房翰林，都做些什么？