是在这种繁盛荣华的家境中度过了他到十三岁为止的少年时代。
康熙死后，曹家的境况发生了急剧变化。经过激烈的宫廷斗争才获得皇位的雍正，急于巩固自己的地位，这也包括肃清其父亲的内外亲信。雍正五年（1727），曹以解送织物进京时“苛索繁费，苦累驿站”、“织造款项亏空甚多”等罪名被革职，家产也被抄没（见“雍正五年上谕”），全家迁回北京。最初，曹家还蒙恩稍稍留下些房产田地，后于乾隆初年又发生一次详情不明的变故，遂彻底败落，子弟们沦落到社会底层。
曹雪芹本人的情况现在了解得还很少，只能从他的好友敦诚、敦敏和张宜泉等人留下的不多的诗中以及其他很少的零散材料中探知些许。回京后，曹雪芹曾在一所宗族学堂“右翼宗学”里当过掌管文墨的杂差，地位卑下，境遇潦倒，常常要靠卖画才能维持生活。但作为一个经历过富贵繁华而又才气横溢的人，他很难放下自己的尊严；他的个性豪爽旷放，朋友们比之为示俗人以白眼的阮籍。他的一生的最后十几年，流落到北京西郊的一个小山村（《红楼梦》就是在那里写成的），生活更加困顿，已经到了“举家食粥酒常赊”（敦诚《赠曹芹圃》）的地步。乾隆二十六年（1762）秋，爱子夭亡，不久，他也伤感谢世，留下一个新娶不久的继妻和一部未完成的书稿。敦诚《挽曹雪芹》诗以“孤儿渺漠魂应逐，新妇飘零目岂瞑”这样哀切的句子，写出其最后的凄凉。
在封建时代残酷的权力斗争中，像曹家那样由盛而衰的剧变，并非罕见。但只有亲身经历这种剧变的人，才会对人生对社会对世情产生一种不同寻常的真切感受，这和旁观世事变幻者的感受不同。在饱经沧桑之后，曹雪芹的郁结的情感需要得到宣泄，他的才华也需要得到一种实现，从而，他的生命才能从苦难中解脱而成为有意义的完成。他选择了艺术创造——被不幸的命运所摧残的天才重建自我的唯一方式。《红楼梦》第一回记述道：“曹雪芹于悼红轩中披阅十载，增删五次。”而后又题一绝云：
满纸荒唐言，一把辛酸泪！都云作者痴，谁解其中味？
也许可以说，中国历史上除了司马迁作《史记》，再没有人像曹雪芹这样以全部的深情和心血投入于一部著作的写作。但他去世时，全书仅完成前八十回，并留下一些残稿，这些残稿后来也佚失了。
从《红楼梦》的第一回来看，曹雪芹对这部小说似乎考虑过好几个书名，文中提及的有《石头记》、《情僧录》、《风月宝鉴》、《金陵十二钗》。乾隆四十九年甲辰（1784）梦觉主人序本正式题为《红楼梦》，在此以前，此书一般都题为《石头记》，此后《红楼梦》便取代《石头记》而成为通行的书名。
《红楼梦》的版本有两大系统。一为“脂本”系统，这是流行于约乾隆十九年（1754）到五十六年（1791）间的八十回抄本，附有“脂砚斋”（作者的一位隐名的亲友）等的评语，故名。现存这一系统的本子有十几种。另一为“程本”系统，全书一百二十回，由程伟元于乾隆五十六年（1791）初次以活字排印（简称“程甲本”），又于次年重经修订再次以活字排印（简称“程乙本”），以后的各种一百二十回本大抵以以上二本为底本。这种本子的后四十回，一般认为是高鹗续写的，但也有人对此表示怀疑。高鹗（约1738—约1815）字兰墅，别署“红楼外史”，汉军镶黄旗人，乾隆六十年（1795）
进士，官至翰林院侍读。后四十回的艺术水平较前八十回有相当的差距，但比起其他名目繁多的红楼续书仍高出许多。它终究给《红楼梦》这部“千古奇书”以一种差强人意的完整形态，满足了一般读者的要求。因而，这一系统的本子也就成为《红楼梦》的流行版本。
二、《红楼梦》是怎样的书
在中国过去的年代中，由于儒家经学传统的影响，只要是一部比较优秀的著作，许多人总喜欢从中搜寻出文字之外的“微言大义”来，而不肯承认一部完全从日常生活着笔的文学作品，本身足以包含不朽的价值。《红楼梦》问世以后，流传日广，穿凿附会之说也日多。或认为此书是影射清初大学士明珠家事，或认为是影射清顺治、康熙两朝的历史，或认为是影射董小宛与顺治帝事；而近世学者蔡元培，还提出此书是寓含民族意识、提倡反清排满的政治小说（见《石头记索隐》）。到了王国维、鲁迅、胡适，对《红楼梦》的研究虽各具不同的眼光，但都归结到小说的艺术价值上来了。
《红楼梦》以爱情故事为中心线索，在贾府这一世代富贵之家从繁盛到衰败的过程中，写出以贾宝玉和一群红楼女子为中心的许多人物的悲剧命运，反映了具有一定觉醒意识的青年男女在封建体制和封建家族遏制下的历史宿命。这里面包含了曹雪芹自身的家族和个人背景，以及他对人生的认识。
关于为什么要写这样一部小说，即小说的主旨是什么，作者在小说的开头就有明确的交代：
作者自云：因曾历过一番梦幻之后，故将真事隐去，而借“通灵”之说，撰此《石头记》一书也。……自又云：今风尘碌碌，一事无成，忽念及当日所有之女子，一一细考较去，觉其行止见识，皆出于我之上。何我堂堂须眉，诚不若彼裙钗哉？实愧则有余，悔又无益之大无可如何之日也。当此，则自欲将已往所赖天恩祖德，锦衣绔袴之时，饫甘餍肥之日，背父兄教育之恩，负师友规谈之德，以至今日一技无成、半生潦倒之罪，编述一集，以告天下人：我之罪固不免，然闺阁中本自历历有人，万不可因我之不肖，自护己短，一并使其泯灭也。
这一段自白包含三层意思，并由此构成小说中最重要的三层意蕴：一是家族在腐败中走向破落，繁华成空；二是个人的禀性趣味与家族和社会的要求相背离，以至人生失落，无所归依；三是回顾如梦人生时，唯一值得怀念的，是一群“闺阁女子”，因此最令人悲悼的，也就是她们的悲剧命运。在特定的环境和遭遇中，当个人的价值难以实现甚至无法确定时，在异性中追求感情的满足，并通过对爱情的体验乃至幻想来感受生命的美好，这是古今中外文学反复描述的人类生活现象。《红楼梦》正如书名所提示的，是写了一场由女性的光彩所映照着的人生幻梦；又正如作者以“悼红轩”为书室名所提示的，是写了对由女性所代表的美的毁灭的哀悼。但是，《红楼梦》却不能简单地视为言情小说。女性的美好、爱情的可贵，正是作为以男性为代表的社会统治力量和正统价值观的对立面而存在的；所谓“美的毁灭”，也不仅是难以预料的命运变化所致，而更多的是由于后者对前者的吞噬。在描写爱情故事的同时，作者反映了广大的社会生活面和深入的人生体验，表现了不同人生价值观的冲突，从而赋予这部小说以深刻的意义。
《红楼梦》的全部故事情节是在贾府的衰败史上展开的。
虽然作者对这种衰败作出类似虚无主义的解释，所谓“乱烘烘你方唱罢我登场，反认他乡是故乡。甚荒唐，到头来都是为他人作嫁衣裳！”所谓“好一似食尽鸟投林，落了片白茫茫大地真干净！”但作为天才的艺术家，作者并不以这种解释为满足，而是以对于生活本身极细致的观察，以前所未有的真实性，描绘出一个贵族家庭的末世景象。
欲写其衰，先写其盛。小说开头的十几回，写刘姥姥初入荣国府的见闻，写宁国府为秦可卿出殡时的声势，写元春选妃、省亲，层层推进地表现出贾府特殊的社会地位和令人目眩的富贵豪奢。但就在这烈火烹油似的繁华景象中，透出了它不可挽救的衰败气息。钱财方面固然是坐吃山空，内囊渐尽，费力地支撑着大家的体面，而尤其不堪的是，合宁、荣两府，那些作为家族支柱的男性，有炼丹求仙的，有好色淫乱的，有安享尊荣的，有迂腐僵硬的，却没有一个胸怀大志、精明强干的。这个大家族最后终于不禁外力的一击，而彻底崩溃。按原作的意图，生长于“温柔富贵乡”的贾宝玉流落为乞儿，巧姐沦落为妓女，命运给予他们如此残酷的安排。这一部家族史在封建时代是具有典型性的，同时，不管作者是有意还是无意，他通过描写贾府的衰败，贾府的主人们的无能与堕落，也反映出整个社会的衰败气氛及其统治力量丧失生机的萎靡状态。
在反映贾府衰败的过程中，作者还写出了它的广泛的社会联系：与贾府结为姻亲的薛家、史家、王家，彼此“一荣俱荣，一损俱损”，由此喻示表现于贾府的一切，都并非孤立的现象；贾雨村徇情枉法，王熙凤私通关节、仗势弄权，薛蟠打死人浑不当事……，这些都反映出豪门势族在社会上的无法无天和封建法律对于他们的无效；乌进孝缴租的那一张名目繁多的帐单，和贾珍对此而发的“这够做什么”的牢骚，显示这一家族的经济基础和剥削性质；甚至，像袭人探家的细琐情节，也构成平民生活与贵族生活的对照。凡此种种，使小说在以贾府为中心的同时，展现广阔的社会生活景象。
贾宝玉是《红楼梦》中的核心人物。这一人物形象无疑有作者早年生活的影子，但也渗透了他在后来的经历中对社会与人生的思考。在贾宝玉身上，集中体现了小说的核心主题：新的人生追求与传统价值观的冲突，以及这种追求不可能实现的痛苦。
在小说的第一回，作者就以神话为象征，写女娲补天时，炼就三万六千五百零一块巨石，单剩一块未用，弃在“大荒山无稽崖青埂峰”下。此石“灵性已通，因见众石俱得补天，独自己无材不堪入选，遂自怨自叹，日夜悲号惭愧”。后有一僧一道将此石化为一块小小的美玉，携到“昌明隆盛之邦，诗礼簪缨之族，花柳繁华地，温柔富贵乡，去安身乐业”，它就是贾宝玉出生时口中所衔的“通灵宝玉”，也是“宝玉”本人。
这个神话故事揭示了贾宝玉这一形象的本质特征——他是一个具有良材美质的“废物”。
具有良材美质的“废物”，这显然是悖谬的表述，而悖谬的产生，在于个人与社会的相互背离和相互抛弃。前面所引作者表示自责和忏悔的一段话中，所谓“背父兄教育之恩，负师友规谈之德”等种种“劣迹”，都一一通过肯定的笔调呈现在贾宝玉身上：他和他的严正的父亲相视若仇，是贾政眼中的“逆子”；他读《西厢记》那么津津有味，一沾到科举程文之类就头疼不已；他不但和大观园中的女孩们如胶似漆，就是同“呆霸王”薛蟠也混得来，可以在一起快活地唱市俗小调，却不乐见正经宾客；他本是个“无事忙”的“富贵闲人”，但听到别人劝他讲究“仕途经济”，便直斥为“混帐话”……。总之，那个时代社会体制中一切公认为有价值的东西，都遭到他的蔑视和抛弃，因而，他就既成为社会政治结构的“废物”，也成为他的“诗礼簪缨之族”的“废物”。但正像宝玉的前身是“补天”之石的神话所暗喻的，追求某种社会性的功业，仍然是作者所肯定的，然而他无法在现实中为宝玉找到一条可行的道路。宝玉的形象，在本质上和《儒林外史》中为“正经人”所不齿的杜少卿很相似，但吴敬梓对原始儒学的信仰，尚能使他让杜少卿参与祭祀泰伯祠那样的“盛典”（尽管作者意识到这也是虚幻的），而在《红楼梦》中，连这种聊可自慰的安排都无法作出。所以，贾宝玉所具备的良材美质，对于他的潜在志向而言，也成了“废物”。
一个追求健康的自由生命、不愿在陈旧的社会规范中僵死或腐烂的才智之士，不能为社会体制所容而成为“废物”，这样的描述已足以发人深思，而无需进一步曲求其深了。
爱情是人生幸福和美感的来源之一，也是痛苦的人生的避难所。在社会生活中失去意义、失去归宿的贾宝玉，便把他的全部热情灌注在大观园那一群年轻女性的身上了。以作者强烈的主观意向塑造出来的宝玉形象，是一个天生的“情种”。一岁时抓周，“那世上所有之物摆了无数”，他“一概不取，伸手只把些脂粉钗环抓来”；七八岁时，他就会说“女儿是水作的骨肉，男人是泥作的骨肉。我见了女儿，我便清爽；
见了男子，便觉浊臭逼人”；更有一句因林黛玉而起、对紫鹃所说的话：“活着，咱们一处活着；不活着，咱们一处化灰化烟，如何？”情已经成了生命的唯一意义，唯一立足之地。
在宝玉作为贾府的富贵分子的现实身份上，他的生活方式绝非严谨。但与此同时，作者又通过宝玉的形象表达了一种理想化的态度，即第五回警幻仙姑赞许宝玉的“意淫”——
这是一种对美丽女性的纯情感、近乎是精神性的爱慕，而不带有“欲”的成分。它把异性之间的情感升华为诗意的、纯净的美感，使之可以成为无意义的人生中的意义，成为对抗社会公认价值观的精神力量。
贾宝玉对于青年女性的普遍性的痴迷，是这种“意淫”的表现；他和林黛玉的爱情，更是这种“意淫”的集中表现。在《红楼梦》中，宝黛两人既有一层表兄妹的现实关系，更有一层以神话形式——所谓“木石前盟”，即“石头”的化身曾在仙界天天为一棵仙草浇水，仙草遂化为绛珠仙子，与“石头”同下人间，愿以毕生之泪还报其恩情——所表达出来的象征关系。在现实关系中，他们的爱情是因长年的耳鬓厮磨而自然形成，又因彼此知己而日益加深的。宝玉曾对史湘云和袭人说：“林姑娘从来说过这些混帐话（指“仕途经济”）不曾？若他说过这些混帐话，我早和他生分了！”但这种爱情注定不能够实现为两性的结合，因为在象征的关系上，已经规定了他们的爱情只是生命的美感和无意义人生的“意义”。所以在故事情节的发展中，“木石前盟”被世俗化的“金玉良缘”所取代，而最终导致宝玉的出家。——这种诗化的爱情带有先天的脆弱性。
包括黛玉在内的寄托着作者的感情和人生理想