肯塔基的摩尔根家族发端于1795年。是年，托马斯·亨特·摩尔根的外曾祖父约翰·韦斯利·亨特从新泽西州的特伦顿迁至列克星敦。他在那里开设了一个小店，改善了交通，进而发家致富，创下了一份价值百万美元的家业，成了肯塔基中部的首富。1814年，他修建了一幢豪华的邪宅，取名霍普蒙特。汤姆就出生在这幢房子里。这座建筑物至今还保留着，座落在列克星敦城第二大街和米尔街相交的街口，作为一个纪念馆，有所侧重地同时纪念武将摩尔根和科学家摩尔根。
约翰·韦斯利·亨特的女儿亨里埃塔嫁给了亚拉巴马州亨茨维尔的商人卡尔文·C·摩尔根。由于她的意愿，加上父亲商务上的需要，她终于说服丈夫迁回布卢格拉斯。摩尔根夫妇俩住在当时的小城列克星敦市郊德茨克里克路附近的一个大农场，也就是现今的蒙塔博路对面。他们一共生下六个儿子和两个女儿（还有一个女儿夭折了），一家大小过着一种独特的南方破落贵族式的生活。没有现款可供花销，生活以及孩子的教育费用都仰仗上辈的遗产。按1849年老亨特死后不久宣读的遗嘱，他把霍普蒙特这幢邸宅留给亨里埃塔，从而确立了摩尔根一家在列克星敦应有的社会地位。
汤姆的父亲查尔顿·亨特·摩尔根是第四个儿子，比老大约翰·亨特小十五岁。查尔顿长得眉清目秀，思维敏捷，雄心勃勃。他二十岁时毕业于特兰西瓦尼亚大学。这所学校离他家霍普蒙特只有几分钟路程，他的几个兄弟都从事大麻业和经商，很是兴旺；但他毕业后并未参加兄长们的行业，而是当了美国驻墨西拿领事。1859年，他到达西西里时刚碰上革命爆发，他毫不犹豫地站到民族主义者一边，成了第一个承认加里波迪政府的领事，而且，带着美国领事的头衔，却以加里波迪的副官身份参战，还负过伤。
西西里革命战争结束，美国内战遂起。查尔顿回到故乡，在约翰·亨特·摩尔根的骑兵团当一名上尉。在1862和1863年的征战中，他多半在约翰尼的鞍前马后。他受过一次伤，被俘三次。每次都等到有同等军阶的北军战俘作交换时才被放回。
摩尔根几兄弟都随约翰东征西讨，但除将军本人外，只有一人战死，这就是十九岁的托马斯·亨特·摩尔根。他第一个参加南军，打起仗来很是莽撞，好像置身险境而其乐无穷。他被敌方俘获，囚禁起来，又作为战俘交换，但一经交换，他又赶忙回去投入战斗。1863年7月，在肯塔基州莱巴嫩的一次小规模战斗中，由于托马斯行动鲁莽，约翰命令他撤离战场。但等到冲锋号吹响，托马斯·亨特·摩尔根少尉就向前冲去，胸部中弹，心脏被打穿。查尔顿在战场上写信给母亲，说：“汤姆的死，使我觉得我今后的幸福全被毁了。我爱他胜过其他兄弟。”
同月晚些时候，在一场力不从心的袭击中，约翰·亨特·摩尔根连同几百名部下被活捉，押解至俄亥俄州。摩尔根几兄弟，包括查尔顿在内，被剃去须发，囚禁在哥伦布城的俄亥俄州监狱。约翰·摩尔根在他兄弟们和其他军官们的策划下越狱逃跑，这段往事是未来的遗传学家童年时代常常听到的故事之一，过后又讲述给他的孩子们听。不过，讲这故事的不是汤姆·亨特·摩尔根本人，而是他的母亲和妹妹。这是一场惊心动魄的脱逃壮举：首先偷偷挖了一条地道，然后以迅雷不及掩耳之势从警犬和残暴的狱卒中冲过，爬火车，骑烈马，历经种种危险，穿过北军的占领区，最后回到了自己的队伍。
约翰·亨特屡败屡战，又重新组织袭击。他从来就不是一个优秀的战略家，现在好像再也无法约束自己的部下。比如，据说有一起银行抢劫案，就牵连到他的袭击队员。与此同时，查尔顿和其他兄弟们仍身陷囹圄，由于参与了越狱行动，受到严密监视。他们苦闷无比，查尔顿尤甚。他们的母亲天天都给他们写信，但信件要经过严格检查，不能及时送到他们手中。查尔顿不断给住在巴尔的摩的三表妹埃伦·基·霍华德小姐写信，写得越来越钟情，越来越炽烈。
1864年3月，他被俘快满一年，查尔顿被转移到特拉华堡，那是一个正规的军事监狱。约翰·亨特·摩尔根1864年9月4日在田纳西州格林维尔战死的消息传来时，他仍是一个战俘。一直到翌年2月，也就是他被囚近两年时，查尔顿才获释。那时，他妹夫巴兹尔·杜克继约翰任司令，驻军弗吉尼亚，当查尔顿赶到弗吉尼亚时，南军统帅李将军已在阿波马托克斯向北军投降。于是大家只好各自回家。
1865年12月7比查尔顿同埃伦·基·霍华德（家里人叫她内利）在巴尔的摩的以马内利圣公会教堂举行婚礼，当地几百名社会名流出席了结婚仪式。埃伦·基·霍华德是《星条旗歌》作者弗朗西斯·斯科特·基的外孙女；她祖父约翰·伊格·霍华德是美国独立战争中的英雄，1788…1791年任马里兰州州长。人们谈到埃伦，常说她“像报春花一样美丽”。更为重要的是，她是南方忠贞不渝的女儿。她对查尔顿的爱情，由于他为南军遭受了牺牲而更加深挚。他们共同的忠于南方的信念一直是维系他们婚姻的重要纽带。新婚夫妇回到霍普蒙特。由于战争中帮助南军的人曾被剥夺公民权和财产权，列克星敦摩尔根家族的家业开始败落。肯塔基大麻业萧条，而摩尔根兄弟没有及时转向经营烟草。约翰·亨特·摩尔根死后，由老二卡尔文主持留下来的大麻经销公司。一大家人挤在摩尔根老太太这幢邸宅里：卡尔文的妻子、卡尔文的岳母（从弗吉尼亚久经战乱的城市里士满来的难民）、理查德·柯德（他母亲的专职保镖，在她死后很久才结婚）、弗爵西斯·基（被这一家宠坏了的孩子，退役军人，二十岁时还蹲过北军的牢房）——现在又加上查尔顿和内利。他们到达列克星敦时，内利已有身孕。
这孩子1866年9月25日出生在霍普蒙特。查尔顿只希望孩子长大成人能够“勇敢而高尚，不致辱没了他的名字”。他在给约翰·亨特·摩尔根的遗孀的信中说，他“本来想用大伯的名字给孩子取名为约翰，但又想到将军的英名将会百世留芳，而汤姆牺牲时：地位卑微，史书上不会有他的位置，所以给孩子取名为托马斯。”
就这样，在这个人口众多、富有传奇色彩的大邸宅里，未来的科学家、诺贝尔奖获得者托马斯·亨特·摩尔根出世了。他最初几岁就是在这里度过的。这时，他的祖母给查尔顿、内利和这个孩子准备了一份小礼物：在紧靠霍普蒙特后面的百老汇街上（现在的北百老汇街210号）建一座房子。房屋的修建由查尔顿监管，他妈妈出钱并保留所有权。汤姆四岁时，妈妈生了个小弟弟，取名查尔顿；七岁时又添了个小妹妹，埃伦，基·霍华德·摩尔根。于是，一家满员了。摩尔根一家每年夏天必定去马里兰州霍华德家探亲。由于查尔顿拼死拼活想要在华盛顿谋个职务，平时也经常在霍华德家进进出出。双方都是值得骄做的家族，尽管他们的大部分财产早已损失殆尽，但仍保持着南方贵族的习惯和风度。女人们笃信宗教，至少是忠于各自的圣公会——摩尔根家的女人是列克星敦的基督会的忠实信徒，霍华德家的女人忠于巴尔的摩的以马内利圣公会。顺便谈一段轶事，小汤姆的叔叔，勇敢得近乎鲁莽的托马斯·亨特。摩尔根生前去参加一个浸礼会，教堂却根据记录本说他家里没有一个人是基督徒。但这一定只代表他们对圣公会的看法，而不表示他们对摩尔根一家有成见。
查尔顿和内利把大部分精力花在事业上，但结果总不成功。查尔顿不论如何卖劲，如何运用家族的影响，他在宦途上还是越来越不走运，于是他用越来越多的时间同老战友通信，协助组织摩尔根袭击队员重聚联欢。成百上千的老兵参加了这类活动，甚至到2O世纪还继续进行。第一次联欢时，汤姆·摩尔根才一岁半，这次是把约翰·亨特·摩尔根将军和托马斯·亨特·摩尔根少尉的遗体从原来安葬的地方迁回列克星敦。在汤姆上大学二年级那年还有一次戏剧性的仪式。以查尔顿为主要组织者的几百名原南军将士骑着大马浩洁荡荡列队进城安营扎寨。将军唯一活着的孩子，一个名叫约翰尼的遗腹女儿（当时十九岁）检阅了他们的队伍，并被授予以他父亲的名义赠送的礼物。第三次为他大伯父举行的纪念活动（也是他父亲组织的最后一次）汤姆没回家。当时他已四十几岁，正开始从事导致他获诺贝尔奖的研究工作。，正值当侄子的在纽约一个实验室拿着柄放大镜观察果蝇的时候，列克星敦大多数居民都涌上街头去观看南军雷神骑着战马的大型塑像的揭幕典礼。这一尊塑像至今仍然屹立在梅因大街上法院的门前。
在汤姆的童年和少年时期，约翰·亨特·摩尔根的名字不断在他耳边回响。他午后放学回家时，经常碰见一个老兵在门口等着要见查尔顿上尉和内利小姐。他们两人都极乐意帮助从前甫军的将士和他们的家属。不但有由政府出资举办的纪念他怕父的活动，出版歌颂他伯父的歌曲和书籍，而且，那数以千计的自称曾经一度同摩尔根一道驰骋疆场的人中，不论谁有什么周年纪念日或去世，总又会有新的回忆录和故事出版，记述摩尔根袭击队员的功勋。后来，摩尔根的部下所剩不多了，那么，即使是自称曾给摩尔根的战马钉过蹄铁的人去世也够条件。摩尔根究竟是南军真正的英雄，还是北军的手下败将，或者简直是个无赖——这一笔长期纠缠不清的细帐，就渐渐无人争辩了。当然，摩尔根家族对此是十分敏感的。
然而，尽管他父母是那么看重这一段往事，托马斯·亨特·摩尔根一经开始了自己的工作，就没为此占用一点时间。甚至在年纪还小的时候，他就觉得这类事没有多大意义。他很小就有了自己的兴趣和爱好，不管是摩尔根这一家或是霍华德那一家，谁都不像他。他无论在哪里，样子总是不振作，大家觉得他有点像个书呆子。他有一个捕蝴蝶的网。他还组织列克星敦的伙伴和巴尔的摩的表兄弟去列克星敦郊外或霍华德家在马里兰州奥克兰的夏季别墅附近的山里去采集标本。他的技术欠佳。有一次，正当他和堂兄约翰·亨特·摩尔根动手解剖一只猫时，这家伙一下子苏醒过来，怒吼着跳下桌子逃跑了。汤姆十岁那年，他分得了百老汇街那幢房屋顶楼上的两间屋子。他自己动手油漆墙壁，贴上糊墙纸，在里面摆上他收集的标本，有剥制过的鸟，有鸟蛋、蝴蝶、化石、矿石，还有从野外捡来的各种各样的东西。这两间屋子属他专有，家里的人谁都不去动里面的东西。听说，在摩尔根家三个孩子中的最小的一个（汤姆的妹妹内利）1956年去世时，这些东西仍然完好无损。内利一生一直住在这幢房屋里。亨特、摩尔根、基、霍华德四个家系常自诩出过富商，出过外交官，出过律师，出过军人，但在他们精心保存的族谱中却没有一个科学家。用今天的遗传学术语来说（摩尔根同其他人一道创造了这个词儿），他也许是个“突变”。
1880年，汤姆满十四岁后一星期，被录取进了设在列克星敦的新建的肯塔基州立学院预科学习。当时肯塔基州布卢格拉斯地厦正进行教育体制改革，院系调整频繁，这所学校的兴建是一系列重组、合并、分立的一项最新措施。虽然这个学院后来站稳了脚跟，井进一步发展成现在的肯塔基大学，但汤姆入学时，正是它最混乱的岁月。
当这所学院两年前从肯塔基大学中分出来时，失去了它所有的财产和校舍。1880年，234名学生和17名教职员大部分挤在一幢临时租用的座落在现今伍德兰公园的楼里。从地下室到顶楼，每间屋都住满了人。离城四分之三英里的地方，从共济会手中又租来了三间房，商业系、化学系和教育系设在其中。列克星敦把过去集市那块地皮捐赠给学院，正在修一幢行政大楼，但两年后汤姆进入大学本科一年级时，校舍仍然极为紧缺。
学校只收男生。他们这伙人行为粗鲁，常常吵吵闹闹，使当地的市民和爱看报的公众既喜欢，又讨厌。学校生活制度极严，所有的学生，包括摩尔根在内，全是军官候补生，必须穿价值二十美元一套的军装（学费才十五美元），每天军训一小时，每星期五天。五点半起床号响了，这是一天的开始，晚上十点的熄灯号才结束一天的活动。白天，军号声把学生赶进课堂、教堂、自习室和饭厅。除此之外，校方还精心制定了189条校规，而且授予教职员一项权利（实则为义务），再多想出几条。全体学生每个星期天至少必须作一次礼拜。学生不得携带枪支或猎刀（不过很多学生不理会这上条）。除了教科书以外，学生必须要有校长特许才能把其它书籍或报纸带进校舍，难怪摩尔根被记过几次过，主要是因为作礼拜迟到，或是在教室和大厅里不守秩序。
理科课程开设不多。普通生（以别于商科生和师范生）可以在经典学科和理科间自行选择。摩尔根选了后者。理科学生主修课程有数学、物理与天文、化学、农业与园艺、兽医学、历史与政治经济学、心理与伦理学、拉丁文（另加法文或德文）、应用力学、英文、工程学、庭园设计与美化，等等。
但对于摩尔根，所有课程的核心部分是贯通四年的博物学，授课教师是A·R·克兰德尔教授。他身材细长，下巴上蓄着一撮尖尖的胡须，原来一直搞联邦的地质调查工作，现在一面在肯塔基讲授博物学全部课程和另外许多门理科的课程，一面完成他的博士论文。他是一个极为出色的博物学家。汤姆喜欢他，后来曾说过他从未见过比克兰德尔“更好的人或更出色的教师”。像美国大多数大学一样，当时的博物学主要是指系统植物学，特别侧重于比较和分类，动物学也基本如此，只是更简略一些，在博物学这一范围内还包括一门保