穆阿威叶死于680年4月18口。继位的是他的儿子叶齐德。当穆阿威叶在世的时候，就已经给他举行过拥戴宣誓了。伊斯兰教贵族的首脑们——阿里的次子侯赛因·欧麦尔的儿子阿卜杜拉和左拜尔的儿子阿卜杜拉——拒绝举行这次拥戴宣誓，等穆阿威叶死后再次要求他们宣誓时，只有欧麦尔的儿子遵照办理，另外两个人则都逃到麦加去，以躲开负责此事的麦地那总督的势力范围。库法人极力要求侯赛因到他们那里去，在他们那里就任哈里发。他接受了这一诱人的请求，不过后来在伊拉克却不曾得到他所予期的支援。他的族弟穆斯林·阿基尔原来打算到那里事先替他去进行活动，但是却爲叶齐德的总督欧贝杜拉·齐雅德所俘掳而处死。侯赛因在途中被欧贝杜拉·齐雅德的前哨巡逻队所截获，由于他不肯返回，巡逻队就把他一直押送到克伯拉。这个地方在幼发拉底河以西，在距离巴格达南面偏西约六十二英里的沙漠边缘。他们把他禁闭在卡尔巴拉，希望干渴会迫使他投降。伊断兰纪元61年1月10日，即西元680年10月10日，叶齐德军队．的司令官欧麦尔给了他一个最后通牒；欧麦尔的父亲是穆罕默德的一个圣门弟子，曾任军事领袖的赛耳德·伊本，艾比·瓦嘎斯。侯赛因从库法支持者们那里已经指望不到什麽援助，那些人由于穆斯林·阿基尔被处死而张皇失措。虽然如此，侯赛因还是拒不投降：作爲穆罕默德的外孙，他自恃别人奈何不得他。刚一交战后不久侯赛因就战死了。他的首级被送到哈里发那里去。哈里发对于这种未曾料到的结果深以爲憾，他吩咐把那些逃脱这次杀戮的阿里派都带回麦地那去，在那里予以宽厚的照顾。侯赛因这次殉难虽然并无任何政治上的影响，但是却促进了（（十叶派”在宗教上的发展。“十叶派刀就是阿里派，后来成爲一切反对阿拉伯意向的中心。直到今天，葬在卡尔巴拉的侯赛因墓仍然是所有十叶派教徒，特别是波斯人，要去参拜的最神圣的目的地：这些人们的最热切的心愿一直就是能够在侯赛因的旁边得到一个最后的安息之地。
伍麦叶王朝碰到的一个危险得多的敌手是阿卜杜拉·左拜尔。左拜尔以圣地麦加爲避难所进行反抗哈里发的活动。他从那小灿动麦地那人，而麦地那人是有一切理由来非难这个使他们城也失掉昔日荣誉的政权的。叶齐德在683年又作了一次努力想把他们争取过来，但是徒劳无功。在这以后不久，大约有一千个定居在麦地那的伍麦叶族人就遭到了攻击，他们不得不逃到他们的族长麦尔旺·哈克木·阿斯那里去避难。这个族长在穆阿威叶在位时期曾经一度作过汉志总督。哈里发派穆斯林·欧克白率领一支一万二千名叙利亚人组成的军队前往援助他们，穆斯林在爲哈里发的父亲服务期间就已经显示出他的勇气了。被围困在麦地那的伍麦叶族人这时已经投降，被准许自由撤退。他们在去往叙利亚的路上和穆斯林会师。683年8月，穆斯林在城北的哈拉熔岩地带安营扎寨。在让他们稍事休息之后，反叛者们就向他进攻过来，战斗的结果是古莱氏和辅士贵族的精华遭到歼灭性的失败。次日，穆斯林命令将尚未丧命的几个魁首处死，然后代表叶齐德接受麦地那人的归顺。
穆斯林从麦地那继续向麦加前进，但是他死于途中。侯赛因．努马伊尔继续率领着这支军队。围攻了两个月之后，侯赛因听到哈里发叶齐德逝世的消息，因此他就同阿卜杜拉·左拜尔进行谈判，表示愿意拥戴他作哈里发，条件是阿卜杜拉不仅对于前此的战争不加报复，而且还要到叙利亚去以使叙利亚继续保持爲政权的中心。阿卜杜拉拒不同意第二项条件。尽管如此侯赛因还是收兵解围，返回叙利亚去了。
叶齐德是在683年11月11日死的。的确，他在作哈里发期间曾经耽溺于音乐、美酒、娱乐之中，不堪留意国家大事。他也终止了对拜占廷人的战争，他在未作哈里发之前参加这个战争并不是出于心甘情愿的。基督教传说里称赞他特别会寻欢作乐。但是在他短短的统治期间，他也在财政管理方面着手进行过改革，而且改革得也不是毫无手腕。叶齐德还注意到大马士革古达绿洲的水利灌溉问题。他的儿子穆阿威叶二世当时还很年轻，在他死后马上就在大马士革得到承认，不过在位时期很短就死去了。
甚至在穆阿威叶二世活着的时候，叙利亚的阿拉伯部族之间就已经开始了战争，而这种战争此后在伍麦叶政权之下就没有真正平息过。北阿拉伯的一个部族盖斯人的一些分支如盖特方。穆达尔等等都住在叙利亚北部、美索不达米亚和伊拉克一带，他们对于从穆阿威叶一世起就开始偏祖南阿拉伯的凯勒卜部族的作法心怀不满；凯勒卜是住在巴尔米拉和古代莫阿比之间的库达阿人的主要部族。阿卜杜拉·左拜尔在伊拉克取得承认之后，盖斯人就在左法尔·哈里斯的领导之下兴兵作乱，把金那斯林的一个凯勒卜人总督驱逐出去。在穆阿威叶死后，赫姆斯的总督也承认左拜尔作哈里发。最后，在大马土革当权的达哈克·盖斯也倒向左拜尔。伍麦叶族的族长麦尔旺在叶齐德死后就已经在大马士革定居下来，他最初表示有意放弃自己的要求以支援住在麦加的哈里发，不过后来又听从别人的劝说在684年6月22日在雅比雅接受了拥戴宣誓。叶齐德的舅父哈桑，白海达勒也到雅比雅去支援他。哈桑身任外约旦总督，是拥护伍麦叶家族的人中的一个真正有点实权的人物。麦尔旺和哈桑一起率兵前往大马土革；盖斯人在大马上革北面的马兹拉希特平原上迎击他们，结果战败。684年8月，麦尔旺在事先夺取了国库之后就在大马士革也接受了拥戴宣誓，尽管在马兹拉希特一战获胜恢复了伍麦叶王朝的统治，但是与此同时血族复仇之事也随而并起，因之盖斯和凯勒卜人之间的怨仇真正爆发还只是后来的事，其结果是破坏了伍麦叶政权的基础。
麦尔旺的在位期间也未得久长，而且其间还充满了连续不断的争斗。他乘埃及不备突然进军占领了埃及。在他往埃及进军时，他的巴勒斯坦总督们替他掩护后方，击退了阿卜杜拉·左拜尔的兄弟穆斯阿卜发动一次进攻。最初麦尔旺不能不承认叶齐德一世的一个儿子爲继位人；但是在经过一系列的拖延不决的谈判之后，他终于说服了叶齐德一世的这个儿子，让位给麦尔旺的儿子阿卜杜·马立克和阿卜杜·阿齐兹。阿齐兹是弟弟，麦尔旺曾经任命他爲埃及总督。
哈里发麦尔旺在年轻的时候曾经在保卫奥斯曼之战和骆驼之战中身受重伤，在瘟疫从伊拉克再次传人叙利亚的时候他已年近七十高龄；就像穆阿威叶二世先于他而死于瘟疫一样，这次传染病也使他死于685年5月7日。关于他的妻子（原来是叶齐德的寡妻）曾经因爲她的儿子不能继位而把麦尔旺勒死以替子报仇的说法纯粹是一种无稽之谈。
麦尔旺的儿子阿卜杜·马立克这时得开始进行一场顽强的斗争以争取继承权。当时在叙利亚公开反抗他的有幼发拉底河流域盖斯人的领袖左法尔，其他各省则都支援左拜尔。马立克爲了保卫叙利亚北部不受拜占廷人侵犯又化费了两年的时间，直到两年之后，他才能够抽身转向伊拉克；当时在伊拉克作总督的是阿卜杜拉·左拜尔的兄弟穆斯阿卜。穆斯阿卜本来有许多困难要克服。原来自从侯赛因在克伯拉战败之后，阿里派因爲缺乏有才能的领袖人物，一直潜伏不动；但是这时却有一位能干的领袖出现了，这个人就是赛基夫人穆赫塔尔。穆赫塔尔是一个孤儿，由一个曾经给阿里作过马丹总督的叔父抚养成人。穆赫塔尔本人曾经参加过穆斯林·阿基尔的叛乱，当他从牢狱中释放出来以后，他就到麦加去投奔了左拜尔。三年之后，他又在伊拉克出现了，显然是作爲阿里的一个小儿子的使者而去的。阿里的这个儿子跟他的母亲取名称爲穆罕默德·伊本·哈纳菲亚。由于这个儿子并不是法蒂玛小的，没有先知穆罕默德本人的血统，因此真正说来也就并无承继之权。于是穆赫塔尔很快地就选择了另外的一条道路：他表面上说是得到了天使迦伯利的啓示而传起道来，他模仿着《古兰经》的形式用一种晦涩的押韵的散文宣传有一个麦海迪马上就要出现。他说这个麦海迪到宇宙末日会消除大地上的一切不公平的现象，使世界上到处都充满正义。他的传道吸引了皈依伊斯兰教并受其保护的亚拉姆人和伊朗人，这些人是被阿拉伯人当作二等公民看待的。穆赫塔尔把统率他们的军权授予易卜拉欣·马立克·艾什台尔。艾什台尔是阿里手下的一个名将之子，他征服了库法的阿拉伯人。穆赫塔尔从库法取得了整个伊拉克及东部各省的支援，这些地方被征服的人民热烈地投入他的旗帜之下。但是他却不曾把库法的阿拉伯人争取过来，库法的阿拉伯人乘艾什台尔外出率兵进攻阿卜杜·马立克的机会就向穆赫塔尔进攻。穆赫塔尔这时危险万分，幸得军队听到消息赶回才把他营救出来。因此穆赫塔尔就把所有反对他的人们都予以残酷的惩罚，说他们在侯赛因殉难事件中曾经是同谋犯。两天之后，艾什台尔在哈吉尔把欧贝杜拉·齐雅德率领的叙利亚军队战败，齐雅德就是那个因克伯拉的杀戮而觉得内咎的领袖，他在哈吉尔阵亡。这是穆赫塔尔的一次最人的胜利。穆赫塔尔爲庆祝这一胜利举行了一次奇异的仪式，把一个空宝座当作神位而加以膜拜。但是继这次胜利之后不久他就被推翻了。在同哈瓦利吉派进行战争期间一直坚定地留在巴士拉按兵不动的穆萨布这时率兵向他进攻。经过两场血战之后，穆斯阿卜把穆赫塔尔围困在库法要塞里。穆赫塔尔困守了四个月之后在687年4月4日一次出击战中战死。虽然穆斯阿卜以无比残酷的手段消灭了穆赫塔尔的支持者，但是穆赫塔尔的教义却在十叶派的来世论中留传下来。
穆斯阿卜这时在伊拉克还能够再镇压下几次小规模的伍麦叶王朝运动。但是在691年阿卜杜·马立克亲自率领着一支军队到达伊拉克。这时穆斯阿卜的精锐部队正在和哈瓦利吉派作战受到牵制。穆斯阿卜进兵到巴格达以北底格里斯河西岸亚美尼亚教长修道院那里去迎击这位哈里发。可是他的军官们都表现得极不可靠，他们甚至竟和哈里发进行起谈判来。不过哈里发却对他们的变节行爲不认可，他甚至还对穆斯阿卜表示如果他肯投降过来就可以让他作伊拉克总督。但是穆斯阿卜是非常忠实于他的兄弟的，在10月中旬，他在战场上阵亡。
这时阿卜杜·马立克所需要对付的只有阿卜杜拉·左拜尔一个人了。左拜尔住在麦加，从那里他维持着整个汉志的统治。马立克派哈查只·伊本·优素福去攻打他。哈查只是塔伊夫的一个萨基弗人，他在攻打穆斯阿卜战役巾得到了马立克的赏识。哈查只利用他的出生地作爲作战根据地，从塔伊夫向麦加进攻。他对于这个城市的神圣不可侵犯地位完全没有放在眼里，从艾卜库贝斯山上就开始向麦加轰击起来。但是另外那个对立的哈里发在卡巴天房又坚守了七个月，到692年10月一次出击时连他自己的几个儿子都背弃了他，他也就战死了。这样一来，这个帝国又重新恢复了统一。论功行赏，这位得胜的将军除了也门和叶麻麦之外又得到了汉志总督的职位。当他用了两年的时间把那里的秩序恢复了之后，在694年12月哈里发又把他调任到这个帝国里的最重要的职位上。去接替哈里发死去的兄弟比什尔而爲伊拉克总督。他在库法就职时在讲坛上发表了一篇演说，这篇演说已经和他的前任齐雅德的演说同样地有名了。
阿卜杜·马立克在解决了他的竞争者以后，马上就恢复了停息了约有十五年之久的对拜占庭的战争，在这以前，马立克不得不以纳贡方式换取和平。这次战争的恢复据说是和阿卜杜·马立克所采取的币制改革有关。根据稗史上的传说，一直到那个时候，阿拉伯帝国里的通用货币只有拜占庭的货币，内地造的钱币上面也都有希腊文字。至于拜占庭人所用的纸则是从埃及那里弄来的。埃及的国家工厂爲拜占庭造的纸上面都有基督教的纹章，还有带十字架的透明花纹。据说哈里发把这些都用表明伊斯兰教信仰的纹章来加以代替。因此拜占庭人就威胁要准备一种金第纳尔，上面带有侮辱先知的字样。而当时阿拉伯人除了从拜占庭人那里才能得到金第纳尔之外，在别的地方是弄不到金第纳尔的。因而在 693年哈里发就决定在大马士革自己铸造货币，在第二年哈查只在库法也仿法他的榜样。于是，在正式记载账目的时候就采用了阿拉伯文，虽然和从前一样官员们还完全是些非阿拉伯人；而在此以前在叙利亚一直是用希腊文，在伊拉克则用波斯文记账的。阿卜杜·马立克又把一向给予基督教徒臣民的自由大大地加以限制，籍以保证帝国的统一。
阿卜杜·马立克在朝廷之中也树立了一种与过去不同的风气。在他以前的统治者一向都是像古代阿拉伯部族族长一样的对待他们的臣民，而阿卜杜·马立克则是第一个以专制的统治者的姿态出现。作爲一个神权政体国家的代表人，他也赋予神学家们以较大的势力，他自己也认真地执行他本身在宗教方面的责任。当然，这并不足以妨碍他把基督教诗人艾赫泰勒请到他的宫廷里来。艾赫泰勒是出生于希赖的一个台格利卜部族的人，曾经给叶齐德一世效过劳。由于这位诗人不受任何宗教上考虑的限制，哈里发就可以让他运用他那种有力的诗句去打击麦地那宗教界人土所结戍的反对势力，这种反对势力有时候还是很麻烦的。
阿卜杜·马立克任命了自己的亲戚作各省总督（伊拉克除外），藉以稳定各省的局面。埃及和北非这些在他统治时期才把柏柏尔人最后的反抗予以摧毁的地方则由他的兄弟阿卜杜·阿齐兹统辖着。阿齐兹原先曾经得到他父亲的保证有承继哈里