فضرب عشرين سوطا .
ولإسرافه في المعاصي خلعه أهل المدينة فقد أخرج الواقدي من طرق أن عبد الله بن حنظلة بن الغسيل قال والله ما خرجنا على يزيد حتى خفنا أن نرمي بالحجارة من السماء أن كان رجلا ينكح أمهات الأولاد والبنات والأخوات ويشرب الخمر ويدع الصلاة .
وقال الذهبي ولما فعل يزيد بأهل المدينة ما فعل مع شربه الخمر وإتيانه المنكرات اشتد عليه الناس وخرج عليه غير واحد ولم يبارك الله في عمره .
وأشار بقوله ما فعل إلى ما وقع منه سنة ثلاث وستين فإنه بلغه أن أهل المدينة خرجوا عليه وخلعوه فأرسل لهم جيشا عظيما وأمرهم بقتالهم فجاؤا إليهم وكانت وقعة الحرة على باب طيبة وما أدراك ما وقعة الحرة .
ذكرها الحسن مرة فقال لله ما كاد ينجو منهم واحد قتل فيها خلق كثير من الصحابة ومن غيرهم فإنا لله وإنا إليه راجعون .
وبعد اتفاقهم على فسقه اختلفوا في جواز لعنه بخصوص اسمه فأجازه قوم منهم ابن الجوزي ونقله عن أحمد وغيره فإنه قال في كتابه المسمى بالرد على