نطفه ی اصلی توطئه آنگاه منعقد شد که دو نفر از رؤسای منافقین در یک تصمیم اساسی با هم پیمان بستند که: «اگر محمد از دنیا رفت یا کشته شد نگذاریم خلافت و جانشینی او در اهل بیتش مستقر شود».
سه نفر دیگر هم در این تصمیم با آنان هم پیمان شدند، و اولین معاهده را این پنج نفر در کنار کعبه بین خود امضا کردند و آن را داخل کعبه زیر خاک پنهان کردند. این ماجرا در حجة الوداع مقارن روزهایی که پیامبر صلی الله علیه و اله مردم را برای حضور در غدیر آماده می کرد به وقوع پیوست.
در اجرای این توطئه ی شوم، چهار نفر از آنان سراغ مهاجرین رفتند، و معاذ بن جبل که یکی از این پنج نفر بود گفت: «شما مسئله را از جهت مهاجرین حل کنید، من درباره ی انصار ترتیب امور را خواهم داد»!
از آنجا که سعد بن عباده رئیس انصار، کسی نبود که با ابوبکر و عمر هم پیمان شود، لذا معاذ سراغ بشیر بن سعید و اسید بن حضیر که هر یک بر نیمی از انصار- یعنی دو طایفه ی «اوس» و «خزرج»- نفوذ داشتند آمد و آن دو را با خود در غصب خلافت هم پیمان نمود.
