公元1548年,道三开始退居幕后,将家督交给长子斋藤义龙。隔年,道三将女儿斋藤归蝶嫁给织田信长,两家利用联姻的方式结盟。当时流传织田信长是个傻瓜,所以道三想着会联姻,是因为一来是政治婚姻,二来这等于派出一个人,可以监控织田家。

公元1553年,斋藤道三在正德寺与女婿织田信长会面,这次的会面,织田信长穿着奇装异服,却带领军容壮盛的部队,其中还有三百挺铁炮也就是火绳枪,这种武器在日本取得不易,当年有个几十挺就很了不起了,三百挺简直是天文数字。斋藤道三对于女婿的实力大感震惊,而且在会面时,织田信长迅速换装,变成风度翩翩的少年,谈吐举止端庄,道三感叹道“我儿只配为信长牵马!”