且山本五十六好赌，而且赌品不错，他把赌博和碰运气的游戏看得比饮食还重要，玩扑克、打桥牌、下围棋、打赌都称得上是行家里手。他与同僚赌，与部属赌，还常跟艺妓赌，而且赌得认真。
他与一个好朋友赌了三千块，这笔钱当时能在东京买幢好房子，结果山本五十六输了，好友一笑了之，而山本五十六却坚持还债，每月从工资取出一部分来偿还，一直还了十几年。
山本出使欧洲时，据传说由于他赌技超群，赢钱太多，摩纳哥的赌场甚至禁止山本入场，他是摩纳哥第二位被禁止入场的日本赌客（第一个是日俄战争时期驻欧洲的日本特工之王明石元二郎）。山本曾说，如果天皇能给他一年时间去赌博，可以为日本赢回一艘航母。