高須克弥氏、元々オリンピックは女人禁制だった「森会長はお気の毒」と持論を展開