香川照之、違約金は5億円超か〝降板ドミノ〟止まらず