人気俳優・香川照之、「THE TIME,」降板へ