Временно решил данный косяк, изменив скин таким образом, чтобы кнопки влезали.
Проверил только на своей Lumia 640 DS LTE с установленной последней официальной Windows Phone 10.
Панель не убирается, но пользоваться можно. При повороте в горизонтальное положение в обратную сторону, поскольку панель остается на своем месте, получается ерунда.
Естественно, требуется доступ к файловой системе.