Минусы в том, что в этом случае придется конкретно потратиться на теплоизоляцию. Но плюс в том, что исчезнет балкон и появится что-то типа лоджии или же продление комнаты. Я видела маленькие квартирки, в которых есть такое соединение, и там балкон - это небольшая кухонька, где готовят еду.
В принципе, Вы можете поступить так, как пожелаете. Главное, чтобы холодно от этого не стало в комнате, поэтому утеплить весь балкон стоит. Возможно, также стоит поменять стеклопакет.
А еще это может восприниматься как перепланировка.