Перемычка это такой бетонный брусок, который перекрывает оконный проём. Толщина там бывает если мне не изменяет память разной, у меня на даче кажется 25 сантиметров, для зимы этого явно не достаточно, тем более что там очень твёрдый и плотный, т.е. теплоизолятор из него не важный. По этому перемычку надо утеплить снаружи или изнутри и ещё обязательно проверить как она положена, нет ли щелей, через которые поступают холод и влага. на глаз можно не определить, тут неплохо тепловизором всё окно посмотреть и тогда уже принимать решение что делать.