Правильное утепление мансардного окна выполняется при его монтаже, то есть и монтаж и утепление одновременно.
Или утепление мансардного окна производится с общим утеплением мансарды.
Вы пишите что окно уже установлено (из этого вытекает что сделана наружная отделка мансардного окна), к сожалению вариантов осталось не так много.
В первую очередь нужно проверить качество гидроизоляции рама окна-проём.
Далее утепление оконных откосов с последующей отделкой.
Дальше варианты на выбор, утеплитель с дальнейшим оштукатуриванием откосов:
Пенопласт, или минеральная вата крепится к поверхности откоса (предварительная грунтовка с просушкой) на клей, далее армирующая сетка и штукатурный слой.
Утеплитель может быть уложен и под гипсокартон из которого сделаны откосы,
или сэндвич панели и так далее
Точно так же можно утеплить и подоконник мансардного окна, но опять же окно у Вас установлено, смотрите уже по месту, стоит ли демонтировать и подоконник и откосы которые у Вас уже есть.
Так же к утеплению мансардного окна можно отнести и монтаж прибора отопления под окном (к примеру радиатор отопления, или конвектор).
И в конце не большой совет, старайтесь не использовать монтажную пену как утеплитель, это не утеплитель, а баловство.