Вариантов довольно много. Правда не совсем понятно из какого материала подоконник.
В первую очередь пробуйте механическим путём, это работает с застывшей пеной (кстати свежую пену лучше сразу не трогать, дождитесь пока застынет, убрать её будет проще).
Просто отламывайте застывший кусок пены от поверхности, практически всё удалится, остатки можно пробовать оттереть подсолнечным маслом и ватным тампоном.
Если всё плохо, то есть и более кардинальные меры, но дорогостоящие.
Это специальные очистители монтажной пены.
Тут надо работать аккуратно, старайтесь очиститель наносить только на пену, после этого необходимо подождать 15-ь минут, затем протереть влажной тряпкой, после влажной, сухой.
Есть и ещё один "хитрый" способ: В аптеке продаётся препарат называется "Димексид", стоит копейки, прекрасно справляется с застывшей пеной.
Правда процесс этот долгий, средством смачиваем ватный тампон и трём остатки пены.
Перед работой со средством, очищаем механическим путём.
Если подоконник пластиковый, то ножом и шпателями лучше не работать, можно смастерить деревянную лопатку, дерево не повредит поверхность и оно (дерево) не оставляет следов.
Ну и последний вариант, совершенно простой, но рабочий, это обычный ластик.
Всё тоже самое, руками удаляем бОльшую часть застывшей пены, а дальше работаем ластиком.
Важно помнить что адгезия у монтажной пены хорошая, но это не клей, застывшую пену убрать не сложно.