Вариантов у Вас очень много.
В начале я бы посоветовал посетить авто магазины у них в продаже огромный выбор авто-эмалей работающих по пластику (к примеру окраска пластиковых бамперов производится ими).
Плюс ко всему можно купить аэрозоль, качество покраски будет выше, у ниже покупается и грунтовка.
Но и строительные магазины могут предложить нужную краску, вот к примеру не плохая , акриловая эмаль "Радуга-180".
Так же хотелось бы посоветовать приглядеться к иному варианту, всё же окраска в домашних условиях, это не то качество (не заводское), хотя если пригласить профессионалов, могут приблизиться.
В продаже есть специальные плёнки как раз для Вашей цели, то есть пластиковый подоконник, просто ламинируется, это вариант чуть дороже покраски, но качество выше.
Так же предлагаю задуматься о замене подоконников, и этот вариант довольно часто используют, ибо сами пластиковые подоконники не очень дорогие, ремонт с покраской может оказаться дороже.