В первую очередь конечно же надо очистить шпаклёвку о которой Вы пишите, я так понял что грунтовка под, а не на ней.
Далее необходимо принять решение чем именно будем удалять грунтовку.
Вариантов несколько, масляную грунтовка разогреваем строительным феном и далее стираем с поверхности, ветошью.
Второй вариант это использование химических средств, то есть смывок.
Смывки работают не только с красками, но и с другими ЛКМ (грунтовка к ним относится).
Вот к примеру не плохая смывка от "НовБытХим".
Смывка универсальная, удаляет ЛКМ с любых поверхностей включая бетон, благодаря универсальности работает и по масляным ЛКМ.
Смывку наносят на поверхность, ждут примерно 5-ь минут (+ -), грунтовка прямо на глазах начнёт вздуваться, очищаем шпателем, на финише замываем потолок водой.
Возможно процедуру придётся повторить несколько раз.
В конце хотелось бы посоветовать, примите решение чем дальше будет отделываться потолок, если это натяжные потолки, или потолки из гипсокартона, то грунтовку не обязательно удалять вообще.
Если потолок под шпаклёвку, то выясните под какую именно шпаклёвку.