Конечно и линолеум не что-то одно и определённое и грунтовки совершенно разные.
Поэтому в первую очередь учитывайте какая именно была использована грунтовка и какое средство можно применять (средство очистки) на том, или ином линолеуме.
Если это водоразбавляемые грунтовки (к ним можно отнести и разбавленный водой обойный клей, которым грунтуют стены перед поклейкой обоев), или ПВА + вода тоже грунтовка.
Водой и очищаем, но с моющим средством не абразивным.
В начале удаляем (лучше деревянной лопаткой) сильные загрязнения от грунтовки (то есть высохший верхний слой), смачиваем губку в воде и кладём её (или тряпку) на испачканное место.
Ждём пока грунтовка размокнет и далее, уже влажной губкой намоченной в моющем средстве (заранее готовим вода = моющее) оттираем грунтовку.
Процедуру можно повторить, если не убрали с первого раза.
Можно пробовать и Уайт-Спиритом, но не на каждом линолеуме.
Грунтовка на линолеуме, это "косяк", а не технология некого процесса (линолеум финишное половое покрытие и укладывается после работ на стенах, потолках), по этой причине всё индивидуально, но как правили моющего средства и губки вполне достаточно.
Если так уже получилось, то грунтовку лучше сразу (свежую) убирать с линолеума и не давать её время на высыхание.
Можно купить и специализированное средство, к примеру "Mr.Proper",
тоже справится с некоторыми видами грунтовки при этом не повреждая линолеум.