В начале надо определиться какая это олифа.
Если натуральная, то в её составе 97% растительные масла и 3% сиккативы.
То есть такую олифу можно удалить различными составами для удаление жирных и масляных пятен.
Можно обычный пятновыводитель для жирных пятен использовать, вот не плохой "Доктор Бекманн".
Или использовать растворитель (или даже разбавитель) для масляных красок, масляные краски изготавливаются на основе натуральной олифы.
В комбинированной олифе, в её составе растворитель, вот этим же растворителем и можно удалить олифу с валика.
Как вариант, это очищенный бензин "Калоша", Уайт-Спирит, скипидар, керосин.
Так же важно учитывать из какого материала изготовлена "шубка" валика, то может быть велюр, мех натуральный и искусственный, поролон и.т.п.
То есть нужен индивидуальный подход.
Не каждый растворитель подходит для поролоновых валиков (это к примеру).
Олифу проще удалить если она ещё не высохла, то есть сразу после использования валика.