Если именно заклеить, а не заделать, то можно приобрести вот такие самоклеящиеся заглушки для мебели,
надо подобрать нужные под цвет и рисунок древесины из которой изготовлена дверная коробка.
Дополнительный клей не нужен, с обратной стороны заглушек (не лицевой) уже есть клеевой слой.
Можно купить самоклеящуюся плёнку, в общем-то тот же вариант заглушек, возможно лучше ей полностью оклеить коробку, смотрите уже по месту.
Или приклеить кусок шпона.
Но на мой взгляд сам вариант заделки отверстий от гвоздей выбран не верно.
Гораздо правильней отверстия не заклеивать, а заделывать, есть в продаже и ремонтный воск по дереву (подбирается под цвет коробки), можно отверстия зашпаклевать шпаклёвками по дереву, подобрав нужный цвет.
Можно из лака и опилок (древесной пыли) сделать самостоятельно шпаклёвку.
Тем более речь о старой коробке, она наверняка окрашена, после шпаклёвки отверстий, коробка красится в сплошную.