Надо понимать, что утепление стен не добавляет тепла внутри помещения, а позволяет сохранять внутреннюю температуру от воздействий окружающей среды. Если помещение не отапливается, то смысла его утеплять нет. Тем более туалет, одна стенка которого практически является его дверью, открыв которую, Вы полностью заменяете воздух на уличный. Снаружи туалет рекомендуется покрыть любым плоским материалом, не так важен материал (металл, осп, фанера и т.д.) сколько защита от осадков. Я бы посоветовал сделать внутреннюю отделку, которая будет эстетичной, легкой для уборки и не продуваемой. Самый бюджетный вариант это обивка картоном, например от холодильника, если есть возможность, то можно оббить пластиковыми панелями или рейкой.
Вот несколько примеров:
Вот еще один из бюджетных вариантов :-)