В первую очередь надо полностью ликвидировать причину появления грибка.
Вы пишите об оконных откосах, скорей всего у Вас ПВХ окна со стеклопакетом, деревянные окна со стеклопакетом "дышат" и этой проблемы (грибок, плесень) не наблюдается.
Нужна хорошая вентиляция, есть смысл в установки вентиляционного клапана на окно.
Проверьте подоконник относительно батареи, возможно он слишком широкий.
Проверьте общую вентиляцию в помещении (естественную).
Только после этого имеет смысл бороться с грибком, иначе ситуация будет повторяться постоянно, возможно перед отделкой (бамбуком) откосы надо было утеплить.
Ну а Вам надо, снять бамбуковые обои, далее удалить штукатурку под обоями (грибок внутри, а не снаружи).
Нанести новую штукатурку.
Далее нанести средство от грибка, вот например не плохое "CERESIT CT 99".
И только после этого оклеить откосы обоями.
Ну а если хотите удалить просто пятна, то любое чистящее (не абразивное) удалит эти пятна, но это не правильные действия, грибок под обоями в штукатурке.
Или приобретите чистящее средство для деревянных поверхностей, вот например не плохое "Emsal".
Пара колпачков средства на на 5-ь литров тёплой воды, перемешали.
Нанесли губкой на пятно и чуть потерли.
Всё, смывать средство, не надо.
Но всё же советую один раз всё сделать правильно.
А так же проверьте герметизацию рама-окна проём, что-то у Вас не правильно сделано, грибок на откосах, это нарушение технологии, а пятна, это мелочь.