Если Вы сверлите отверстия в ручном режиме (дрель, перфоратор, то есть не на сверлильном станке), то причины могут быть следующие:
Не правильно подобранное сверло, оно не соответствует материалу в котором делается отверстие, или же не охлаждаете сверло при сверлении, оно "село".
Или же сверло давно не затачивали, оно тупое.
Возможно "бьёт" патрон дрели, или проблема с самими сверлом, например плохо его зажали в патроне, сверло "повело".
Возможно не правильно держите инструмент (под углом) на заходе сверла.
Или же не кернили, не сделали метку, углубление в материале перед сверлением.
После разметки в материале нужно сделать метку не большое углубление, для этого нужен вот такой
кернер и молоток.
Вместо кернера можно использовать металлический дюбель для монтажного пистолета.
В случае с древесиной накернить можно шилом, гвоздём.
Если сверлите кафель, керним без удара, я обычно для этого использую острую часть
"балеринки" (круговое сверло).
Возможно сверлите бетон ударной дрелью (или перфоратором), попали или в арматуру и сверло увело, или в крупный гравий (щебень) и сверло увело в сторону.
Арматуру можно перерубить зубилом и молотком, или же вместо сверла по бетону использовать сверло по металлу, пройти арматуру без удара и далее устанавливаем сверло с победитовой напайкой и досверливаем отверстие.
Возможно сверлите неоднородный материал отсюда и проблемы.
Из личного опыта могу посоветовать сверлить не одним сверлом, а несколькими.
В начале сверлом не большого диаметра, делается направляющее отверстие и после этого зажимаем в патрон дрели (перфоратора) сверло нужного диаметра.
Возможно не правильно выставили обороты, они слишком большие и особенно на заходе сверло уводит в сторону.