Видимо просто человек приспосабливается к окружающим условиям жизни. Из камня не клал, поэтому это скорее размышления печника, чем ответ на вопрос.
Почему глина?
Глина очень доступна по России, а кирпич не что иное та же смесь глины с песком, просто обожжённая. При нагревании, кирпич как и глиняно-песчаный раствор, их связующий, имеют примерно один состав и соответственно коэффициент расширения, поэтому кладка не лопает.
Некоторые печи сложены из так называемого кирпича сырца-ещё не обожжённого, обжиг происходит непосредственно в печи во время топки.
Вполне допустимо что какой-то бутовый камень (в Америке) имеет такие же коэффициенты расширения как и связывающая его смесь, возможно даже и не глина, а что-то другое. Но там это доступнее.