姪っ子が自営業の俺に「どうしていつも家にいるの？働かないの？」と聞いてくるので、つい手が出てしまった

悪気は無かったというか大人として注意をしただけなのですが、
身内とは言え親じゃない人に子供が注意されるのを
嫌がる親は多いのでしょうか？
またそういった人と上手く折り合って仲直りするにはどうしたら良いのでしょうか？
というものです

特に小さい子供がいる人がいたらよろしくお願いしますm(_ _)m