旧时，县内平原区和山区民众多聚族而居，少则几户，多则几十户，形成自然村落，便是后来“X家坪”、“X家湾”等地名的由来。富户以自身财力，大兴土木，修“封火”屋、建“窨子”屋，其风格接近明清时期的徽派建筑。而贫穷人家的房屋多为茅屋，即屋顶盖茅草或稻草，周围筑土坯，山区住房屋顶大多盖杉树壳。家里条件较好的房屋，平原区多为泥砖砌墙，山丘区多为木构架，屋顶盖小青瓦，一般为4逢3间或3逢2间不等，间宽1丈2尺5至1丈3尺5之间，间深1丈3尺到1丈5尺左右，堂屋略宽于厢房，屋檐高9尺，脊高1丈3尺8或1丈4尺8或1丈5尺8，再高尾数也不能离数8。正屋两头加修的屋称为“磨角”或“偏屋”，一般作厨房、柴屋、猪栏、茅厕用。堂屋和厢房后面加修的部分则称为“拖水”或“拖步”。屋后及两侧开沟沥水，屋前辟禾场以供晾晒谷物和室外活动。
县内民宅自古崇尚风水，择基定向十分讲究。根据地形、地貌、水流方向等因素决定朝向，一般都是坐北朝南、“负阴抱阳”格局。山丘区选择宅基还讲究“左青龙右白虎” （分别指住房左右两侧的山）、“宁可青龙高万丈，不可白虎抬头望”。这样，东方的太阳能照射房屋，西面的山能挡住西晒，能使家宅吉利平安，人丁兴旺富贵。平原区建房除坐北朝南外，还注意选择地势较高处作宅基，无论山丘平原，房屋都近水而居。
大户人家的房屋院落重重，其厅堂或2层1明楼，或3层2明楼，或鸳鸯走马楼，厅堂与厢房间设正方形或长方形天井通风采光，外围砌青砖封火墙。封火墙内的房屋全部用木构建，有的厢房顶上和地面铺设木板，称为“上楼下地枕”屋。在瓦儿岗、牛车河、沙坪、芦花潭、牯牛山、西安、太平铺、三望坡、龙潭等大山区，农户的房屋不少还依据山势修成吊脚楼。
