养殖场的违建认定涉及多个方面，主要包括以下几点：

是否履行了设施农用地审批手续

按照《城乡规划法》和《自然资源部、农业农村部关于设施农业用地管理有关问题的通知》，设施农用地项目应履行相应的审批或备案手续。若未履行相关手续，即使养殖场实际用于养殖，也可能被认定为违法建筑。

是否取得了相关部门的同意

即使养殖场未办理设施农业审批或备案手续，但若经过乡镇政府同意和县级农业部门验收，并实际用于养殖，则可能符合农用地的用途管制要求，不应被认定为违法建筑。

是否符合城乡规划

根据《城乡规划法》第六十四条，未取得建设工程规划许可证或未按照许可证规定建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设。若养殖场未经规划许可擅自建设，则属于违法建筑。

土地性质和禁养区问题

如果养殖场占用的耕地属于基本农田或其他禁养区，则无论是否取得相关手续，均属于违建，必须拆除。

环保要求

养殖场若未能满足环保标准，如废水未经处理直接排放、废气排放超标或噪音扰民等，可能被视为违法建筑。

建设规划许可证

在城市、镇规划区内进行建设的养殖场，必须办理建设工程规划许可证。若未取得许可证或未按许可证规定建设，则属于违法建筑。

政府信赖和保护

若养殖户基于对政府的信赖兴建养殖场，并满足养殖产业发展需要，仅因用地手续问题认定其违法建筑可能不合理。

综上所述，养殖场的违建认定需要综合考虑多个因素，包括用地手续、环保要求、是否符合城乡规划等。建议养殖场在建设和运营过程中，严格遵守相关法律法规，确保合法合规。