违法建筑的拆除主要涉及以下部门：
县级以上地方人民政府：
依据《行政强制法》第三十四条，当事人在行政机关决定的期限内不履行义务的，具有行政强制执行权的行政机关可以依法强制执行。因此，县级以上地方人民政府可以责成有关部门或乡、镇人民政府依法组织强拆。
城乡规划主管部门：
如城乡规划局，负责对城市规划区内违反规划建设行为和非法临时建筑进行查处。对于未取得建设工程规划许可证或未按照许可证规定进行建设的行为，可以作出责令停止建设、限期改正、罚款、限期拆除等行政处罚。若当事人不按照处罚决定要求停止建设或拆除，城乡规划局需向建设工程所在地的县级以上地方人民政府提出申请，由县政府责成有关部门采取查封施工现场、强制拆除等措施。
土地行政主管部门：
如国土局，负责处理违法占地建设行为。对于违法占地建设，国土局可依法作出处罚决定，责令限期改正、治理、停止施工或责令限期拆除。若建设单位或个人在诉讼期满不起诉又不自行拆除，国土局可申请人民法院强制执行。
建设行政主管部门：
如住房和城乡建设局，对未依法办理施工许可手续进行建设的违法行为，有权责令改正、停止施工及罚款等。若违法建筑严重影响城市规划，建设行政主管部门可参与组织强拆。
城市行政执法局或城管局：
在一些城市，市政府规划主管部门可能通过委托方式将执法权交给这些部门，具体负责违法建筑的拆除工作。
人民法院：
对于作出国有土地上房屋征收补偿决定的市、县级人民政府，经人民法院裁定准予组织强拆的情况下，人民法院可以依法组织强拆。
总结来说，违法建筑的拆除通常由县级以上地方人民政府负责责成有关部门或乡、镇人民政府实施，具体执行部门可能包括城乡规划主管部门、土地行政主管部门、建设行政主管部门以及城市行政执法局或城管局。在司法程序中，人民法院也有权依法组织强拆。
