请教老师、专家：关于“施工现场作业人员部分”社会保险费的结算问题

各位老师或专家：关于“施工现场作业人员部分”社会保险费的结算问题需要请教，万分感谢！
        情况：有一个项目，合同工期为20天，由于第三方原因，实际开工日期较合同开工日期推迟了30天，实际开工前，因为开工日期推迟及施工条件的改变，建设单位和施工单位签署了简单的《关于“××工程”工期调整的确认函》，“确认函”明确“经（双方）协商确定，施工工期调整为：自××年××月××日至××年××月××日”，调整后的施工工期为40天。结算时，根据建设单位要求，施工单位如实提供了施工期间的考勤表。但在结算审核时，建设单位坚持认为:“施工现场作业人员部分”社会保险费按照合同工期（20天）内的出勤人工工日计算（以考勤表前20天记录人工计算），而实际施工工期内的另外20天的出勤人工工日的社会保险费不予计算（考勤表后20天记录人工不予计算），造成了审核的“施工现场作业人员部分”社会保险费较施工单位结算中的社会保险（结算按投标时文件规定费率32.04%计算）少了将近50%，约占总造价的3%左右。请问各位老师或专家，建设单位关于“施工现场作业人员部分”社会保险费的计算是否合理、合法？如果合理、合法，那么，依据是什么？如果不合理、不合法，那么，正确的计算方法和依据又是什么？再次万分感谢各位老师或专家的指教。