被隔离过或感染过的劳动者，用人单位可以拒绝录用甚至解除劳动合同吗？

不可以。
《中华人民共和国传染病防治法》第十六条的规定，“任何单位和个人不得歧视传染病病人、病原携带者和疑似传染病病人。”《中华人民共和国劳动法》第三条规定，“劳动者享有平等就业和选择职业的权利、取得劳动报酬的权利、休息休假的权利、获得劳动安全卫生保护的权利、接受职业能培训的权利、享受社会保险和福利的权利、提请劳动争议处理的权利以及法律规定的其他劳动权利。”