都可以。
红糖是指甘蔗经榨汁，浓缩形成的带蜜糖，由于没有经过高度精练，几乎含有蔗汁中的全部成分，除了具备糖的功能外，还含有维生素与微量元素，如铁、锌、锰、铬等，营养成分比白砂糖高很多，食用具有养血、活血的功效。
而冰糖是白砂糖煎炼而成的冰块状结晶，是由蔗糖加上蛋白质原料配方，经再溶、洁净处理后重结晶而制得的大颗粒结晶糖，食用具有止咳祛痰，润喉去燥，生津止渴。
两者加入红豆薏米水中都可以起到很好的调味作用，如果仅是为了增加甜味口感的话，红豆薏米水放红糖或冰糖都可以，但从食用功效来看的话，如有补虚补血需求的话放红糖更好；而清热降燥则放冰糖为佳。