灵活就业人员在缴纳社保期间去世，其社保个人账户中的余额是可以退还的，根据《中华人民共和国社会保险法》第十四条规定，个人账户不得提前支取，记账利率不得低于银行定期存款利率，免征利息税，个人死亡的，个人账户余额可以继承。

建议参考：

1、在参加灵活就业社保前，了解相关政策和规定，包括退费政策。

2、及时缴纳社保费用，确保社保账户的正常运行。

3、如果出现意外情况，及时向社保部门咨询退费流程和所需材料。

相关法条：《中华人民共和国社会保险法》第十四条规定，个人账户不得提前支取，记账利率不得低于银行定期存款利率，免征利息税，个人死亡的，个人账户余额可以继承。