山东济南企业在进行境外投资备案时，需要前往济南市商务局或山东省发展和改革委员会进行办理。

根据《境外投资管理办法》（商务部令2014年第3号）的相关规定，地方企业报所在地省级商务主管部门备案。对于山东省内的企业而言，这意味着它们需要向山东省商务厅提交备案申请。同时，根据权限划分，中方投资额在3亿美元以下的境外投资项目由投资主体注册地的设区市发展改革委备案，因此济南的企业也可以选择向济南市商务局提交备案申请。