我想最大化形式的似然函数 L
L（\ theta，x_1，\ ldots，x_13）= \ sum_ {k = 1} ^ 13 l_k（x_k）
关于$ \ theta $，其中 x_k 是一个大型数据集（每个大约9GB）。我有一个代码C，可以独立计算每个 l_k 函数。对于数值优化器的每次迭代，我必须再次加载每个 x_k ，因为我的计算机不会同时加载所有它们。它抱怨记忆。
当前，编写代码是为了将 x_k 和其他大型数组存储为全局变量。
我也一直在进行并行化，但是我不确定什么是最好的方法（我可以并行化 l_k 的计算或 l_k中的循环），我已经读到使用全局变量是净的。推荐在并行化时使用。
有什么建议吗？
对不起，数学...