如何申请和使用超过2GB大小的内存？

KeyTo9_Fans

下面这段代码，申请使用1GB的内存：

1. #include<cstdio>
   
2. #include<cstring>
   
3. 
   
4. const long long n=1<<27;
   
5. long long a[n],i,s;
   
6. 
   
7. int main()
   
8. {
   
9.         memset(a,-1,sizeof(a));
   
10.         for(s=i=0;i<n;i++)
    
11.                 s+=a[i];
    
12.         printf("%I64d\n",s);
    
13.         return 0;
    
14. }

复制代码

编译和运行都是没问题的，但把

const long long n=1<<27;

改成

const long long n=1<<28;

编译就出错了，原因是使用了超过2GB大小的内存。

但我的编译环境是64bit的：



理论上应该支持申请和使用2GB以上的内存的。

应该做些什么尝试，才能突破这个2GB的限制呢？

#####

此外，由于大数据计算的需要，我还希望使用long long类型的数值来表示数组大小，例如：

char a[1<<33];

而“1<<33”超过了int范围，目前被识别成0了，无法正确识别成2的33次方。

我应该做些什么尝试，才能使用long long类型的数值来表示数组大小呢？

wayne

申请 这么大的连续的 栈空间 应该是不合适的。
实际应用中，都是 内存的文件映射 的方法。比如Linux下就是mmap， windows下就是CreateFileMapping，MapViewofFile

KeyTo9_Fans

把文件系统当内存用，我已经实现了。

但我嫌100MB/s的文件读写速度太慢，我想直接读写几百GB的大块内存。

我预测在内存里读写的速度能比文件读写快10倍，所以才设法申请和使用大块内存的。

wayne

可以换成固态硬盘，raid0 提升速度。
纯粹 内存的话，估计在操作系统层面 做了限制。

gxqcn

将"1<<33"，改写成“1ull<<33”，应该可以“正确识别成2的33次方”

KeyTo9_Fans

使用vector之类容器，好像可以突破2GB的限制。

但单个容器好像不可以占用超过4GB的内存，否则直接弹出“应用程序遇到问题需要关闭”的窗口。

像下面这个程序这样，使用a和b两个容器，好像就可以突破4GB的内存限制了：

1. #include<cstdio>
   
2. #include<vector>
   
3. #include<cstring>
   
4. using namespace std;
   
5. 
   
6. const long long n=1ull<<32;
   
7. vector<char>a,b;
   
8. long long i,s;
   
9. 
   
10. int main()
    
11. {
    
12.         for(i=0;i<n;i++)
    
13.                 a.push_back(i);
    
14.         for(i=0;i<n>>1;i++)
    
15.                 b.push_back(i);
    
16.         for(s=i=0;i<n;i++)
    
17.                 s+=a[i]+b[i>>1];
    
18.         printf("%I64d\n",s);
    
19.         return 0;
    
20. }

复制代码

其中，a容器申请和使用了4GB的内存，b容器申请和使用了2GB的内存，

加起来一共6GB，成功突破了4GB的限制，

运行这个程序之后，打开任务管理器，可以看到这个程序占用的内存缓缓增加，

最终的内存使用量，确实是6GB：



而程序输出的所有元素求和的结果，也与预期相符：



#####

如果为b容器申请和使用(2GB+1字节)的内存，则运行出错了：



这也许是vector的缺点，他只能倍增扩容，

申请(2GB+1字节)的内存就相当于申请4GB的内存，把我电脑的内存吃光了。

我可能需要去一台内存更大的电脑上，才能继续测试能否申请和使用(4GB+4GB)的内存。

mathe

可以试一下malloc函数，应该能够突破2G的限制。

Ickiverar

你截图里的那个64bit是说编译器的版本是64bit的。
但默认还是编译出来32bit的程序。
你想编译64bit程序得编译选项加一个 -m64

mathe

通常编译器不会允许太大的静态数组，和32位64位没关系