MPI与CUDA的问题

悠闲的小猫

原帖由 悠闲的小猫 于 2011-6-9 11:30 发表


真的很郁闷， 刚才看到MSDN上说，为了安全，作为服务运行的进程将被隔离，同时不允许访问display driver, 这个限制从vista起有效：
参考：
http://www.google.com.hk/url?sa= ... pP9YkzBpXl1fAtjgp7A
不知道能否越过去。

另：刚才我试验选中“与桌面交互”，然后在系统日志中看到"MPICH2 Process manager被配置为与桌面交互，但是该系统被被指为不允许交互”。

所以说，smpd如果不作为服务，那么应该就没问题。刚才我尝试了使用c:\program files\MPICH2\bin\smpd.exe -d启动，一切顺利，可以正常跑cuda程序，但是可惜有很多冗余的debug信息。

这样实际上可以hack下MPICH2:
修改MPICH2中的CreateProcess()的调用，改成CreateProcessWithLogon()之类的，这样可以以单独的administrator之类的用户启动，避开windows vista/7的隔离。楼主不妨这样hack, 重新编译mpich2, 然后用新的补丁过的smpd.exe替换原来的试验下。

yogikai

小猫您好！
我也是最近几天咨询了NVIDIA的技术人员，确实64bit windows系统和N卡的驱动存在计算和显示的隔离问题，这导致了windows server 2008 64bit 下 mpiexec无法发现CUDA设备。
我现在采用了比较耗钱的方法(感谢实验室支持)：升级了主板，其pci-e 2.0插槽有三个，这样我用另一个低级别的N卡(不支持CUDA也可)进行显示，而GTX470专门用作计算。
硬件明天到，进展如何将会及时在本贴中贴出。
谢谢小猫，谢谢大家的关注。
yogikai

[ 本帖最后由 yogikai 于 2011-6-15 10:01 编辑 ]

悠闲的小猫

原帖由 yogikai 于 2011-6-15 09:55 发表
小猫您好！
我也是最近几天咨询了NVIDIA的技术人员，确实64bit windows系统和N卡的驱动存在计算和显示的隔离问题，这导致了windows server 2008 64bit 下 mpiexec无法发现CUDA设备。
我现在采用了比较耗钱的方法(感谢实验室支持)：升级了主板，其pci-e 2.0插槽有三个，这样我用另一个低级别的N卡(不支持CUDA也可)进行显示，而GTX470专门用作计算。
硬件明天到，进展如何将会及时在本贴中贴出。
谢谢小猫，谢谢大家的关注。
yogikai

额。。这样估计不可以的。因为GTX470无论是否接显示器，都是在windows server 2008下使用WDDM驱动， 而WDDM是显示驱动，所以，SMPD作为服务，同样应该也被windows的session 0给隔离。所以楼主您还是会遇到无法找到显卡的。

我建议是如上所述，修改下mpich2, 这样是大约1-2个小时的和0成本的投入。我感觉这样比较好点。

当然。这只是我的估计。以楼主实际为准。

[ 本帖最后由 悠闲的小猫 于 2011-6-15 11:46 编辑 ]

yogikai

好的， 我去试试，谢谢！
之后会将相关方法贴上来。

yogikai

faint 直接上了一块 tesla c2050 安装上windows 2008 64bit的驱动，解决了。
如果有人遇到了同样的问题，又不方便更换硬件，就还是用linux系统吧。
再次谢谢小猫和所有关注帖子的同志们。

悠闲的小猫

原帖由 yogikai 于 2011-6-17 12:24 发表
faint 直接上了一块 tesla c2050 安装上windows 2008 64bit的驱动，解决了。
如果有人遇到了同样的问题，又不方便更换硬件，就还是用linux系统吧。
再次谢谢小猫和所有关注帖子的同志们。

额。有钱人啊。。。不过楼主您直接上Tesla未尝不是一个快速的解决方案。

nicolver

LZ你好，请问你这MPI和CUDA结合的例子能分享下么，我也想学习学习

yogikai

nicolver 你好!
我是以张舒的书中的例子为模板，开发自己的应用。程序的总体框架已经在那个例子中给出了。
另购买了mpi的相关教材：《MPI并行程序设计实例教程》张武生等编著 清华大学出版社，通信部分可以按照这本书所讲述的内容进行学习。
yogikai