<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=Windows-1252">
<style type="text/css" style="display:none;"> P {margin-top:0;margin-bottom:0;} </style>
</head>
<body dir="ltr">
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
Dear Tony, Runfeng and all.</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
Many thanks for your help; the issue appears to have been resolved now.</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
What appears to have been causing this problem is the presence of unpurged openmpi in the system. I had uninstalled openmpi, but had not purged the files. This morning, following a check suggested by Runfeng, I went a step further to uninstalling and purged
 openmpi and the code now seems to be working as it should. <br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
If anyone runs into a similar issue, please check for any "leftover" openmpi and purge as needed. Hopefully this will help.<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
Many thanks to Runfeng and Tony for their help.</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
Kind regards,</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
Christos<br>
</div>
<div id="appendonsend"></div>
<hr style="display:inline-block;width:98%" tabindex="-1">
<div id="divRplyFwdMsg" dir="ltr"><font face="Calibri, sans-serif" style="font-size:11pt" color="#000000"><b>From:</b> flash-users-bounces@flash.uchicago.edu <flash-users-bounces@flash.uchicago.edu> on behalf of Christos Stavrou <cstavrou@magdrivespace.com><br>
<b>Sent:</b> 05 July 2021 16:37<br>
<b>To:</b> Tony Curtis <anthony.curtis@stonybrook.edu><br>
<b>Cc:</b> flash-users@flash.uchicago.edu <flash-users@flash.uchicago.edu><br>
<b>Subject:</b> Re: [FLASH-USERS] MPI issue</font>
<div> </div>
</div>
<style type="text/css" style="display:none">
<!--
p
        {margin-top:0;
        margin-bottom:0}
-->
</style>
<div dir="ltr">
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0)">
Hi Tony and all,</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0)">
<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0)">
Thank you again for your help. <br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0)">
<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0)">
I have followed your advice, after first re-installing mpich. I can write a simple MPI program in C++ and it runs as expected ("Hello from processor ..."). FLASH now also works as expected with the "+noio" flag set, but the behaviour is as before without this
 flag. The problem is thus with the HDF5 step (in fact, the step after "Initial dt verified" is teh creation of the first checkpoint file).
<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0)">
<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0)">
I have been trying to figure out what is wrong with the HDF5 step, but to no avail. I re-installed HDF5 and checked the include and link environment variables. Both seem fine.
<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0)">
<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0)">
The relevant hdf5 libraries installed are:</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0)">
libhdf5-mpich-103-1/hirsute,now 1.10.6+repack-2 amd64 [installed,automatic]
<div>libhdf5-mpich-cpp-103-1/hirsute,now 1.10.6+repack-2 amd64 [installed,automatic]</div>
<div>libhdf5-mpich-dev/hirsute,now 1.10.6+repack-2 amd64 [installed]</div>
<div>libhdf5-mpich-fortran-102/hirsute,now 1.10.6+repack-2 amd64 [installed,automatic]</div>
<div>libhdf5-mpich-hl-100/hirsute,now 1.10.6+repack-2 amd64 [installed,automatic]</div>
<div>libhdf5-mpich-hl-cpp-100/hirsute,now 1.10.6+repack-2 amd64 [installed,automatic]</div>
<span>libhdf5-mpich-hl-fortran-100/hirsute,now 1.10.6+repack-2 amd64 [installed,automatic]</span></div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0)">
<span><br>
</span></div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0)">
<span>Once again, any helpful pointers would be much appreciated.<br>
</span></div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0)">
<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0)">
Kind regards.</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0)">
<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif; font-size:12pt; color:rgb(0,0,0)">
Christos<br>
</div>
<div id="x_appendonsend"></div>
<hr tabindex="-1" style="display:inline-block; width:98%">
<div id="x_divRplyFwdMsg" dir="ltr"><font face="Calibri, sans-serif" color="#000000" style="font-size:11pt"><b>From:</b> Tony Curtis <anthony.curtis@stonybrook.edu><br>
<b>Sent:</b> 03 July 2021 21:48<br>
<b>To:</b> Christos Stavrou <cstavrou@magdrivespace.com><br>
<b>Cc:</b> flash-users@flash.uchicago.edu <flash-users@flash.uchicago.edu><br>
<b>Subject:</b> Re: [FLASH-USERS] MPI issue</font>
<div> </div>
</div>
<div class="" style="word-wrap:break-word; line-break:after-white-space"><br class="">
<div><br class="">
<blockquote type="cite" class="">
<div class="">On Jul 3, 2021, at 4:41 PM, Christos Stavrou <<a href="mailto:cstavrou@magdrivespace.com" class="">cstavrou@magdrivespace.com</a>> wrote:</div>
<br class="x_x_Apple-interchange-newline">
<div class="">
<div class="x_x_WordSection1" style="font-family:TrebuchetMS; font-size:12px; font-style:normal; font-variant-caps:normal; font-weight:normal; letter-spacing:normal; text-align:start; text-indent:0px; text-transform:none; white-space:normal; word-spacing:0px; text-decoration:none">
<div class="" style="margin:0cm; font-size:11pt; font-family:Calibri,sans-serif">
<span class="">PS: The OS is indeed Ubuntu 21.04 and the MPI used is the apt-installed MPICH implementation.</span></div>
</div>
</div>
</blockquote>
<br class="">
</div>
<div>Does this compiler and MPI setup build and run something really simple like hello-world or cpi.c (comes with mpich) correctly?</div>
<div><br class="">
</div>
This will at least let you know if there’s a problem with the fundamental MPI setup.
<div class=""><br class="">
</div>
<div class="">Tony</div>
<div class=""><br class="">
</div>
CAUTION - THIS EMAIL IS FROM AN EXTERNAL SENDER </div>
CAUTION - THIS EMAIL IS FROM AN EXTERNAL SENDER </div>
</body>
</html>