<div dir="ltr"><div dir="ltr"><div dir="ltr">Dear FLASH users,<div><br></div><div>I'm trying to fit my simulation on as few nodes as possible to reduce queue times.</div><div><br></div><div>I currently have a run using 360 processors total distributed on 30 nodes (each node has 12 cores). I have rather a lot of blocks so I had to use -maxblocks=500 during setup.</div><div><br></div><div>However, when I try running 180 processors total distributed on 15 nodes (maxblocks=1000), it crashes with "Driver init all done" the last output to stdout and the following for the last few lines of the log file:</div><div><br></div><div><div> [ 04-24-2019  00:31:39.673 ] memory: /proc vsize    (MB):     7041.90 (min)       7063.07 (max)       7054.76 (avg)</div><div> [ 04-24-2019  00:31:39.680 ] memory: /proc rss      (MB):     1396.73 (min)       1477.68 (max)       1432.47 (avg)</div><div> [ 04-24-2019  00:31:39.685 ] [Driver_evolveFlash]: Entering evolution loop</div><div> [ 04-24-2019  00:31:39.691 ] step: n=1 t=0.000000E+00 dt=1.000000E+10</div><div> [ 04-24-2019  00:32:25.747 ] [hy_uhd_unsplit]: gcNeed(MAGI_FACE_VAR,MAG_FACE_VAR) - FACES</div><div> [ 04-24-2019  00:32:26.302 ] [mpi_amr_comm_setup]: buffer_dim_send=1115785, buffer_dim_recv=1117849</div></div><div>EOF</div><div><br></div><div>It would seem the 360 processors on 30 nodes, maxblocks=500 required quite a bit less memory:</div><div><br></div><div><div>[ 04-23-2019  21:16:09.169 ] memory: /proc vsize    (MB):     4097.80 (min)       4123.82 (max)       4101.31 (avg)</div><div> [ 04-23-2019  21:16:09.178 ] memory: /proc rss      (MB):      928.78 (min)        997.62 (max)        958.68 (avg)</div><div> [ 04-23-2019  21:16:09.183 ] [Driver_evolveFlash]: Entering evolution loop</div><div> [ 04-23-2019  21:16:09.187 ] step: n=1 t=0.000000E+00 dt=1.000000E+10</div><div> INFO: Grid_fillGuardCells is ignoring masking.</div><div> [ 04-23-2019  21:16:10.428 ] [mpi_amr_comm_setup]: buffer_dim_send=3460361, buffer_dim_recv=3550777</div></div><div>...(happily proceeds)</div><div><br></div><div>I've seen quite a few of my simulations crash here and the typical "fix" would be requesting an extra node (more memory) on Stampede2. However, the machine I'm working on now doesn't have nearly as much memory per node as Stampede2's skylake nodes. So, I'd like to better understand FLASH's memory requirements.</div><div><br></div><div>My estimate for the memory required:</div><div>NPROP_VARS = 26</div><div>NSPECIES = 2</div><div>NMASS_SCALARS = 1</div><div>NUNK_VARS = 29</div><div><br></div><div>NFACE_VARS = 2</div><div><br></div><div>NPROP_FLUX = 10</div><div>NSPECIES_FLUX = 2</div><div>NMASS_SCALARS_FLUX = 1</div><div>NFLUXES = 13</div><div><br></div><div>NVARS_TOTAL = 29 + (2*3) + 13 = 48</div><div><br></div><div>NSCRATCH_GRID_VARS = 3 <br></div><div>NSCRATCH_CENTER_VARS = 71</div><div><br></div><div>total_grid_vars = 48+3+71 = 122</div><div><br></div><div>NDIM = 3  <br></div><div>nxb = 8</div><div>NGUARD = 4</div><div>MAXBLOCKS = 500</div><div>procs = 360</div><div>bytes_per_GB = 1e9</div><div>grid_space_gb = total_grid_vars*MAXBLOCKS*procs*(nxb+2*NGUARD)**NDIM / bytes_per_GB</div><div>grid_space_gb ~ 90 </div><div><br></div><div>NPART_PROPS = 24</div><div>pt_maxPerProc = 1e6</div><div>particle_space_gb = NPART_PROPS * pt_maxPerProc * procs / bytes_per_GB</div><div>paritlce_space_gb ~ 9</div><div><br></div><div>In total, I estimate requiring 100 GB memory. Since I scale processors down by a factor of two and scale maxblocks up by a factor of two, they should require the same memory.</div><div><br></div><div>So, I'm confused about why the two runs report using such different amounts of memory. I'm also confused about why my estimate is so far off the value of rss*procs ~ 300 GB for the 360 procs, 30 nodes, maxblocks=500 case.</div><div><br></div><div>Thanks for reading! If you have any ideas, suggestions, pointers I'd greatly appreciate the help!</div><div><br></div><div>Best,<br clear="all"><div><div dir="ltr" class="gmail_signature"><div dir="ltr"><div dir="ltr"><div dir="ltr">--------<div>Ryan Farber</div><div>Graduate Student</div><div>University of Michigan, Ann Arbor</div></div></div></div></div></div></div></div></div></div>