<div dir="ltr"><span style="font-family:arial,sans-serif;font-size:13px">Hi Kevin, </span><div style="font-family:arial,sans-serif;font-size:13px"><br></div><div style="font-family:arial,sans-serif;font-size:13px">I recently ran into this exact issue on Stampede, when running on ~7000 - 8000 cores. I contacted the Stampede admins, and this is how they suggested I fix the problem -- this fix works. I'm copying their response here:</div>

<div style="font-family:arial,sans-serif;font-size:13px"><br></div><div style="font-family:arial,sans-serif;font-size:13px">""</div><div style="font-family:arial,sans-serif;font-size:13px"><span style="color:rgb(0,0,0);font-family:Arial,Helvetica,Verdana,sans-serif;font-size:14px;line-height:16px">In order to set the stripe count to 40 (note: default is 2 on $SCRATCH), I mostly switch to the parent directory of the directory I want to write the data in and run the "lfs setstripe..." command. So for example, if I want to write a large file in a directory named "TACC" at the path "/scratch/01698/user/ticket", I will switch to "/scratch/01698/user/ticket" and run the command below:</span><span style="color:rgb(0,0,0);font-family:Arial,Helvetica,Verdana,sans-serif;font-size:14px;line-height:16px"> </span></div>

<br style="color:rgb(0,0,0);font-family:Arial,Helvetica,Verdana,sans-serif;font-size:14px;line-height:16px"><span style="color:rgb(0,0,0);font-family:Arial,Helvetica,Verdana,sans-serif;font-size:14px;line-height:16px">login4$ lfs setstripe -c 40 TACC </span><br style="color:rgb(0,0,0);font-family:Arial,Helvetica,Verdana,sans-serif;font-size:14px;line-height:16px">

<br style="color:rgb(0,0,0);font-family:Arial,Helvetica,Verdana,sans-serif;font-size:14px;line-height:16px"><span style="color:rgb(0,0,0);font-family:Arial,Helvetica,Verdana,sans-serif;font-size:14px;line-height:16px">The above command will set the stripe count of 40 on the directory named "TACC". You can test whether the stripe count got set correctly or not by creating a test file and checking its stripe count using the "lfs getstripe..." command. </span><br style="color:rgb(0,0,0);font-family:Arial,Helvetica,Verdana,sans-serif;font-size:14px;line-height:16px">

<br style="color:rgb(0,0,0);font-family:Arial,Helvetica,Verdana,sans-serif;font-size:14px;line-height:16px"><span style="color:rgb(0,0,0);font-family:Arial,Helvetica,Verdana,sans-serif;font-size:14px;line-height:16px">login4$ cd TACC </span><br style="color:rgb(0,0,0);font-family:Arial,Helvetica,Verdana,sans-serif;font-size:14px;line-height:16px">

<span style="color:rgb(0,0,0);font-family:Arial,Helvetica,Verdana,sans-serif;font-size:14px;line-height:16px">login4$ vi test.del </span><br style="color:rgb(0,0,0);font-family:Arial,Helvetica,Verdana,sans-serif;font-size:14px;line-height:16px">

<div style="font-family:arial,sans-serif;font-size:13px"><span style="color:rgb(0,0,0);font-family:Arial,Helvetica,Verdana,sans-serif;font-size:14px;line-height:16px">login4$ lfs getstripe test.del</span></div><div style="font-family:arial,sans-serif;font-size:13px">

<span style="color:rgb(0,0,0);font-family:Arial,Helvetica,Verdana,sans-serif;font-size:14px;line-height:16px"><br></span></div><div style="font-family:arial,sans-serif;font-size:13px"><span style="color:rgb(0,0,0);font-family:Arial,Helvetica,Verdana,sans-serif;font-size:14px;line-height:16px"> Upon running the above command, you will see some information as below: test.del lmm_stripe_count: 40 lmm_stripe_size: 1048576 lmm_layout_gen: 0 lmm_stripe_offset: 54 ... The setting for stripe-count will be maintained till someone explicitly resets it. Also note that when you move the files in a directory (using the "mv" command), the stripe count set at the source location is honored at the destination location. However, if you will copy a file to a directory (using the "cp" command), the stripe count set at the destination directory will be honored. </span></div>

<div style="font-family:arial,sans-serif;font-size:13px">"" </div><div style="font-family:arial,sans-serif;font-size:13px"><br></div><div style="font-family:arial,sans-serif;font-size:13px">Additionally, I suggest using phdf5 on stampede if you aren't already, IO speeds are vastly improved. </div>

<div style="font-family:arial,sans-serif;font-size:13px"><br></div><div style="font-family:arial,sans-serif;font-size:13px">Best,</div><div style="font-family:arial,sans-serif;font-size:13px">Rukmani</div></div>