<!DOCTYPE html>
<html>
  <head>
    <meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
  </head>
  <body>
    <p>Hi Eddie,</p>
    <p>I have tried without and without <span style="font-size:11.0pt">threadBlockList
        but I have the same results as soon as I set up my case with
        several tasks. If launched with only one task, I do not have
        this effect but it is too slow as I can't use more than one node
        on the cluster, hence why I would like to be able to set up on
        several nodes.</span></p>
    <p><span style="font-size:11.0pt">Best,<br>
        Arthur Hirsch-Passicos<br>
      </span></p>
    <div class="moz-cite-prefix">On 2/7/25 14:28, Hansen, Eddie wrote:<br>
    </div>
    <blockquote type="cite"
cite="mid:BN8PR07MB61626C2CC408BEE5EBE58032F5F12@BN8PR07MB6162.namprd07.prod.outlook.com">
      <meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
      <meta name="Generator"
        content="Microsoft Word 15 (filtered medium)">
      <!--[if !mso]><style>v\:* {behavior:url(#default#VML);}
o\:* {behavior:url(#default#VML);}
w\:* {behavior:url(#default#VML);}
.shape {behavior:url(#default#VML);}
</style><![endif]-->
      <style>@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}@font-face
        {font-family:Aptos;
        panose-1:2 11 0 4 2 2 2 2 2 4;}@font-face
        {font-family:Consolas;
        panose-1:2 11 6 9 2 2 4 3 2 4;}p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        font-size:12.0pt;
        font-family:"Aptos",sans-serif;}pre
        {mso-style-priority:99;
        mso-style-link:"HTML Preformatted Char";
        margin:0in;
        font-size:10.0pt;
        font-family:"Courier New";}span.HTMLPreformattedChar
        {mso-style-name:"HTML Preformatted Char";
        mso-style-priority:99;
        mso-style-link:"HTML Preformatted";
        font-family:"Consolas",serif;}span.EmailStyle21
        {mso-style-type:personal-reply;
        font-family:"Aptos",sans-serif;
        color:windowtext;}.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;
        mso-ligatures:none;}div.WordSection1
        {page:WordSection1;}</style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
      <div class="WordSection1">
        <p class="MsoNormal"><span style="font-size:11.0pt">Hi Arthur,<o:p></o:p></span></p>
        <p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
        <p class="MsoNormal"><span style="font-size:11.0pt">Some of the
            threading options are not well-supported. Do you have the
            same issues if you setup without threadBlockList, and
            perhaps also without multi-threading in your submission
            script?<o:p></o:p></span></p>
        <p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
        <div>
          <p class="MsoNormal"><span
style="font-size:11.0pt;font-family:"Calibri",sans-serif;color:black">--</span><span
style="font-size:10.0pt;font-family:"Calibri",sans-serif;color:black"><o:p></o:p></span></p>
          <p class="MsoNormal"><span
style="font-family:"Arial",sans-serif;color:#181A1B">Eddie
              Hansen</span><span
style="font-size:10.0pt;font-family:"Calibri",sans-serif;color:black"><o:p></o:p></span></p>
          <p class="MsoNormal"><span
style="font-family:"Arial",sans-serif;color:#181A1B">Applications
              Group Leader<o:p></o:p></span></p>
          <p class="MsoNormal"><span
style="font-family:"Arial",sans-serif;color:#181A1B">Flash
              Center for Computational Science</span><span
style="font-size:10.0pt;font-family:"Calibri",sans-serif;color:black"><o:p></o:p></span></p>
        </div>
        <p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
        <p class="MsoNormal"><span style="font-size:11.0pt"><o:p> </o:p></span></p>
        <div id="mail-editor-reference-message-container">
          <div>
            <div>
              <div
style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in">
                <p class="MsoNormal" style="margin-bottom:12.0pt"><b><span
                      style="color:black">From:
                    </span></b><span style="color:black">flash-users
                    <a class="moz-txt-link-rfc2396E" href="mailto:flash-users-bounces@flash.rochester.edu"><flash-users-bounces@flash.rochester.edu></a> on
                    behalf of Dr. Arthur Hirsch-Passicos
                    <a class="moz-txt-link-rfc2396E" href="mailto:a.hirsch@hzdr.de"><a.hirsch@hzdr.de></a><br>
                    <b>Date: </b>Friday, February 7, 2025 at 3:35 AM<br>
                    <b>To: </b><a class="moz-txt-link-abbreviated" href="mailto:flash-users@flash.rochester.edu">flash-users@flash.rochester.edu</a>
                    <a class="moz-txt-link-rfc2396E" href="mailto:flash-users@flash.rochester.edu"><flash-users@flash.rochester.edu></a><br>
                    <b>Subject: </b>[FLASH-USERS] Problems with
                    parallelisation<o:p></o:p></span></p>
              </div>
              <p>Dear FLASH Users,<o:p></o:p></p>
              <p>I am in the process of trying to parallelise my
                simulations so they run faster but I'm facing some
                issues in the calculations when I'm running the
                calculations with more than one task. Indeed, I see
                calculation artifacts at the junction of the tasks for
                all values saved. Here is an example with my initial
                electronic temperature and the same after some time step
                when I use two tasks:<o:p></o:p></p>
              <p><o:p> </o:p></p>
              <p><img width="471" height="348"
                  style="width:4.9062in;height:3.625in"
                  id="_x0000_i1026"
                  src="cid:part1.qNzgTllK.E98xY8Lo@hzdr.de" class=""><img
                  width="475" height="351"
                  style="width:4.9479in;height:3.6562in"
                  id="_x0000_i1025"
                  src="cid:part2.IN5USnWl.ErrrmiP0@hzdr.de" class=""><o:p></o:p></p>
              <p>Here is my setup line:<br>
                <br>
                ./setup $currentSim -auto -2d +cartesian
                -maxblocks=300000 -nxb=16 -nyb=16 +hdf5typeio
                species=cham,targ +mtmmmt +uhd3t +mgd mgd_meshgroups=1
                threadBlockList=True
                <o:p></o:p></p>
              <p><o:p> </o:p></p>
              <p>My submission to the cluster, the par file for the
                boundaries and the Makefile.h I'm using are joined in
                the message.<o:p></o:p></p>
              <p><o:p> </o:p></p>
              <p>Has anyone met similar issues and if so, how did you
                fix that issue? Thank you in advance for your help.<o:p></o:p></p>
              <p><o:p> </o:p></p>
              <p>Best regards,<o:p></o:p></p>
              <pre>-- <o:p></o:p></pre>
              <pre>Dr. Arthur Hirsch-Passicos<o:p></o:p></pre>
              <pre>Post-doctoral Researcher<o:p></o:p></pre>
              <pre><o:p> </o:p></pre>
              <pre>Laser Particle Acceleration Division<o:p></o:p></pre>
              <pre>Institute of Radiation Physics<o:p></o:p></pre>
              <pre>Helmholtz-Zentrum Dresden-Rossendorf e.V.<o:p></o:p></pre>
            </div>
          </div>
        </div>
      </div>
    </blockquote>
    <pre class="moz-signature" cols="72">-- 
Dr. Arthur Hirsch-Passicos
Post-doctoral Researcher

Laser Particle Acceleration Division
Institute of Radiation Physics
Helmholtz-Zentrum Dresden-Rossendorf e.V.</pre>
  </body>
</html>