OpenMPによる並列化 [Top]

目次

はじめに（謝辞）

OpenMPとは

OpenMP導入に関するメモ

古い情報

はじめに（謝辞）

OpenMPとは [先頭]

動作環境

!$OMP THREADPRIVATE( /PSSNL/ )

（中略）

!$OMP PARALLEL DEFAULT(NONE)
!$OMP& COPYIN( SNL )
C!$OMP& FIRSTPRIVATE(  )
!$OMP& PRIVATE( CS,CP,CD, I1,I2, L1,L2,L3, MM, IIBA, IIKB,
!$OMP&  AKX,AKY,AKZ, LNUM,NNN, II, PPMT, 
!$OMP&  ZVN, ZZZ, ZAAA, PPM, IJG, EG,
!$OMP&  ZAWORK,WWW,ZWW,ICON, KBAS,KGB,IOPT,EPS )   
!$OMP& SHARED( KV3, WS,WP,WD, PAI4, GR, IG1,IG2,IG3, IGPO,
!$OMP&  VX,VY,VZ,IBA,IBA2,NBASE,NBMAT,NBD1,NBD2,
!$OMP&  ZCHGO, ZVXC, ZPSCC, ZFM3,  ZZ2,EKK,
!$OMP&  UNIVOL, KX1,KY1,KZ1, GX,GY,GZ, NLSPD )
!$OMP DO

（中略）並列化対象部分（ｋ点に関するループ）

!$OMP END DO
!$OMP END PARALLEL

OpenMP導入に関するメモ [先頭]

• （メモ１）新たに問題発生（解決）。
  ↑まだ確定的ではないが、おそらく問題点はｋ点に関する和の扱いの部分と 考えられる。力や電荷密度は、ｋ点に関しての足し上げが必要。今回、電荷密 度は問題ない。問題となっているのは力の値。並列化計算によって得られる力 が微妙におかしい。正し結果との数値的な差は小さいが、有意に問題がある。 更に、更に問題を厄介にしているのは、テスト段階の計算では、力の値に問題 が生じない（ように見える。←並列、非並列で結果に差がない）。結果がおかしい場合に対し、ある対処法 を試行の結果、解決（力の計算←"REDUCTION"）。
• （メモ２）並列化によって顕在化する問題あり。
• （メモ３）ＶＰＰ用に作成したコード部分が、今回は使えない（←コードの 修正が必要）。並列化処方そのものは、ＶＰＰの場合とそう変わらない。
• （メモ４）フォートランコンパイラは、Intel FORTRANコンパイラ＋Intel MKL(Math Kernel Library)を使用。
  
• （メモ５）コンパイルオプション： -r8 -O3 -mcmodel=medium -i-dynamic -lsvml -openmp -lmkl - lguide -lpthread ← "-mcmodel"は大きな配列変数を扱う場合に必要。
  ↑"-openmp"が、OpenMP用のコンパイルオプション。
  ↑並列化とは直接関係ないが、-xSSE4.2というオプションを付けると速くな る場合あり（使用する機種〔CPU〕等に依存）。
• （メモ６）残念ながら自動並列化（-parallelオプション）、並列化支援ソ フト（コードを解析して、OpenMP用並列化指示行を挿入してくれるもの）は、 ほとんど役に立たないか、効果がなかった。強制的な指示を与えても並列化指 示行挿入しなかった（出来なかった）。
• （メモ７）OpenMP化は、正直試行錯誤による”場当り”的な対処による部分 あり。
• （メモ８）スタックの設定が必要な場合あり。←計算規模（PRIVATEで使用 する変数）を大きくしていくと既定値では足りなくなる。スタックが足りない と、計算が途中で止まる（これは使っている計算環境、種類に依存すると思わ れる）。止まった場合はスタックのサイズの設定をより大きくする（← PRIVATEで使用する変数から見積り可能）。
• （メモ９）そもそも、OpenMPによる並列化は、少なくとも筆者のコードでは 大変メモリを浪費する。並列化の利点は、高速化（←これはそこそこ達成して いる）以外により大きなメモリを使用可能にすることだが、現時点で筆者の並 列化コードはそうなっていない。
• （メモＡ）↑ｋ点数を大きくしていくと、１ＣＰＵだけの計算では流れる計 算が、並列でメモリオーバーで止まる。
• （メモＢ）並列化でのＣＰＵ数（スレッド数）を増やしていくと、ある程度 以上数でむしろ遅くなる。←メモリ（本当の意味での共有ではない？）のアク セスが足を引っ張る？。←並列計算するＣＰＵ数（スレッド数）を大きくする と、むしろ遅くなる。
• （メモＣ）サブルーチンMSDのみを並列化させて実行させると、実行結果と しての数値がおかしくなる（１ＣＰＵのみの実行〔非並列〕にすると正しい値 になる）。サブルーチンFORZFBも同時に並列化すると、値は正しくなる。原因 は現在調査中（６／３、２００９）。
  ↑原因となる部分は判明。解決方法も存在。但し、何故この方法で正しい結 果を与えるのか判然としない。更にこの方法では、よりメモリを消費すること となり、あまり良い解決策とは言い難い。解決方法：MSD以外に、FORZFBも並 列化させて実行させると正しい結果となる。どうもSNL配列を、THREADPRIVATE にしておくことが必須な模様（←SHAREDにしたら正しい結果を与えない。更に、 THREADPRIVATEにしておけば、そのルーチンを実行しなくても正しい結果とな る〔←非並列で等価なルーチンで実行〕）。
  （追記：２／２、２０１６）新しい版のプログラムをOpenMPによって並列化 することを試みたところ、上記と同じ状況に遭遇した。サブルーチンMSD単独 で並列化を試みようとしたが、一向に数値が正しいものにならなかった （sequentialでコンパイルした実行結果は正しい）。結局、サブルーチン FORZFBで、SNL配列をTHREADPRIVATE指定すると、正しく動くようになった。こ の時、FORZFBはこのTHREADPRIVATE指定だけでループの並列化は行なっていな い。
  （追追記：３／１４、２０１６）電子状態計算のみでは、上記の THREADPRIVATE指定だけで正しい結果を与えていたが、構造最適化を行なう段 階で全エネルギーが一致しなくなることが判明した。THREADPRIVATE指定以外 で、サブルーチンFORZFB部分を並列化対応させると正しい全エネルギーを与え るようになった（どうしてこれでうまくゆくのかはまだ判然としていない。← ひょっとしたらEQUIVALENCE関連〔配列〕かもしれない。←EQUIVALENCEは関係 なかった〔３／１６、２０１６〕）。
• （メモＤ）どうも並列化した個々のサブルーチンは、相互に関係してるよう に見える。並列化したサブルーチンMSDを単独で導入して動かすと、数値が一 致しない部分が生じる（収束値は一致する）。
  そもそも積木を積むようにサブルーチン毎に並列化を行なったが、これには” 場当り”的な部分があった。更に、段階的に並列化した結果、全体としては正 しい結果を与えるが、個々の並列化されたサブルーチン単独では正しく動作し ない可能性があることが判明した。各サブルーチンの並列化は独立に行なわれ ているはずだが、互いに影響している可能性がある（←本当は”おかしい”）。 現段階では”だましだまし”使っていくしかない（←これで正しい結果を与え ていることは確認）。更なる調査、検証が必要。
• （メモＥ）DIAGON,MSDサブルーチンにおいて、並列ｋ点ループ内でZAJに直 接代入を行なうと、結果が正しくなくなる。PRIVATE,SHARED,THREADPRIVATE、 その他どのような設定でも正しい結果にならない。１CPUのみの実行では正し い結果となる。ZAJと等価な配列を別途定義（COMMONでも、ローカルな定義で もいずれでもＯＫ）して、並列ｋ点ルーチン内で、その別の配列に代入等を行 ない、並列ルーチンの外で、”ZAJ = 別の配列”で代入すると問題なく正しい 結果となる。但しこれは大変メモリーの無駄となる。今回（１０／１５、２０ ０９）新たに改良ルーチンを考え試してみるも、現時点で失敗続き。うまく動 かない。
  ↑テスト段階では、うまく動くようになる。変更点は、FIRSTPRIVATEを使用 したこと。これで一気に解決した。MSD,DIAGONに関して改良を施したプログラ ムでより実践的な場合の計算テストを開始。ZAJの変わりに、ZT1（但し、ZAJ よりずっと小さい配列←並列数分）で並列計算を行なう（１０／１５、２００ ９）。
  ↑実践段階でも正しいことを確認（１０／１６、２００９）。
  ↑残念ながら、省メモリとしては失敗だった。当該部分は省メモリになって いるが、実際にメモリ不足で問題となっている部分は全く別の箇所だった（１ ０／１９、２００９）。←勉強が足りない。 ↑結局、並列化とは関係ないところで、省メモリ化出来た（←最初に用意す る初期固有ベクトル生成のための対角化の行列を、平面波基底数の１／２から １／４にした）。THREADPRIVATEは必須なのか？。更なる検討が必要（１０／ ３０、２００９）。
• （メモＦ）スパコン以外のPC上でも、KMP_STACKSIZEの指定が必要。OSやシェ ルによって指定の仕方は異なる。筆者の場合は、setenv KMP_STACKSIZE ' 128m'としている（Linux、tcsh）。unlimitだけでは動かなかった（セグメン トエラーで止まる）。
• （メモＧ）少しメモリに関して進展あり。まだ検証中ながらプログラム の版によっては、更なる省メモリ化が可能であることが判明。ZAJ、ZZZを EQUIVALENCEにしても正しく計算出来ることが分かった（サブルーチンMSD上）。 実は、これによって大幅な省メモリ化となる（４／５、２０１０）。←検証中 （何故、版によってEQUIVALENCEが有効なのかもよく分かっていない）。
• （メモＨ）OpenMPとは直接関係はないが、最近HP社のZ400という機種を 導入、それにIntel FORTRAN ver. 11を導入した（大変苦労、消耗した）ので、 これをここに記しておきたい。
  1. 機種： Z400(HP)、ソフトウェア： Intel FORTRANコンパイラー 11.1 Linux版。
  2. 試したOS：Vine Linux 5 (32 bit, 64 bit)、SUSE Linux (64 bit)、 Fedora Core 12 (32 bit, 64 bit)など。目的は、Z400にIntel FORTRANコンパ イラー（64 bit版、EMT-64用）を導入（インストールして正しく動作させる） ことである。従って、32 bit版のOSは、テスト用などの目的で試用した。結局、 最終的に目的を達成したのは（筆者の場合）、Fedora Core 12 (64 bit)のみ であった。他は、Intel FORTRANコンパイラーが導入出来なかったり、OSの導 入（インストール段階）で失敗したりした。
  3. 各OSは、それぞれの配布サイトからisoイメージをダウンロード、DVD 等に書き込んだ（書き込みの種類に注意。単なるデータ、ファイルとしてのコ ピーではない）。この時、当然書き込み可能な、DVD/CD装置が存在、使用出来 ないといけない。
  4. Intel FORTRANコンパイラー導入時のエラーは、libstdc++, libstdc++5, glibc, libgcc（ライブラリ）の32 bit版が無いというものだっ た。これらのライブラリの導入は、（筆者にとって）本当に大変だった。
  5. Fedoraでは、yumと言うコマンドで導入が出来た。yum install compat-libstdc++-33。yum.conf(/etc)の設定し直しが必要。他に、yum install libstdc++、yum install libstdc++.so.5を実行（この二つがいずれ も必要かどうかは未確認。少なくとも筆者野場合、後者は必要だった）。
  6. オンライン上の情報は大変有用かつ、決定的だったが、類似した情報 が多く、最終的な目的情報に辿り着く（気が付く）までかなり苦労した。
     他のOSでは、apt-getというコマンドが使えるが、筆者の場合ではうまく動 かなかった（途中で挫折）。
  7. Intel FORTRANは以前の版（バージョン）と、ライセンスの認証の仕 方が異なる。
  8. Fedora Core 9 （64 bit版）でも、Intel FORTRAN 11.1のインストー ルに成功した（導入可能）。事前に、yumで必要なライブラリをインストール しておいた（３／８、２０１０）。
  9. Fedora 22 （64 bit版）でも、Intel FORTRAN 11.1のインストールに 成功。CDの場所は、/mediaではなく、/run/mediaだった。他は、これまでの手 順とほぼ同じ要領でできた（２／４、２０１６）。
  10. ネットワーク設定も重要。画面が狭くて、"OK"ボタンが出てこない時、 tabキーで移動させてリターン。
  11. SElinuxの設定（Fedoraの場合、"permissive"）。←（備忘）後で元 に戻す。
  12. ディスプレイ設定がうまくいかず、800x600で作業。Fedoraではこれ で最初、インストール途中で画面が真っ暗になり、にっちもさっちもいかなく なった。何か最初のブート時の選択で２番目（basicな画面設定？）を選ぶと ＯＫとなる。
  13. ケーブル（特にディスプレイ関連）の問題（ピン数）。
  14. 参考文献は、日経Linux（日経BP社、付録DVD等も含む）など。
  15. オンライン等を含め有用な情報などに深く感謝（３／４、２０１０）。
  16. MKLへのリンクに失敗する。ld: cannot find -lmklと言われる。勿論、 LD_LIBRARY_PATHなどはちゃんと設定してある（はず）。一応、これはオンラ イン上の情報から１ＣＰＵ動作（非並列）では正しく動かすことに成功。しか し、-openmpオプションではどうなるか？（規模が小さな系ではＯＫ）。
  17. ↑参考 サイト（インテルのMKL link line advisorのページ）を発見。このペー ジにある、各選択肢を選んでいくと、必要なライブラリを表示して（書き出し て）くれる（有用）。一応、書き出された内容でMakefileを作成、コンパイル ＋リンクは通った。現在、実行検証中（３／５、２０１０）。
  18. ↑必要なライブラリの設定で、intergers lengthは、32 bitを選択す る。64 bitだと筆者の環境では、正しく動かない（３／８、２０１０）。
• （メモＩ）[msd版]２４ＧＢメモリ、８ＣＰＵ並列で、８０回／２４時間、[omp版]４８ＧＢメモリ、８ＣＰＵ並列で、４０１回／８時間半。→およそ１４倍の速度差がある。msd版は、省メモリ版のプログラムで並列化率は低い。omp版は、メモリを浪費するが並列化率は高い（１０／１８、２０１０）。
• （メモＪ）新しいバージョンでは、REDUCTIONで配列変数が指定出来る 模様。オンライン上の資料等を調べてみると、確かに”スカラー変数”のみと いう記述も散見されるが、１０年以上前の資料（にあるバージョン）でも配列 変数が使用可能という記述があり、相当古いバージョン（版）以外は問題なさ そう（１０／２０、２０１１）。
• （メモＫ）（共用）機種更新により、Intel FORTRANコンパイラや、MKLのバージョンが更新された。途端に、OpenMPの並列計算の結果が合わなくなった。第１回目の全エネルギーは一致するが、２回目以降一致しなくなる。十分に収束させた値は、十分（？）に一致する。コンパイラのオプションをいろいろ変えて試してみたが症状は変わらなかった。で、"$OMP"の部分を見て、註釈化（"C$OMP"）されていた部分の１行に注目し、その註釈を外して計算したところ、値が一致するようになった（この時の一致の基準は、1CPUのみでの単一実行の結果）。外した、$OMP文は、COPYINだった。因に、この註釈は、以前の機種、バージョンでは、註釈があっても、なくても同じ結果となること（勿論、単一実行結果と一致の意味）も確認した（３／１７、２０２０）。
  （追記）Intel FORTRANコンパイラとは異なるコンパイラで、コンパイルすると、当該するCOPYINの註釈を外すとエラーとなる（３／２５、２０２０）。
  ↑ただ、他のコンパイラで、コンパイルすると、並列計算では正しい結果を与えない（１ＣＰＵのみでも、openmpオプションでコンパイルしてあると駄目）。openmpオプションなしの単一ＣＰＵ動作では正しい結果を与える。更に検証を継続中（３／３０、２０２０）。
• （メモＬ）新しいプログラムの並列化を試みた。規模の大きなサブルーチンに、２つ並列化可能なループが存在し、両方に並列化を試みた。結果として、より規模の大きいループの、OpenMPによる並列化に成功した（５／１５、２０２０）。
  計算条件に依存するが、あるテスト計算全体（当該並列化部分以外の計算時間も含む）での高速化は、3.5倍計算時間を短くできた。更に、当該並列化部分のみで考えれば、４８並列でおよそ28.5倍の高速化（概算値）が達成された（５／２０、２０２０）。
  並列化させるループの規模は、全原子数×全ｋ点数×全バンド数×平面波数×原子メッシュ数とかなり大きなループ。これのｋ点ループに関して並列化を施した（５／２１、２０２０）。
  （メモ：無保証）並列化されるループ内で代入される変数→PRIVATE
  （メモ：無保証）上記以外で、並列化されるループ内で（初期値が）不定になると困る変数→SHARED
  ↑全てがそうという訳ではない（５／２６、２０２０）。
  （メモ：無保証）REDUCTION対象が複数の場合："DO REDUCTION(+:A),REDUCTION(+:B)"でＯＫ（６／４、２０２０）。
• （メモ∞）↑以上、メモＣ、Ｄより、これら各サブルーチンで使用されている並列化指示注釈行部分に関して、（FORTRANソースコード部分も含めて）全くの無保証です。

• （参考サイト）
• [Club-HPC]（Club-HPCのペー ジ。大変参考になる）←現在、アクセス不能（１０／２４、２０１２）

（↓古い情報↓） [先頭]

SHELL= /bin/csh
#
# makefile - Generated Jun 01, 1998 by fmaker V1.3 BMTOOLS (C)1992
#
BIN	= a.scs
MP	= -mp -mpio
FFLAGS	= -c -O3 -r8 -OPT:IEEE_arith=3:ro=3 
LFLAGS	= -w -O3 -r8 $(MP) -Wl,-Xlocal,work8_,-Xlocal,div_,-Xlocal,nonlc_,-Xlocal,recip_
CF77	= f77
LIB     = -lscs_mp -lfastm

SRC= \
apbo2.f   basnum.f  bccm.f    c2fft.f   c3fft.f   chaver.f  chgavr.f  chobsd.f \
clockm.f  conv2.f   dffctr.f  diagon.f  dlgama.f  dsj0.f    dsj1.f    dsjn.f \
dsjnv.f   energy.f  erf.f     evin.f    evou2.f   evout.f   ewvec.f   ewvmd.f \
fccm.f    fermi.f   force.f   forces.f  forloc.f  form.f    forzfb.f  gsfsca.f \
gstep1.f  gstepf.f  gstsca.f  hexm.f    hpsort.f  infout.f  input1.f  intchg.f \
kbint.f   kbmat.f   kpmsf.f   kpmwbz.f  kstep.f   latsca.f  lattic.f  main.f \
md.f      mffta4.f  mffta5.f  mffta6.f  mffta7.f  mffta8.f  mffta9.f  mfftb4.f \
mfftb5.f  mfftb6.f  mfftb7.f  mfftb8.f  mfftb9.f  mfftc4.f  mfftc5.f  mfftc6.f \
mfftc7.f  mfftc8.f  mfftc9.f  mfftdm.f  mfftds.f  mfftdv.f  mfftim.f  mfftis.f \
mfftiv.f  mfftom.f  mfftov.f  mfftp.f   mfftp1.f  mfftp2.f  mfftp3.f  mfftp4.f \
mfftrd.f  mfftri.f  mfftrp.f  mfftz0.f  msd.f     opgr.f    opmtrx.f  pcc.f \
pselmd.f  pseudo.f  r2fft.f   r3fft.f   sccm.f    simp.f    stress.f  strnl.f \
symm.f    symsca.f  tetrah.f  time.f    width2.f  xcfft.f   xstpc.f
 
OBJ= \
apbo2.o   basnum.o  bccm.o    c2fft.o   c3fft.o   chaver.o  chgavr.o  chobsd.o \
clockm.o  conv2.o   dffctr.o  diagon.o  dlgama.o  dsj0.o    dsj1.o    dsjn.o \
dsjnv.o   energy.o  erf.o     evin.o    evou2.o   evout.o   ewvec.o   ewvmd.o \
fccm.o    fermi.o   force.o   forces.o  forloc.o  form.o    forzfb.o  gsfsca.o \
gstep1.o  gstepf.o  gstsca.o  hexm.o    hpsort.o  infout.o  input1.o  intchg.o \
kbint.o   kbmat.o   kpmsf.o   kpmwbz.o  kstep.o   latsca.o  lattic.o  main.o \
md.o      mffta4.o  mffta5.o  mffta6.o  mffta7.o  mffta8.o  mffta9.o  mfftb4.o \
mfftb5.o  mfftb6.o  mfftb7.o  mfftb8.o  mfftb9.o  mfftc4.o  mfftc5.o  mfftc6.o \
mfftc7.o  mfftc8.o  mfftc9.o  mfftdm.o  mfftds.o  mfftdv.o  mfftim.o  mfftis.o \
mfftiv.o  mfftom.o  mfftov.o  mfftp.o   mfftp1.o  mfftp2.o  mfftp3.o  mfftp4.o \
mfftrd.o  mfftri.o  mfftrp.o  mfftz0.o  msd.o     opgr.o    opmtrx.o  pcc.o \
pselmd.o  pseudo.o  r2fft.o   r3fft.o   sccm.o    simp.o    stress.o  strnl.o \
symm.o    symsca.o  tetrah.o  time.o    width2.o  xcfft.o   xstpc.o

$(BIN): $(OBJ)
	f77 $(LFLAGS) -o $(BIN) $(OBJ) $(LIB)

.f.o:
	$(CF77) $(FFLAGS) $*.f
msd.o:	msd.f
	$(CF77) $(FFLAGS) $(MP) msd.f
diagon.o:	diagon.f
	$(CF77) $(FFLAGS)  $(MP) diagon.f
kbint.o:	kbint.f
	$(CF77) $(FFLAGS)  $(MP) kbint.f
kbmat.o:	kbmat.f
	$(CF77) $(FFLAGS)  $(MP) kbmat.f
force.o:	force.f
	$(CF77) $(FFLAGS)  $(MP) force.f
forzfb.o:	forzfb.f
	$(CF77) $(FFLAGS)  $(MP) forzfb.f
chaver.o:	chaver.f
	$(CF77) $(FFLAGS)  $(MP) chaver.f

clean:
	-rm -f core

clobber: clean
	-rm -f $(BIN) $(OBJ)

void:
	-rm -f makefile $(SRC)

並列化したプログラム

C     ////////////////////////////                                      
C     // DIAGONALIZE AT K-POINT //                                      
C     ////////////////////////////
C     VPP-PARALLEL START
C!XOCL PARALLEL REGION
!XOCL SPREAD NOBARRIER DO /IP

C$OMP PARALLEL SHARED(EKK,SSS,ZZ2,KZ1,KY1,KX1,UNIVOL,PAI4,NBMAT,
C$OMP& IBA2,IBA,NBASE,NBD2,NBD1,ZCHGO,ZPSCC,NLSPD,WD,WP,WS,ZVXC,
C$OMP& ZFM3,VZ,VY,VX,IGPO,IG3,IG2,IG1,GR,GZ,GY,GX)
C$OMP& PRIVATE(EPS,IOPT,KGB,KBAS,MM,I2,PPMT,II,L1,L2,L3,I1,LNUM,
C$OMP& CD,CP,CS,IIBA,IIKB,AKZ,AKY,AKX,IJG,PPM,EG,ZZZ,ZVN,ZAWORK,
C$OMP& ZWW,WWW,ZAAA,CWL,ICON)
C$OMP DO

      DO 100 NNN=1,KNV3                                                 
C                                  IWRT(NNN) =NNN                      
                                   AKX = VX(NNN)                        
                                   AKY = VY(NNN)                        
                                   AKZ = VZ(NNN)                        
      IIKB = IBA(NNN)                                                   
      IIBA = IBA2(NNN)                                                  

  231 CONTINUE                                                          
  100 CONTINUE                                                          
C$OMP END DO
C$OMP END PARALLEL
!XOCL END SPREAD
C!XOCL END PARALLEL
      RETURN                                                            
      END                                                               

C$OMP PARALLEL SHARED(EKK,SSS,ZZ2,KZ1,KY1,KX1,UNIVOL,PAI4,NBMAT,
C$OMP& IBA2,IBA,NBASE,NBD2,NBD1,ZCHGO,ZPSCC,NLSPD,WD,WP,WS,ZVXC,
C$OMP& ZFM3,VZ,VY,VX,IGPO,IG3,IG2,IG1,GR,GZ,GY,GX)
C$OMP& PRIVATE(EPS,IOPT,KGB,KBAS,MM,I2,PPMT,II,L1,L2,L3,I1,LNUM,
C$OMP& CD,CP,CS,IIBA,IIKB,AKZ,AKY,AKX,IJG,PPM,EG,ZZZ,ZVN,ZAWORK,
C$OMP& ZWW,WWW,ZAAA,CWL,ICON)

C$OMP DO

C$OMP END DO
C$OMP END PARALLEL

OpenMP実行上の不具合修正（１／１４、２０００）