理쒖떊 諛쒓컙

Journal of the Korean Society of Propulsion Engineers - Vol. 26 , No. 3

[ Research Paper ]
Journal of the Korean Society of Propulsion Engineers - Vol. 25, No. 6, pp. 1-11
Abbreviation: KSPE
ISSN: 1226-6027 (Print) 2288-4548 (Online)
Print publication date 31 Dec 2021
Received 08 Sep 2021 Revised 02 Dec 2021 Accepted 09 Dec 2021
DOI: https://doi.org/10.6108/KSPE.2021.25.6.001

초임계 압력조건에서 기체수소-액체산소 연소해석의 층류화염편 라이브러리에 대한 인공신경망 학습 적용
전태준a ; 박태선a, *

Application of Artificial Neural Network to Flamelet Library for Gaseous Hydrogen/Liquid Oxygen Combustion at Supercritical Pressure
Tae Jun Jeona ; Tae Seon Parka, *
aSchool of Mechanical Engineering, Kyungpook National University, Korea
Correspondence to : * E-mail: tsparkjp@knu.ac.kr


Copyright Ⓒ The Korean Society of Propulsion Engineers
This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
Funding Information ▼

초록

층류화염편 라이브러리에 대한 효율적인 계산과정을 개발하기 위하여 초임계 압력조건의 기체수소/액체산소 연소기에 대해 인공신경망을 이용한 기계학습과정이 적용되었다. 학습성능과 계산효율성에 근거한 최적의 계산과정을 찾기 위하여 은닉층에 대한 ReLU와 쌍곡탄젠트 함수의 25가지 조합이 선택되었다. 정확성이 우수한 높은 학습성능을 얻는데 쌍곡탄젠트 활성화함수가 적절하였다. 인공신경망의 학습성능을 개선하기 위해서 학습데이터 변환이 제안되었다. 4개의 은닉층에 최적의 노드를 배치할 때 학습성능 및 계산비용 관점에서 모두 효율적인 것으로 나타났다. 층류화염편 라이브러리의 보간법보다 인공신경망을 사용하는 경우 전체 계산시간은 37%, 시스템 메모리는 99.98% 감소되었다.

Abstract

To develop an efficient procedure related to the flamelet library, the machine learning process based on artificial neural network(ANN) is applied for the gaseous hydrogen/liquid oxygen combustor under a supercritical pressure condition. For hidden layers, 25 combinations based on Rectified Linear Unit(ReLU) and hyperbolic tangent are adopted to find an optimum architecture in terms of the computational efficiency and the training performance. For activation functions, the hyperbolic tangent is proper to get the high learning performance for accurate properties. A transformation learning data is proposed to improve the training performance. When the optimal node is arranged for the 4 hidden layers, it is found to be the most efficient in terms of training performance and computational cost. Compared to the interpolation procedure, the ANN procedure reduces computational time and system memory by 37% and 99.98%, respectively.


Keywords: Artificial Neural Network, Supercritical Combustion, Activation Function, Computational Cost
키워드: 인공신경망, 초임계연소, 활성화함수, 해석비용

1. 서 론

일반적으로 물리현상을 분석하기 위해서는 편미분방정식들이 서로 연계되어 해가 얻어지게 된다. 따라서 물리현상이 복잡해질수록 해를 얻는데 많은 어려움이 따르게 된다. 그렇지만 인공신경망(Artificial neural network) 학습기법은 입력값과 출력값의 상관관계를 이용하여 결과가 얻어지기 때문에 미분방정식을 해석하지 않아도 되는 장점이 존재하여 충분한 자료가 확보되어 있는 경우 매우 효과적으로 활용되어질 수 있다. 이러한 특징 때문에 난류연소 모델링, 재생냉각채널의 벽 온도 예측모델, 연소기의 피로수명 예측, 연소불안정 제어 등 다양한 액체로켓엔진 분야에 적용이 증가되고 있다[1].

최근 액체로켓엔진 분사기의 초임계 연소 특성을 살펴보기 위해서 LES을 이용한 해석연구가 활발하게 진행되고 있다[2]. 그러나 적절한 LES 해석결과를 얻기 위해서는 수백만에서 수천만 개의 격자가 필요하기 때문에 해석의 효율성을 증가시키는 것이 매우 중요한 이슈이다.

일반적으로 연소해석에는 층류화염편 모델에 기반한 look-up table이 사용된다. 이러한 라이브러리의 메모리 요구 사항은 입력변수의 해상도와 출력변수의 수에 따라 수 GB이상으로 높아질 수 있으며, 해석 요구사항의 대부분을 차지한다[3]. 또한 제한된 컴퓨터 메모리로 인해 층류화염편 라이브러리의 해상도를 줄이면 해석의 정확도가 떨어지는 문제점이 있다. 인공신경망을 이용한 접근방식은 시뮬레이션에서 신경망을 구성하는 매개 변수들만 요구되기 때문에 화학 반응 표현을 위한 기존의 층류화염편 라이브러리에 비해 Fig. 1(a)와 같이 메모리 요구 사항을 거의 무시할 수 있다는 장점이 있다.


Fig. 1 
Computational costs of ANN analysis and numerical procedure per iteration.

초임계 연소해석에서는 극저온 추진제의 물성들을 고려하기 위한 실제유체상태방정식 및 물성 예측모델의 적용이 필수적이다. 그러나 많은 계산시간이 소요되는 것으로 알려져 있다. Milan 등[4]은 Fig. 1(b)와 같이 케로신/산소의 초임계 연소해석에서 전체의 절반 이상의 수치비용을 실제유체상태방정식 및 고압 극저온 물성 계산에서 사용된다고 보고했다. Li 등[5]은 케로신의 물성치 예측에 인공신경망을 적용하였다. 그들은 케로신의 물성치 예측모델을 적용함으로써 800만~3,500만 격자 범위에서 10~35%의 속도향상을 달성했다.

본 연구는 Kim and Park[6]의 층류화염편 look-up table을 이용한 초임계 압력하의 기체수소-액체산소 연소해석에 기반한다. 해석코드는 화학조성 및 화염온도뿐만 아니라 실제유체효과가 고려된 극저온 추진제의 물성치가 모두 층류화염편 라이브러리에 저장되는 방식을 사용하기 때문에 효과적인 계산을 수행할 수 있지만 큰 메모리가 요구되는 단점이 있다. 본 연구에서는 초임계 압력조건의 연소해석과정에서 층류화염편 라이브러리를 이용하는 부분을 인공신경망 학습모델로 대체하는 연소해석과정을 구현하고자 한다. 층류화염편 라이브러리에 대한 보간과정에 인공신경망 학습을 적용하고 관련된 문제점을 검토하여 초임계 연소해석에 대한 효과적인 인공신경망 적용 방법을 제안하고 RANS(Reynolds-averaged Navier-Stokes) 기반의 RCM-3 연소기에 대한 해석을 통해 인공신경망의 학습결과를 평가하고자한다.


2. 수치해석 방법

층류화염편 라이브러리를 이용한 연소해석은 Fig. 2와 같이 간략하게 표현될 수 있다. Fig. 2(a)는 온도와 질량분율을 look-up table로 계산하고 밀도는 실제유체상태방정식을 적용하는 방법이고, Fig. 2(b)는 밀도 등 모든 변수를 look-up table에서 보간하는 방법이다. 본 연구에서는 Fig. 2(b)에 ANN을 적용하는 것으로 Fig. 2(c)로 나타내었다.


Fig. 2 
Comparison of combustion models.

2.1 실제유체 층류화염편 라이브러리

학습데이터는 실제유체효과가 고려된 층류화염편 라이브러리로 생성되었다. 기체수소와 액체산소의 연소 메커니즘은 Li 등[8]의 8개의 화학종에 19개의 반응식을 이용하고, 초임계 조건에서 열역학적 상태는 Soave-Redlich-Kwong(SRK) 상태방정식[9]을 통해 처리된다. 점도, 열전도도등 물성치에는 Chung 등[10]의 모델이 사용되었다. 작동조건을 기준으로 평균 혼합분율 Z~과 혼합분율의 섭동 Z2~, 스칼라 소산율 χ~, 엔탈피 h~, 그리고 압력 p¯은 0과 1사이로 정규화되어 각각 81, 31, 7, 11, 3개의 해상도로 저장된다[11]. 화염편들을 생성하기 위한 화염편 방정식들은 다음 Eq.과 같다.

Ykt=χ22YkZ2+ω˙ρ(1) 
Tt=χ21cp2hZ2-χ21cpk=1Nhk2YkZ2-1ρcpk=1Nhkωk˙(2) 

여기서, Ykwk˙는 각각 k번째 화학종의 질량분율과 생성률을 나타낸다. 81개의 혼합분율 값들로 구성된 화염편은 총 7,161개로 b-PDF 형식으로 통합하여 look-up table로 구축된다. 학습데이터로 사용된 look-up table은 화염온도 T, 밀도 ρ, 엔탈피 h, 점성계수 μ, 열전도계수 k, 음속 c, 정압비열 cp, 비열비 γ, 기체상수 R, 그리고 8개의 화학종(H2, O2, OH, H, O, HO2, H2O, H2O2)들의 질량분율 Yk로 구성되었다.

2.2 인공신경망 학습기법

다층 퍼셉트론(Multi-layer perceptron) 학습은 Levenberg-Marquardt(LM) 역전파 알고리즘을 사용하여 수행되었다[12]. LM 학습모델은 학습을 빠르고 효과적으로 수행할 수 있지만 필요한 메모리가 가중치 수의 제곱에 비례하여 증가하기 때문에 가중치가 많은 학습데이터에는 적절하지 않다.

본 연구의 학습데이터이자 기존 연소해석에 사용되어지던 look-up table은 Z~, Z2~, χ~, h~, 그리고 p¯의 5가지 입력변수로 이루어져 있다. 따라서 출력변수를 계산하기 위해서는 5차원의 선형보간법을 사용하였다. 기존의 보간방식은 각 변수들의 해상도를 높여 보다 정확한 변수값을 얻어낼 수 있지만, 인공신경망의 경우 해상도를 a%만 증가시켜도 학습데이터가 (1+a/100)5배 증가하여 학습시간이 가파르게 증가할 수 있다. 입력변수는 모두 0과 1사이 값으로 정규화 되어있지만 출력변수들은 O(106)의 엔탈피로부터 O(10-8)의 YH2O2까지 다양한 물리적 특성을 나타내는 실제 값들로 이루어져 있다. 이러한 경우에 기계학습을 수행하면 크기가 작은 출력변수의 학습가중치 계산이 매우 느려지거나 중단되어 상대적인 오차가 큰 상태로 유지된다. 또한, 연소조건에 따라 소염상태에 가까워질수록 화학종이나 온도 등의 차수가 크게 감소해 유사한 어려움이 발생하게 된다. 이런 상황을 개선하기 위해 출력변수 ϕk들을 Eq. (3)과 같이 최소-최대 정규화(Min-max normalization)을 통해 0≦Φk≦1이 되도록 하였다.

Φk=ϕk-minϕkmaxϕk-minϕk(3) 

Fig. 3은 전결합층(Fully-connected layer)으로 구성된 신경망 구성의 개략도를 나타낸다. 일반적으로 은닉층(Hidden layer) 2개로 모든 형태의 함수를 구현할 수 있지만 은닉층을 많이 쌓을수록 비선형적인 데이터 특성을 잘 나타내기 때문에 데이터특성에 따라 은닉층을 많게 하여 정확성을 높일 수 있다. 그렇지만 은닉층이 많을수록 학습시간이 많이 소요되고 학습과정에 대한 안정성이 저하되어 적절한 은닉층 수를 선택하는 것이 좋다.


Fig. 3 
Schematic of architectures for ANN.

은닉층의 활성화함수(Activation function)는 활성화함수의 기울기가 매우 작은 영역에서 은닉층들의 중첩에 의해 오차가 전달되지 않아 학습성능이 개선되지 않는 기울기 소실(Gradient vanishing) 문제를 피하기 위해 ReLU 함수 S(x)=max(0,x)가 주로 사용되어진다. 그렇지만 높은 학습성능을 고려하여 출력층과 은닉층에 tanh(x)를 적용하였다.

S(x)=tanh(x)=1-e-2x/1+e-2x(4) 

학습결과의 성능을 나타내는 비용함수(Cost function)는 여러 함수들 중에서 Eq. (5)과 같이 정의된 평균제곱오차(Mean squared error)를 사용하였다.

E=1nj=1nyj-Φj2(5) 

여기서, n은 전체 데이터 수를 나타낸다. 가중치의 초기값 설정은 안정적인 학습을 유지하여 학습성능을 결정하는 매우 중요한 과정이다. 본 연구에서는 평균이 0인 가우스 분포를 따르는 임의의 난수를 가중치의 초기값으로 사용하였다. 모든 은닉층에서 분산을 최대한 비슷하게 유지하기 위해서 2가지 활성화함수들에 대해 각각 다른 초기화 기법을 사용하였다. i+1번째 층에서 활성화함수가 ReLU 함수로 적용된 경우는 표준편차가 2/nni인 He 등[13]의 He 초기화 기법을, tanh(x) 가 적용된 경우는 표준편차가 2/nni+nni+1인 Glorot and Bengio[14]의 Xavier 초기화 기법을 사용하였다. nnii번째 층의 노드 수를 나타낸다.

위 방법들을 사용하여 역전파 알고리즘을 수행하면 다음과 같은 프로세스를 거친다. 먼저 초기화 기법을 통해 생성된 초기 가중치와 편향 값에 대해 순전파(Forward propagation) 과정을 거쳐 출력된 값의 평균제곱오차 EEq. (5)을 통해 얻어진다. 그 후 초기 가중치에 대한 오차들의 기울기로 구성된 자코비안 행렬을 통해서 가중치를 갱신하며 오차를 줄이는 방향으로 학습된다. 이러한 순전파와 역전파 프로세스를 한번 왕복하는 과정은 1 에폭(epoch)이며 비용함수 E가 충분히 감소될 때까지 5,000 에폭 내에서 학습되었다.

학습이 완료되면 얻어진 가중치 wij와 편향 bij 값들을 사용하여 다음 Eq. (6)과 같이 순전파 과정을 진행하면 출력값들이 얻어진다.

xi+1,j=Sij=1nniwijxij+biji=0,m+1(6) 

여기서, 각 은닉층의 출력값 xij, 가중치 wij, 그리고 편향 bij들의 하첨자 iji 번째 은닉층에서 j 번째 노드를 의미한다. 이들 가중치와 편향값들로 기존의 층류화염편 라이브러리를 대체하였으며 순전파 과정을 처리하는 Fortran 모듈을 개발하였다.


3. 결과 및 토의
3.1 인공신경망 구성에 따른 학습성능 비교

Fig. 4는 인공신경망에 사용되는 노드 및 은닉층 수 변화에 따른 전체 가중치와 편향들의 합을 나타낸다. 가중치와 편향들은 기존 연소해석에서 사용된 look-up table 전체를 대체한다. 학습데이터로 사용된 look-up table은 5차원의 입력변수와 18개의 출력변수에 대해 총 10,440,738개(81×31×7×11×3×18)의 값이 선형보간되며, 이는 연소해석에 필요한 시스템 메모리의 사용량이라 생각할 수 있다. 반면에 인공신경망의 가중치와 편향들의 수는 현재 해석에서 사용된 전체 신경망구성들에서 최대 1,061개로 각 출력변수마다 99.9% 이상 감소된다. 따라서 look-up table을 인공신경망으로 대체하면 시스템 메모리를 매우 효율적으로 사용하게 된다. 따라서 인공신경망을 적용하면 학습성능(정확도)과 연소해석에서 look-up table의 보간을 대체하는 순전파 과정의 계산시간이 중요한 것으로 생각된다. 가중치는 각 은닉층의 노드 수의 제곱에 은닉층을 곱해주기 때문에 노드 수가 동일할 때 은닉층 수가 증가하면 가중치의 수는 선형적으로 증가하며, 노드 수가 많아질수록 은닉층의 증가에 따라 가중치의 수가 더 급격하게 증가한다.


Fig. 4 
Number of architectures for ANNs with RCM-3 look-up table.

학습성능은 인공신경망의 구성과 활성화함수에 따라서 매우 큰 차이를 보이게 된다. 따라서 인공신경망 구성에 따른 가중치 및 편향의 수와 활성화함수에 따른 영향을 비교하기 위해서 Fig. 5에서는 화염온도에 대한 학습성능이 비교된다. 현재 연구에서 학습성능을 나타내는 평균제곱오차는 클수록 기존 look-up table과 신경망의 해석결과에서 차이가 크다는 것을 의미한다. 따라서 평균제곱오차가 충분히 작아지도록 학습된 인공신경망의 해석결과가 타당하다고 할 수 있다. ReLU 함수를 은닉층의 활성화함수로 사용하는 경우는 학습속도는 빠르지만 학습과정에서 음의 값이 입력되는 노드를 모두 0으로 출력하는, 죽어가는 ReLU(Dying ReLU) 현상이 발생된다. 출력값을 0으로 내보내는 비활성화된 노드는 더 이상 역전파를 통한 가중치갱신이 이루어지지 않게 된다. 따라서 노드와 은닉층 수가 많아지더라도 학습성능이 지속적으로 향상되지 않는 것을 확인할 수 있다. 동일한 신경망 구성에서 tanh(x)에 비해 학습성능이 훨씬 좋지 않기 때문에 현재연구에서는 연소해석을 위한 충분한 정확성을 가지지 못한다고 판단된다. 각 은닉층에 동일한 노드 수와 활성화함수 tanh(x)를 사용할 때 10개 이상의 은닉층을 쌓으면 전체 가중치의 수에 비례하게 학습성능이 향상되지 않는 것을 확인할 수 있다. 따라서 현재 연구에서는 최대 8개의 은닉층을 사용하는 것이 시스템 메모리 사용량 관점에서 최대 학습효율이 얻어지는 것으로 판단된다. Fig. 6은 신경망 구성에 따른 화염편 온도변화를 나타낸다. 화염편은 RCM-3 연소기의 연소실 압력 6 MPa에 대해 단열 평형조건에서 얻어진 온도분포를 나타낸다.


Fig. 5 
Comparison of mean squared error for various ANNs and activation functions.


Fig. 6 
Comparison of temperature distribution of various ANNs.

Fig. 6(a)는 각 은닉층의 노드 수가 6개로 고정될 때 은닉층 수에 따른 화염온도 분포를 나타낸다. 노드 수가 6개 일 때 은닉층이 4개 이상이면 look-up table과의 상관계수 R이 1이며 차이가 없다는 것을 의미한다. 4개의 은닉층에 노드 수 변화에 따른 온도분포를 나타낸 Fig. 6(b)에서는 노드 수가 2개일 때 온도분포를 매우 다르게 예측하였다. 그리고 노드 수가 증가함에 따라 상관계수 R이 1에 가까워지며 6개 이상일 때 1이다. 따라서 은닉층과 노드 수가 모두 최소 6개 이상일 때 적절한 연소해석 정확도를 얻을 수 있는 것으로 예상할 수 있다. 또한 인공신경망 학습결과가 화염온도 뿐만 아니라 각 물성치들의 특성을 잘 나타내도록 은닉층 수 m과 노드 수 nni를 결정하여야한다. Fig. 7은 은닉층이 4개일 때 노드 수 변화에 따른 점성계수와 정압비열의 학습결과를 기존의 층류화염편 라이브러리와 비교하였다. 점성계수는 Fig. 6의 온도와 마찬가지로 4개의 노드 수로 충분한 학습성능이 얻어진다. 반면 혼합분율 Z=0.0015에서 나타나는 정압비열의 peak은 초임계 압력에서 극저온 액체산소의 가성비등(Pseudo boiling)에 의한 물리적 현상이다. 이러한 학습데이터는 적은 노드 수로는 잘 학습되지 않는 문제가 있다. 현재 연구에서는 각 은닉층에 6개의 노드를 사용하면 가성비등을 전혀 감지하지 못하였고, 8개의 노드를 사용하면 가성비등을 나타내는 peak가 있지만 look-up table과는 큰 차이가 존재했다. 현재 연구에서는 노드 수를 10개로 충분히 배치하여야만 정압비열의 특징이 잘 학습되었다.


Fig. 7 
Comparison of viscosity and specific heat for number of nodes.

3.2 인공신경망을 이용한 RCM3 해석결과

인공신경망을 이용한 초임계 연소해석을 검증하기 위한 해석영역으로는 기체수소와 액체산소를 사용하는 RCM-3 연소기를 선택하였다[6,7]. 총 격자 수는 12만개 수준이며 2차원 축대칭 형상으로 해석이 수행되었다. 난류모델로는 standard k-ϵ 모델이 사용되며 대류항의 차분법에는 4차 정확도의 Compact scheme을 적용하였다. Crank-Nicolson법으로 시간적분되며 PISO알고리듬에 기반한 압력수정방정식을 통해 비정상 해석을 수행하였다. CFL수는 0.5로 유지하여 유동장이 충분히 발달하도록 150d/Uo동안 계산을 수행한 뒤 200d/Uo동안 시간평균 되었다. 여기서 d는 액체산소 분사기 직경이며 Uo는 액체산소의 입구속도이다.

Fig. 8은 RCM-3 연소기의 연소해석조건 중 혼합분율의 섭동과 스칼라 소산율의 범위와 전체 look-up table에 대한 학습결과의 상대오차를 나타낸다. 학습결과는 모두 4개의 은닉층을 가지며 5가지 노드 수에 대하여 비교된다. 6 MPa의 연소실 압력의 수소-산소 연소에서 소염한계는 스칼라 소산율 χst이 1.3×106(1/s)보다 큰 값에서 나타난다[15]. 스칼라 소산율의 최대 값이 1.5×105(1/s)인 현재 look-up table에서는 스칼라 소산율에 의한 출력변수들의 차수변화는 거의 없기 때문에 균일한 학습이 수행되어진다. 따라서 상대오차변화는 거의 없는 것을 확인할 수 있다. 반면에 혼합분율의 섭동변화에서는 상대오차의 변화가 매우 큰 것을 알 수 있다. 정규화된 혼합분율의 섭동은 Eq. (7)에 의해 얻어진다.

Zs''2~=Z'2~Z~1-Z~(7) 

Fig. 8 
Total relative error with scatters of normalized mixture fraction variance and scalar dissipation rate at RCM-3 result.

혼합분율의 섭동은 연소유동에 대한 난류의 영향을 나타내며 섭동이 큰 영역에서는 화염장의 평균온도가 낮아지게 된다. 따라서 혼합분율의 섭동이 높은 영역과 낮은 영역에서 출력변수들의 차수변화가 증가하기 때문에 상대적으로 낮은 차수를 보이는 Zs2~ 근처에서 상대오차가 더 크게 학습된다. 그러나 전체 look-up table의 정규화된 혼합분율의 섭동과 스칼라 소산율의 범위는 각각 0Zs2~1, 그리고 0.275χ~150000에 있다. 그러나 Standard k-ϵ 난류모델을 적용한 RCM-3 연소기의 예비해석 결과에서는 Zs2~0.6,  χ~30000에서만 사용되는 것이 확인된다. 따라서 실제 해석에 사용된 범위에 대해 높은 정확도로 학습된 것으로 판단하였다. RCM-3 해석범위에서, 노드 수가 4개 이상이면 상대오차 1% 정도로 학습되며, 노드 수가 8개 이상이면 상대오차의 감소가 거의 없는 것을 알 수 있다.

인공신경망 구성에 따른 화염편들의 화염온도 및 물성치 분포나 오차들의 비교를 통해 신경망 적용 가능성이 충분히 검토되었다. Fig. 9에서는 학습된 신경망들을 적용한 RCM-3 해석결과의 화염장 및 밀도장이 기존의 look-up table 해석결과와 비교된다. 인공신경망을 적용한 결과는 최적의 학습효율이 얻어지는 것으로 판단된 4개의 은닉층에 8개의 노드로 구성된 신경망으로부터 얻어졌다. Fig. 9를 보면 look-up table과 신경망을 이용한 해석결과에서 상당한 차이가 있는 것이 확인된다. 신경망을 이용한 RCM-3 해석결과에서 축중심 분포를 보면 액체산소의 밀도가 약 10% 높고 화염길이가 4D정도 길게 얻어진다. 현재 연구의 look-up table은 국부적인 속도차이에 의한 압력변화를 고려할 수 있도록 실제유체 상태방정식에서 얻어진 RT 값을 보간하여 밀도를 계산한다. 이러한 방법을 인공신경망에 적용할 때의 문제점을 살펴보기 위해 학습된 RT와 밀도의 혼합분율에 따른 분포를 Fig. 10에 나타내었다. 은닉층 4개에서 학습된 RT 값은 전체적인 분포에서는 노드 4개 이상에서 잘 일치하는 것으로 보인다. 하지만 액체산소 영역인 Z=0 근처를 확대하여 자세히 살펴보면 차이가 상당히 큰 것을 확인할 수 있다. 6 MPa의 연소실 압력에서 계산된 밀도분포는 Fig. 10(b)와 같이 얻어지며 Z=0인 액체산소의 밀도와 look-up table과의 오차를 계산해보면 Table 1과 같이 정리되어진다. 10개의 노드에서만 1% 이하의 오차를 가지는 것으로 확인된다. 이러한 오차는 차수가 작은 학습데이터 영역에서 학습성능이 늦게 개선되어지는 경사하강법(Gradient descent) 기반의 인공신경망 학습특성으로 인해 발생한다. 이러한 특성으로 인해 Fig. 9의 해석결과에서 큰 차이를 보인 것으로 생각된다. 따라서 이러한 문제를 해결하기 위해서 밀도 값을 직접 학습하였다. 혼합분율에 대한 밀도분포에서 가장 높은 밀도를 가지는 액체산소에서 가장 먼저 학습성능이 수렴되기 때문에 Fig. 11과 같이 노드 수가 2개인 경우를 제외하면 모두 매우 잘 일치하는 것을 확인할 수 있다. 따라서 현재 연구에서는 학습데이터 RT로부터 6 MPa 조건에서의 밀도를 계산하여 직접 밀도를 학습데이터로 사용하였다. 인공신경망의 순전파 과정에서 얻어진 밀도에 압력비 Pr(=P/Pc)를 곱해주어 압력에 의한 영향을 고려하였다. 여기서 Pc는 연소실 기준 압력인 6 MPa 이다. Table 1은 직접 학습된 밀도의 오차를 추가적으로 나타낸다. 노드 수 6개 이상에서 모두 상대오차 0.1% 이하로 매우 정확하게 예측하고 있다. Fig. 12는 밀도기반으로 학습된 신경망의 해석결과를 나타낸다. Fig. 11에서 확인된 것처럼 액체산소 코어길이가 look-up table결과와 매우 잘 일치하고 있다. 노드 수를 6개와 8개로 모두 동일하게 적용하였을 때의 결과도 RT를 학습시켰을 때보다 훨씬 학습성능이 우수하지만 각 출력변수들에 대해 R=1이 되는 최소 노드 수로 최적화된 학습성능이 얻어지는 인공신경망의 해석결과는 액체산소 코어뿐만 아니라 온도장 또한 가장 잘 예측하고 있다. Fig. 13은 인공신경망 구성에 따른 연소해석 및 물성치들의 계산시간을 나타낸다. 기존의 층류화염편 라이브러리를 사용하는 해석코드는 전체 격자수 119,322개의 해석영역에서 한번의 반복계산에 0.9 s가 소요된다. look-up table의 5차원 선형보간에 사용되는 계산시간은 0.094 s 로 약 10%를 차지한다. 현재 연구에서 선택된 신경망들 중 4개의 은닉층에 8개의 노드와 6개의 노드를 배치한 조건에서는 계산시간이 각각 0.076 s와 0.054 s로 기존 보간법 처리시간에 비해 약 20~43%의 계산시간이 절감된다. 학습성능이 더 좋은 최적화된 신경망의 경우 0.059 s로 look-up table의 보간에 비해 계산시간이 37% 감소하였으며, 가중치와 편향 값은 2,498개로 시스템 메모리 사용량은 99.98% 감소된다. 계산시간은 AMD THREADRIPPER 3,960 × 3.8 GHz CPU에서 intel FORTRAN 컴파일러를 통해 얻어졌으며 컴파일러나 작동환경에 따라 달라질 수 있다. tanh(x) 활성화함수를 처리하는 계산시간이 크기 때문에 현재 연구에서는 은닉층을 4개까지만 쌓는 것이 비슷한 학습성능이 얻어지면서 적은 계산시간이 소요되므로 더 유리하다는 것을 알 수 있다. 그러나 Fig. 8에서도 볼 수 있듯이 은닉층과 노드 수가 감소되면 학습성능이 국부적으로 낮아지기 때문에 A60, C60 등과 같은 다른 조건에서 해석을 수행하면 주어진 문제에 따라 최적의 ANN 구성이 달라질 것으로 생각된다.


Fig. 9 
Temperature and density fields of RCM-3 by ANN and look-up table.


Fig. 10 
RT based density distributions of ANNs.

Table 1. 
Comparison of RT based and directly trained density for liquid oxygen(85 K).
# of nodes 2 4 6 8 10
RT based 600.5
(49%)
1,235.2
(4.5%)
1,293.3
(9.4%)
1,248.5
(5.6%)
1,188.1
(0.52%)
Directly trained 817.5
(31%)
1,176.5
(0.47%)
1,182.7
(0.06%)
1,181.3
(0.06%)
1,181.7
(0.03%)
LK* 1,182.0
*Look-up table


Fig. 11 
Directly trained density distributions of ANNs.


Fig. 12 
Temperature and density fields of RCM-3 case by directly trained density.


Fig. 13 
Comparison of computational time for various ANNs.


4. 결 론

초임계 압력조건의 기체수소-액체산소 RCM-3 연소기의 해석에 사용되는 층류화염편 라이브러리를 대체하기 위한 인공신경망 학습이 수행되었다.

학습된 인공신경망을 이용하면 기존 RCM-3 연소해석 및 물성치들의 값을 얻기 위해 사용되는 look-up table 메모리의 0.02%로 감소되었다. 인공신경망의 활성화함수로는 일반적으로 사용되어지는 ReLU에 비해 쌍곡선 탄젠트 함수가 높은 학습성능이 요구되는 현재 연구에 더 적합했다. 인공신경망 구성에 따른 화염온도의 학습성능을 비교하기 위해 2, 4, 6, 8, 10개로 각각 구분된 5가지의 은닉층 및 5가지의 노드로 구성된 총 25가지의 신경망 구성에 대해 비교되었다. 8개의 은닉층에서 인공신경망 가중치 수에 의한 메모리 사용에 비해 학습성능이 가장 효율적으로 학습이 되는 것을 확인하였다. 10개 이상의 은닉층으로 구성된 신경망에서는 가중치의 수가 증가하는 것에 비례하여 학습성능이 향상되지 않았다. 신경망들은 대부분의 출력변수들에 대해 4개의 은닉층에 4개의 노드 이상으로 구성된 경우 상대오차가 1% 수준으로 낮아졌다. 그러나 출력변수가 급격하게 변화되는 경우 추가적인 노드 수가 필요하였다.

RCM-3 연소기의 해석에서 기존 look-up table의 RT를 학습시키는 경우 경사하강법 기반의 신경망 학습특성으로 인해 밀도 계산에서 매우 큰 오차를 보이는 것을 알 수 있다. 현재 연구에서는 밀도를 직접 학습하는 방식을 통해서 4개의 은닉층에서 4개 이상의 노드에서 모두 밀도가 잘 학습되는 것을 확인하였다. 또한 데이터의 특성을 변환시킴으로서 신경망 구성을 최소화할 수 있다. 각 출력변수에 따라 노드 수가 최적화된 인공신경망을 사용하면 기존 층류화염편 라이브러리의 RCM-3 해석결과를 매우 유사하게 얻었으며 보간에 걸리던 계산시간을 37%, 시스템 메모리를 99.98% 감소시켰다.


Acknowledgments

이 성과는 정부의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(NRF-2016R1D1A1B02012446).


References
1. Waxenegger-Wilfing, G., Dresia, K., Deeken, J. and Oschwald, M., “Machine Learning Methods for the Design and Operation of Liquid Rocket Engines - Research Activities at the DLR Institute of Space Propulsion,” Space Propulsion, Virtual, 2021.
2. Schmitt, T., “Large-Eddy Simulations of the Mascotte Test Cases Operating at Supercritical Pressure,” Flow, Turbulence and Combustion, pp. 159-189, 2020.
3. Zhang, J., Huang, H., Xia, Z., Ma, L., Duan, Y., Feng, Y. and Huang, J., “Artificial Neural Networks for Chemistry Representation in Numerical Simulation of the Flamelet-Based Models for Turbulent Combustion,” IEEE, Vol. 8, pp. 80020-80029, 2020.
4. Milan, P.J., Wang, X., Hickey, J.-P., Li, Y. and Yang, V., “Accelerating Numerical Simulations of Supercritical Fluid Flows using Deep Neural Networks,” AIAA Scitech 2020 Forum, Orlando, U.S.A., AIAA 2020-1157, Jan. 2020.
5. Li, B., Lee, Y., Yao, W., Lu, Y. and Fan, X., “Development and Application of ANN Model for Property Prediction of Supercritical Kerosene,” Computers and Fluids, Vol. 209, 104665, 2020.
6. Kim, W.H. and Park, T.S., “An Evaluation of Numerical Schemes in a RANS-based Simulation for Gaseous Hydrogen/Liquid Oxygen Flames at Supercritical Pressure,” J. Kor. Soc. of Propulsion Engineers, pp. 21-29, 2013.
7. Thomas, J.L. and Zurbach. S., “Test case RCM-3: Supercritical Spray Combustion at 60 bars at Mascotte,” Proceedings, 2nd International Workshop on Rocket Combustion Modeling, Lampoldhausen, Germany, pp. 13-23, 2001.
8. Li, J., Zhao, Z., Kazakov, A. and Dryer, F. L., “An Updated Comprehensive Kinetic Model of Hydrogen Combustion,” Int. J. Chemical Kinetics, Vol. 36, pp. 566-575, 2004.
9. Soave, G., “Equilibrium Constants from a Modified Redlich-Kwong Equation of State,” Chemical Engineering Science, Vol. 37, pp. 1197-1203, 1972.
10. Chung, T.-H., Ajlan, M., Lee, L.L. and Starling, K.E., “Generalized Multiparameter Correlation for Nonpolar and Polar Fluid Transport Properties,” Ind. Eng. Chemistry Research, Vol. 27, pp. 671-679, 1988.
11. Kim, S.-K., Joh, M., Choi, H.S. and Park, T.S., “Multidisciplinary Simulation of a Regeneratively Cooled Thrust Chamber of Liquid Rocket Engine: Turbulent Combustion and Nozzle Flow,” Int. J. of Heat and Mass Transfer, Vol. 70, pp. 1066-1077, 2014.
12. Marquardt, D.W., “An Algorithm for Least-Squares Estimation of Nonlinear Parameters,” J. Soc. Ind. and Applied Mathematics, Vol. 11, No. 2, pp. 431-441, 1963.
13. He, K., Zhang, X., Ren, S. and Sun, J., “Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification,” IEEE Int. Conference on Computer Vision, pp. 1026-1034, 2015.
14. Glorot, X. and Bengio, Y., “Understanding the Difficulty of Training Deep Feedforward Neural Networks,” Int. Conference on Artificial Intelligence and Statistics, pp. 249-256, 2010.
15. Kim, T., Kim, Y. and Kim, S.-K., “Numerical Analysis of Gaseous Hydrogen/Liquid Oxygen Flamelet at Supercritical Pressures,” Int. J. of Hydrogen Energy, Vol. 36, pp. 6303-6316, 2011.