A Study on Recurrent Neural Network Performance for In-Vehicle Intrusion Detection Agents

Ⅰ. 서 론

최근 차량 내부 네트워크의 연결성과 자동화 수준이 높아지면서, 차량 시스템 보호를 위한 지능형 침입 탐지 에이전트(agent)의 필요성이 대두되고 있다. 특히, 차량 내 통신을 담당하는 Controller Area Network(CAN) bus 프로토콜은 메시지 인증이나 암호화 같은 보안 기능이 부족하여 기능 마비 등 심각한 사고를 야기할 수 있어 통신 패턴을 분석하고 이상 징후를 탐지하는 지능형 보안 시스템의 도입이 필수적이다. CAN 메시지 패킷들은 차량 내 노드들의 식별자 우선 순위에 따라 처리 순서가 결정되기 때문에, 교환되는 메시지의 순서나 주기를 변경시켜 혼선을 유발하는 공격이 주로 수행된다^[1]. 따라서, 순서와 시간 정보 반영을 통한 신속한 탐지가 필수적이기에 순환 신경망(Recurrent Neural Network,RNN)을 비롯한 딥러닝 모델을 기반으로 침입 탐지 시스템을 구축하려는 연구가 이루어지고 있다^[1-9].

본 논문에서는 Long Short-Term Memory (LSTM)^[10], Gated Recurrent Unit (GRU)^[11], Bi-directional LSTM (BiLSTM), Bidirectional GRU (BiGRU)^[12]를 이용하여 침입 탐지 성능을 시퀀스 길이에 따라 비교하고 분석한다.

Ⅱ. CAN 메시지 데이터

본 논문에서는 그림 1과 같은 다차원 시계열 형태의 CAN 메시지 데이터를 고려하며, Time stamp, CAN ID, DLC(Data Length Code), Payload 등 M개의 특징으로 이루어져 있다. 총 T개의 시점에서 수집된 전체 메시지 데이터 [TeX:] $$D \in \mathbb{R}^{T \times M}$$ 중에서, 신경망에 입력되는 데이터는 연속된 시퀀스 길이 [TeX:] $$L(L \leq T)$$개로 구성된 [TeX:] $$X \in \mathbb{R}^{L \times M}$$이다. 따라서 순환신경망은 고정된 길이의 연속적인 메시지들을 순차적으로 분석할 수 있으며, 이 짧을수록 탐지에 요구되는 시간 길이와 처리 데이터의 양이 감소하므로 더욱 빠른 침입 탐지에 유리하다.

그림 1.

순환 신경망 기반 차량 CAN 침입 탐지 시스템(Intrusion Detection System for In-Vehicle CAN based on RNN)

실제 공격 유형 [TeX:] $$y \in \mathbb{R}^L$$은 Normal, DoS, Fuzzy, Replay로 구성되며, 예측 [TeX:] $$\hat{y} \in \mathbb{R}^L$$는 신경망 출력에 Softmax 함수를 적용한 후 가장 높은 확률을 갖는 클래스로 결정된다. Normal은 어떠한 공격도 수행되지 않은 정상 상태를, DoS는 높은 우선순위의 식별자를 갖는 다량의 메시지가 빠른 주기로 주입되어 정상 메시지의 전송을 방해하는 공격을, Fuzzy는 랜덤한 식별자를 가진 임의의 payload가 포함된 메시지를 주입하는 공격을, Replay는 특정 시간 동안의 유효한 정상 메시지를 재주입하는 공격을 의미한다^[1].

Ⅲ. 차량 CAN 침입 탐지를 위한 순환 신경망

3.1 LSTM

LSTM은 3개의 게이트(gate)와 2개의 상태(state)로 구성되며, 특정 시점 t에서의 입력 벡터 [TeX:] $$x_t \in \mathbb{R}^M$$에 대해 수식 (1)과 같이 나타낼 수 있다.

[TeX:] $$W_i, W_f, W_o, W_c$$는 각 게이트와 상태에 대응하는 가중치 행렬, [TeX:] $$\boldsymbol{b}_i, \boldsymbol{b}_f, \boldsymbol{b}_o, \boldsymbol{b}_c$$는 편향 벡터이다. 입력 게이트 i_t는 새로운 정보를, 망각 게이트 f_t는 과거 정보를 반영하는 것을 조절하며, 출력 게이트 o_t는 입력 게이트와 망각 게이트가 모두 적용된 셀 상태 C_t를 통해 출력되는 정보를 결정한다. 셀 입력 [TeX:] $$\tilde{C}_t$$는 C_t에 새로 추가되는 입력 후보를, 은닉 상태 h_t는 t에서의 출력을 의미한다.

3.2 GRU

GRU는 2개의 게이트와 1개의 상태로 LSTM을 간략화한 구조로, 수식 (2)와 같이 표현할 수 있다.

[TeX:] $$W_r, W_z, W_h$$는 각 게이트와 상태에 대응하는 가중치 행렬, [TeX:] $$\boldsymbol{b}_r, \boldsymbol{b}_z, \boldsymbol{b}_h$$은 편향 벡터이다.초기화 게이트 r_t는 과거의 은닉 상태 h_t-1의 반영 정도를, 업데이트 게이트 z_t는 h_t-1와 새로운 은닉 상태 [TeX:] $$\tilde{h}_t$$의 비율을 조정하여 h_t 갱신 정도를 결정한다. 따라서, GRU의 h_t는 LSTM의 C_t와 h_t가 통합되어 표현된 것으로써, GRU가 LSTM의 단순화된 형태라는 것을 알 수 있다.

3.3 BiLSTM, BiGRU

BiLSTM과 BiGRU는 각각 LSTM과 GRU의 입력을 순방향과 역방향에서 모두 처리하는 것으로, 순방향 계층(layer)에서는 입력 데이터가 그대로 처리되며, 역방향 계층에서는 입력 데이터가 반전되어 역으로 처리된다. 따라서 과거와 미래의 정보를 모두 활용하여 보다 정교한 학습이 가능하다.

Ⅳ. 성능 비교 실험

4.1 실험 설정

본 연구에서 사용한 데이터셋은 KU-CISC2017-OTIDS-2nd^[13,914]로, Normal, DoS, Fuzzy, Replay 메시지를 포함한다. 로, 원본 데이터셋에서 단일값으로 구성된 FLAG는 제외하고, CAN ID, DLC, Payload^[1-8], logIAT(logInter Arrival Time)를 특징(feature)으로 사용하였다.logIAT는 각 CAN ID에 대해 현재와 이전 메시지 사이의 시간 간격의 로그를 취한 값으로, Time stamp를 대신하여 사용하였다. 여러 순환 신경망 종류에서 시퀀스 길이에 따른 탐지 성능 비교를 위해 [TeX:] $$L \in\{100,300,500\}$$으로 설정하였다. 성능 평가 지표로는 Matthews Correlation Coefficient (MCC), Precision, Recall, F1-score를 사용하였다. MCC는 불균형한 데이터셋에서도 전반적인 성능을 균형있게 평가하는 지표이다. Precision은 시스템이 특정 클래스로 예측한 것 중에서 실제로 해당 클래스에 속하는 비율을 의미하며, 예측의 정밀도를 나타낸다. Recall은 재현율로, 실제로 특정 클래스에 속하는 것 중에서 시스템이 올바르게 예측한 비율을 의미한다. F1-score는 Precision과 Recall의 조화평균으로, 정밀도와 재현율을 모두 고려한 결과이다.

4.2 실험 결과

표 1은 L에 따른 순환 신경망 종류별 차량 CAN 침입 탐지 성능을 비교한 결과이다. 실험 전반에 걸쳐 BiGRU와 GRU, 즉 GRU 계열의 순환 신경망이 LSTM 계열의 신경망보다 일관적으로 우수한 성능을 보였으며, 이는 CAN 메시지에 GRU 계열의 비교적 단순한 구조가 더 적합함을 시사한다. 특히, L=500에서 GRU가 가장 뛰어난 성능을 보였다. 또한, 양방향 구조인 BiGRU와 BiLSTM이 각각 GRU와 LSTM 대비 더욱 우세한 성능을 보였다. 이는 메시지의 과거와 미래 정보를 모두 활용하는 양방향 순환 구조가, 시계열의 시간 및 순서 정보가 중요한 메시지 주입 공격 탐지에 효과적임을 나타낸다. L=100인 경우에 BiGRU가 가장 우수한 성능을 보여, 빠른 탐지와 연산 효율이 중요한 차량 환경에 가장 유리한 구조로 판단된다.

Table 1.

L에 따른 순환 신경망 종류별 차량 CAN 침입 탐지 성능(In-Vehicle CAN Intrusion Detection Performance of RNNs for L)

그림 2는 공격 유형별 탐지 성능을 나타낸 것이다. Normal, DoS, Fuzzy는 조건에 상관없이 높은 탐지 성능을 유지했다. 반면, 정상 메시지 묶음을 가공 없이 재전송하는 공격 방식인 Replay는 다른 유형에 비해 낮은 성능을 보였다. 이는 Replay 메시지가 정상 메시지와 매우 유사하여 구분이 어렵기 때문이다. 그러나, 학습 시 L이 증가함에 따라 GRU 계열 신경망에서 성능이 향상되는 경향으로 보아, 장기적인 시계열 정보를 활용하는 것이 Replay 공격을 탐지하는 데에 효과적임을 알 수 있다. 따라서, Replay 공격 대응 측면에서도 GRU 기반 구조가 효과적임을 확인하였다.

그림 2.

공격 유형별 순환 신경망의 차량 CAN 침입 탐지 성능(In-Vehicle CAN Intrusion Detection Performance of RNNs for Attack Classes)

Ⅴ. 결 론

본 논문에서는 차량 CAN에서 발생하는 메시지 주입 공격 탐지를 목 적으로 4가지 순환 신경망 LSTM, GRU, BiLSTM, BiGRU의 탐지 성능을 비교하였다. 실제 차량 환경에서 수집된 KU-CISC 2017-OTIDS 데이터셋을 활용하여 실험한 결과, GRU 계열 신경망이 간결한 구조로 인해 뛰어난 일반화 능력을 보이며 일관적으로 우수한 탐지 성능을 보였다. 향후 특정 공격 유형에 특화된 침입 탐지 에이전트를 설계할 때, 본 연구 결과를 기반으로 순환 신경망 구조와 시퀀스 길이를 전략적으로 설정한다면, 더욱 정밀하고 효과적인 침입 탐지 시스템 구축이 가능할 것으로 기대된다.