• Table 7. Comparison of Model Accuracies. Model Year Accuracy (%) 2 Class 6 Class 15 Class
  • Figure 14. Normalized Confusion Matrix. 6. Discussion




    Download 6 Mb.
    Pdf ko'rish
    bet13/16
    Sana18.02.2024
    Hajmi6 Mb.
    #158491
    1   ...   8   9   10   11   12   13   14   15   16
    Bog'liq
    mathematics-12-00571

    Figure 14.
    Normalized Confusion Matrix.
    6. Discussion
    We performed a comprehensive examination of the CNN-LSTM-GRU ensemble model
    within the diverse and challenging domain of IoT security for EVCS. A comparative
    analysis, as detailed in Table
    7
    , situates the ensemble model within the context of recent
    advancements, delineating its standing against contemporary architectures in the field.
    Table 7.
    Comparison of Model Accuracies.
    Model
    Year
    Accuracy (%)
    2 Class
    6 Class
    15 Class
    DNN [
    33
    ]
    2022
    99.99
    96.01
    94.67
    Inception Time [
    34
    ]
    2022
    -
    -
    94.94
    CNN-LSTM [
    35
    ]
    2022
    100
    98.69
    -
    VGG-16 [
    36
    ]
    2023
    100
    -
    94.86
    DeepAK-IoT [
    37
    ]
    2023
    -
    -
    94.96
    LNKDSEA [
    38
    ]
    2023
    99.99
    84.97
    80.12
    RNN [
    39
    ]
    2023
    100
    92.53
    90.22
    MAGRU [
    40
    ]
    2023
    99.99
    -
    -
    CNN-LSTM-GRU
    2023
    100
    97.44
    96.90


    Mathematics 2024, 12, 571
    23 of 26
    In the binary classification domain, CNN-LSTM-GRU achieved parity with the unas-
    sailable accuracy of its peers, where models such as CNN-LSTM [
    35
    ], VGG-16 [
    36
    ], and
    RNN [
    39
    ] also have perfect scores. This uniform excellence across models underscores a
    maturing understanding and effective handling of binary classification tasks in the IoT
    security domain.
    The model’s success in achieving 100% accuracy in binary classification can be at-
    tributed to the complementary strengths of its constituent architectures. The convolutional
    layers effectively capture spatial hierarchies in the data, which is particularly useful in
    identifying patterns indicative of intrusion within the IoT EVCS context. LSTM components
    contribute to this high performance by capturing long-term dependencies, allowing for an
    effective understanding of sequence progression in temporal data, a feature common in
    network traffic. GRUs further refine the model’s capability by addressing the vanishing
    gradient problem often encountered in recurrent networks, thereby enhancing the learning
    process for long sequences without the need for extensive computational resources.
    In the six-class classification scenario, CNN-LSTM-GRU displayed a notable accuracy
    of 97.44%, surpassing most of its contemporaries and falling slightly behind CNN-LSTM’s
    leading edge. This performance indicates CNN-LSTM-GRU robust feature extraction
    and sequence learning capabilities, which are critical for distinguishing between a broad
    spectrum of intrusion behaviors.
    The fifteen-class classification, characterized by its intricacy and the granular distinc-
    tion of intrusion types, demonstrated that CNN-LSTM-GRU maintained a high accuracy of
    96.90%. This is a commendable achievement, especially when juxtaposed with DeepAK-
    IoT [
    37
    ] and Inception Time [
    34
    ], which represent the upper echelon of performances in this
    category. Notably, CNN-LSTM-GRU showed marked superiority over LNKDSEA [
    38
    ] and
    RNN [
    39
    ], underscoring the efficacy of the ensemble approach in managing the increased
    complexity of fine-grained classifications.
    The CNN component of our ensemble model is primarily responsible for spatial
    feature extraction. Unlike traditional models such as the DNN [
    33
    ] and RNN [
    39
    ], which
    may lack depth in feature extraction, the CNN layers in our model provide a comprehensive
    analysis of the input data’s spatial characteristics. This is evident in the binary classification
    results, where our model matches the perfect accuracy of the CNN-LSTM [
    35
    ] and the
    VGG-16 [
    36
    ], which are known for their strong feature extraction capabilities.
    For temporal analysis, the LSTM and GRU components of our model are critical.
    The LSTM layers capture long-term dependencies, while the GRU layers focus on shorter-
    term data sequences. This dual approach allows our model to outperform traditional
    architectures like the DeepAK-IoT [
    37
    ] and LNKDSEA [
    38
    ], particularly in the multi-class
    classification tasks. It can recognize complex attack patterns that unfold over time, which
    might be overlooked by models without this temporal depth.
    These comparative outcomes not only validate the ensemble model’s capability but
    also propel the discourse on the potential of hybrid models. The integration of multi-
    ple neural network architectures may well be the harbinger of a new paradigm in IoT
    security, where the complexity of threat detection is met with an equally sophisticated
    analytical arsenal.
    Moreover, the results present an impetus for the continued exploration of ensemble
    methods in DL, pushing the envelope in terms of accuracy, adaptability, and computational
    efficiency. As the digital infrastructure of IoT expands, the ensemble model’s adaptability
    and learning depth will be pivotal in safeguarding the integrity and robustness of the
    interconnected systems.
    Considering these findings, the CNN-LSTM-GRU ensemble architecture emerges as a
    potent architecture, heralding a promising direction for future research to further refine and
    optimize DL strategies for intrusion detection, ensuring that they remain at the vanguard
    of the ever-evolving cybersecurity landscape.


    Mathematics 2024, 12, 571
    24 of 26

    Download 6 Mb.
    1   ...   8   9   10   11   12   13   14   15   16




    Download 6 Mb.
    Pdf ko'rish

    Bosh sahifa
    Aloqalar

        Bosh sahifa



    Figure 14. Normalized Confusion Matrix. 6. Discussion

    Download 6 Mb.
    Pdf ko'rish