面向機器學習建模的數據治理技術路徑研究
網絡安全與數據治理
李彥澤1,郭超2,孫旭明2,母東杰2
1.北京百分點科技集團股份有限公司; 2.中國電子產業工程有限公司
摘要: 隨著人工智能和機器學習技術的快速發展,數據質量已成為提升模型性能和可靠性的核心因素。特別是在不同類型機器學習模型的應用中,如何有效地實施數據治理以提升數據質量、穩定性和公平性,仍然是一個亟待解決的問題。綜述了數據治理在機器學習建模中的關鍵作用,提出了一套系統性的數據治理框架,涵蓋數據采集、處理、標注、模型訓練等全過程,旨在提供切實可行的治理方案以支撐機器學習應用。該框架強調在不同階段采用針對性的技術措施,確保數據治理的有效性,從而促進數據質量的提升和模型的可解釋性、穩定性及公平性的保障。本研究為數據治理在機器學習中的深入應用提供了理論基礎,并為后續的技術實踐和創新提供了指導。
中圖分類號:TP18.4文獻標識碼:ADOI:10.19358/j.issn.2097-1788.2025.03.011
引用格式:李彥澤,郭超,孫旭明,等. 面向機器學習建模的數據治理技術路徑研究[J].網絡安全與數據治理,2025,44(3):63-70.
引用格式:李彥澤,郭超,孫旭明,等. 面向機器學習建模的數據治理技術路徑研究[J].網絡安全與數據治理,2025,44(3):63-70.
Data governance technical process for machine learning modeling
Li Yanze1, Guo Chao2, Sun Xuming2, Mu Dongjie2
1. Beijing PERCENT Technology Group Co., Ltd.; 2. China Electronics Industry Engineering Co., Ltd.
Abstract: With the rapid development of artificial intelligence and machine learning technologies, ensuring data quality has become a core factor in enhancing model performance and reliability. Particularly in the application of different types of machine learning models, how to effectively implement data governance to improve data quality, stability, and fairness remains an urgent issue to be addressed. This paper reviews the critical role of data governance in machine learning modeling and proposes a systematic data governance framework, covering the entire process from data collection, processing, and annotation to model training. The framework aims to provide practical governance solutions to support machine learning applications. It emphasizes the adoption of targeted technical measures at different stages to ensure the effectiveness of data governance, thereby enhancing data quality and ensuring model interpretability, stability, and fairness. This research provides a theoretical foundation for the in-depth application of data governance in machine learning and offers guidance for subsequent technical practices and innovations.
Key words : data governance; machine learning; artificial intelligence; architecture; data management; model training
引言
當前,人工智能(AI)和機器學習(ML)已廣泛應用于語音技術、醫療研發、自動駕駛等多個日常生活領域。AI的核心構成是算法、數據和基礎設施三者的有機結合[1]。單純依靠算法優化和硬件性能提升不足以推動AI的發展,更需高質量數據集的支撐。關于如何優化數據處理和治理過程,大部分研究集中于標注質量的提升、數據集的構建及優化、模型評估等方面,缺乏系統化的技術路徑和全面的解決方案。尤其是在面對不同類型的機器學習模型(如監督學習、無監督學習、強化學習等)時,如何提升數據質量和模型的穩定性、可解釋性以及公平性,仍然是一個亟待解決的問題。
本文綜合現有研究成果,提出了一套系統性的數據治理框架,結合機器學習建模需求,從數據采集、處理、標注到模型訓練的全過程中提供可操作的治理方案,推動數據治理在機器學習應用中的深入實施。
本文詳細內容請下載:
http://m.viuna.cn/resource/share/2000006380
作者信息:
李彥澤1,郭超2,孫旭明2,母東杰2
(1.北京百分點科技集團股份有限公司,北京100096;
2.中國電子產業工程有限公司,北京100036)
此內容為AET網站原創,未經授權禁止轉載。