Làm thế nào để áp dụng an ninh mạng trong IEC 61850 Station Bus?
Tác giả: Andreas Klien, OMICRON electronics GmbH, Cộng hòa Áo
Đăng trên tạp chí PAC World, số tháng 3 năm 2019
Giới thiệu
Cần nhiều lớp để đảm bảo an ninh mạng cho các trạm biến áp (TBA). Việc mã hóa cho phép xác thực các thiết bị, nhưng không tránh được mọi cuộc tấn công bằng phương pháp này. Tường lửa và cách ly vật lý (air gaps) có thể tránh khỏi các kênh xâm nhập từ xa hiện hữu, hoặc các máy tính bảo trì nối trực tiếp với các IED hay station bus. Do vậy, cần có các biện pháp để phát hiện các mối đe dọa trong TBA, cho phép phản ứng nhanh và giảm thiểu thiệt hại.
Bài báo này mô tả các yêu cầu về an ninh mạng trong TBA theo IEC 61850 và các cách thức khác nhau để phát hiện các cuộc xâm nhập vào mạng truyền thông. Tiếp đó, sẽ là một phương pháp đặc biệt được phát triển cho IEC 61850 station bus và process bus.
Các hướng tấn công của TBA
Chúng ta hãy định nghĩa tất công mạng trong trạm là 1 sự kiện, khi nó thay đổi, giảm thiểu hoặc vô hiệu một dịch vụ của ít nhất một thiết bị bảo vệ, tự động hóa hoặc điều khiển trong TBA. Quan sát trên Hình 1, một TBA điển hình có thể bị tấn công qua tất cả các con đường được đánh số. Tin tặc có thể xâm nhập từ kết nối với trung tâm điều khiển (1), như đã xảy ra trong một trong những cuộc tấn công mạng ở Ukraine, khi firmware của các thiết bị gateway bị sửa đổi (gây ra sự hư hỏng).
Một điểm xâm nhập khác là qua máy tính kỹ thuật (engineering PC) (2) dùng để cấu hình, cài đặt được kết nối với các thiết bị trong trạm. Khi một kỹ sư bảo vệ nối PC của mình vào rơle để cài đặt bảo vệ, phần mềm độc hại trên PC có thể cài đặt vào rơle, như cách tương tự đã xảy ra với các PLC trong cuộc tấn công mạng Stuxnet. Các máy tính xách tay được sử dụng để thí nghiệm hệ thống IEC 61850 thường nối trực tiếp đến station bus cũng là cách tiềm ẩn làm nhiễm độc các IED (3).
Vì lý do này, các công cụ thí nghiệm IEC 61850 mới hiện tại hỗ trợ việc tách biệt an ninh mạng (cyber-secure) giữa máy tính dùng để thí nghiệm (Test PC) và mạng truyền thông TBA. Điều này khiến bản thân hợp bộ thí nghiệm (4) là một đường xâm nhập tiềm ẩn. Do đó, các nhà sản xuất hợp bộ thí nghiệm cần đầu tư tăng cường cho thiết bị để đảm bảo đường xâm nhập này là bất khả thi đối với tin tặc.
Lưu trữ các chỉnh định (2a) và tài liệu thí nghiệm (3a) cũng có thể là một nguồn xâm nhập. Máy chủ lưu trữ dữ liệu do đó cũng thuộc vùng quan trọng cần bảo vệ. Vì vậy cũng cần đưa ra một giải pháp quản lý dữ liệu tách biệt, cô lập và được bảo vệ đối với các dữ liệu này.
An ninh mạng và IEC 61850
Câu hỏi thường được đặt ra về an ninh mạng trong TBA kỹ thuật số là “Điều gì sẽ xảy ra nếu một tin tặc gửi lệnh cắt (GOOSE) vào station bus – làm thế nào để tránh điều đó?”. Trong trường hợp này, chúng ta không nên tập trung vào cách tin tặc có tiếp cận vật lý tới mạng truyền thông trạm. Tình huống xảy ra cũng có thể qua các cách khác như: một máy tính để cài đặt, cấu hình hoặc thí nghiệm bị nhiễm độc nối với station bus, hoặc thậm chí một IED bị nhiễm độc có có thể bắt đầu phát GOOSE. Trong trường hợp này, trạng thái và số thứ tự trong bản tin GOOSE thường được hiểu như là các “cơ chế bảo mật” của GOOSE.
Tuy nhiên, trong năm 2019, các cách này chỉ được gọi là “cơ chế an toàn”, vì bất kỳ kẻ tấn công nào cũng có thể đọc được trạng thái và số thứ hiện tại để phát các giá trị thích hợp. Tin tặc có thể giả mạo cả các địa chỉ MAC nguồn của gói tin GOOSE. IED nhận GOOSE không có lựa chọn nào khác ngoài việc đáp ứng với bản tin GOOSE nhận được đầu tiên có địa chỉ MAC chính xác và trạng thái, số thứ tự đúng. Điều tương tự có thể xảy ra với bộ đếm mẫu trong Sampled Values. Biện pháp khả thi duy nhất để tránh cách cuộc tấn công xâm nhập kiểu này là đảm bảo tính xác thực và nguyên vẹn của bản tin sử dụng mã xác thực tại cuối của bản tin GOOSE, được chuẩn hóa bởi IEC 62351-6. Với biện pháp này, IED gửi sẽ được nhận biết rõ ràng và sẽ không thể can thiệp trái phép vào nội dung bản tin GOOSE. Lưu ý là không cần phải mã hóa bản tin để ứng dụng tính năng này. Để duy trì và xác thực key cho mỗi IED, bộ quản lý key cần phải đặt trong TBA. Hiện nay, cơ chế bảo mật GOOSE chưa được sử dụng phổ biến nhưng sẽ được áp dụng nhiều trong các TBA kỹ thuật số. Tương tự, nó cũng được áp dụng cho MMS và kiểm soát truy cập dựa trên vai trò (role-based).
Mã hóa
Mã hóa chưa được đề cập đến, mặc dù nó thường được nhìn nhận là vũ khí cho an ninh mạng. Tiêu chuẩn IEC 62351 cũng đề cập việc mã hóa cho GOOSE và MMS. Tuy nhiên, trong môi trường TBA có thể thấy chỉ có vài ứng dụng cần bảo mật nội dung bản tin. Nếu các bản tin không thể bị can thiệp (tính toàn vẹn) và nguồn gốc của nó có thể xác thực, thì có thể áp dụng cơ chế xác thực GOOSE và MMS mà không cần phải mã hóa các bản tin. Ví dụ việc mã hóa có thể cần thiết nếu bản tin GOOSE có thể định tuyến (Routable GOOSE) và được truyền ra ngoài bằng một đường truyền không được mã hóa. Mã hóa chỉ tăng thêm gánh nặng cho CPU của IED, tăng thời gian truyền GOOSE và cản trở các phương án thí nghiệm, và trong phần lớn các trường hợp, nó không tăng độ an toàn so với phương pháp mã xác thực. Mã hóa cũng làm cho việc lưu lại và phân tích lưu lượng gặp nhiều khó khăn và gây trở ngại cho các phương pháp giám sát được mô tả sau đây.
Bảo vệ toàn diện
Hầu hết các TBA IEC 61850 được xây dựng đến thời điểm này chưa thực hiện theo IEC 62351. Ngay cả trong các TBA sử dụng mã xác thực GOOSE và MMS, các thiết bị đã nhiễm độc trong mạng vẫn có thể ảnh hưởng cho các thiết bị khác hoặc làm ảnh hưởng đến hoạt động của hệ thống truyền thông. Do đó, phần lớn các tổ chức an ninh mạng khuyến cáo sử dụng Hệ thống phát hiện xâm nhập “Intrusion Detection Systems” (IDS), một thuật ngữ quen thuộc trong các hệ thống IT, để phát hiện các mối đe dọa và các hành vi trái phép trên mạng. Các IDS như thế này, tương tự như Station Guard của OMICRON, hiện nay trở nên phổ biến hơn trong lĩnh vực hệ thống điện.
Các yêu cầu với hệ thống IDS trong TBA
Trong TBA IEC 61850, một IDS được kết nối như Hình 2. Các cổng ánh xạ (Mirror port) trên tất cả các switch liên quan sẽ chuyển tiếp một bản sao chép của tất cả lưu lượng mạng tới IDS. IDS sẽ kiểm tra tất cả lưu lượng truyền qua các switch này. Để có phân tích lưu lượng quan trọng nhất giữa gateway và các IED, thiết bị IDS cần được nối với switch sát với gateway và các tất cả các điểm xâm nhập trọng yếu vào mạng truyền thông. Các switch ở các ngăn lộ thường không cần phải quan tâm do chỉ các thông tin đa hướng (GOOSE, Sampled Values) xuất phát từ đây. Để có thể phân tích được mọi thông tin liên kết (unicast) trong các nhánh mạng, mọi switch cần phải ánh xạ đến IDS, việc này thường không khả thi nếu sử dụng các switch được tích hợp trong IED.
Tuy nhiên, IDS của các hệ thống IT cổ điển không phù hợp với môi trường TBA. Khi mà hệ thống an ninh IT truyền thống ứng dụng cho các máy chủ hiệu năng cao với hàng triệu kết nối tại cùng thời điểm thì hệ thống an ninh mạng trong TBA phải làm việc với các thiết bị với năng lực xử lý hạn chế, hệ thống vận hành chuyên biệt, đáp ứng thời gian thực cùng với các giao thức dự phòng chuyên biệt. Ví dụ, một cuộc tấn công phá hủy dịch vụ (denial-of-service) nhằm vào dịch vụ của IED thường chỉ cần đến chục kết nối, như là 10 gói tin Ethernet, là đã thành công. Đơn giản bởi vì các kịch bản phá hủy dịch vụ không được tính đến trong quá khứ khi các thiết bị và giao thức được phát triển. Hơn nữa, chỉ có số lượng nhỏ các cuộc tấn công mạng vào TBA được biết đến, mỗi cuộc tấn công như vậy có thể gây ra các hậu quả nghiêm trọng. Do đó IDS cho TBA cần có khả năng phát hiện các cuộc tấn công mà không cần phải hiểu biết trước cuộc tấn công đó sẽ như thế nào, đây chính là việc của Station Guard thực hiện. Đây là phương pháp rất khác với bộ quét virus, cùng với danh sách nhận dạng virus để tìm kiếm.
Các hệ thống dựa trên khả năng tự học
Để có khả năng phát hiện các cuộc tấn công không biết trước, rất nhiều nhà sản xuất sử dụng phương pháp “learning-phase”. Các hệ thống này theo dõi về tần suất và thời gian các nhận biết giao thức đã biết để học hành vi bình thường trong hệ thống. Sau khi hoàn thành “giai đoạn học”, nếu một trong các dấu hiệu nhận biết vượt đáng kể khỏi dải kỳ vọng thì sẽ phát ra cảnh báo. Điều này dễ dẫn đến các cảnh báo sai được cho mọi vấn đề không xảy ra trong “learning phase”, ví dụ như bảo vệ tác động, đóng cắt bất thường hoặc các thao tác tự động, hoặc thí nghiệm và bảo dưỡng định kỳ. Vì các hệ thống này không hiểu về bản chất giao thức, các thông tin cảnh báo được hiểu dưới góc độ chi tiết kỹ thuật của giao thức. Do đó, các cảnh báo chỉ có thể được kiểm chứng bởi kỹ sư thành thạo về giao thức IEC 61850 và nắm rõ về an ninh mạng. Kỹ sư đánh giá cảnh báo cũng phải hiểu tình trạng vận hành để xác nhận các sự kiện IEC 61850 liên quan đến hành vi cho phép. Do vậy, khi có quá nhiều cảnh báo trong TBA, thường dẫn đến các cảnh báo bị bỏ qua mà không được xem xét, hoặc thậm chí IDS sẽ bị tắt.
Phương pháp
Trong TBA IEC 61850, toàn bộ hệ thống tự động hóa, bao gồm các thiết bị, mô hình dữ liệu và kiểu truyền thông của chúng đều được mô tả theo định dạng chuẩn – SCL. Các file mô tả cấu hình hệ thống – SCD thường chứa thông tin về các thiết bị nhất thứ và với số lượng ngày càng tăng các TBA, thậm chí có cả sơ đồ một sợi. Thông tin này cho phép sử dụng một phương pháp khác để phát hiện xâm nhập: hệ thống giám sát có thể tạo một mô hình hệ thống đầy đủ của hệ thống điện và tự động hóa; và nó có thể so sánh mỗi gói tin trên mạng với mô hình hệ thống hiện tại. Ngay cả các biến trong bản tin (GOOSE, MMS, SV) truyền thống có thể được đánh giá so sánh với nội suy từ mô hình hệ thống. Quá trình này có thể được thực hiện mà không cần phải học, chỉ cần file SCL. Phương pháp này được thực hiện hệ thống giám sát an ninh – Station Guard của OMICRON.
Giám sát an ninh theo chức năng
Về bản chất, giám sát chủ động chi tiết là sản phẩm phát hiện các đe dọa an ninh trên mạng. Với mức độ kiểm soát chi tiết, không chỉ phát hiện được các đe dọa an ninh mạng như các gói tin bất thường hay các hoạt động điều khiển trái phép, mà cả những lỗi truyền thông, như các vấn đề về đồng bộ thời gian, và hệ quả tương ứng là lỗi thiết bị. Nếu sơ đồ một sợi đã nắm được bởi hệ thống, và các giá trị đo có thể thấy trong truyền thông MMS (hoặc thậm chí qua Sampled Values), khả năng để kiểm soát là vô hạn.
Ví dụ với riêng GOOSE có 35 mã cảnh báo hiện tại có thể bị sai. Danh sách có thể đơn giản là bất thường trong stNum/ sqNum (như đã giải thích bên trên) tới những vấn đề phức tạp hơn, như thời gian truyền tin quá dài. Vấn đề sau được phát hiện bởi nhãn thời gian “Entry Time” trong bản tin và thời gian đến tại StationGuard. Nếu thời gian truyền tin trên mạng lớn hơn đáng kể so với 3ms cho một bản tin GOOSE cho bảo vệ (protection) (theo IEC 61850-5), là dấu hiệu có vấn đề trong mạng hoặc về đồng bộ thời gian.
Điều gì được thực hiện với truyền thông MMS? Từ mô hình hệ thống (từ SCL file) sẽ biết được các nút logic (Logical Node) nào điều khiển thiết bị nhất thứ nào. Từ đó, có thể phân biệt sự chính xác/ bất thường, và các hoạt động nghiêm trọng/ không nghiêm trọng. Việc đóng một máy cắt thực và đóng cắt ở chế độ thí nghiệm test mode trong IEC 61850 sử dụng cùng một trình tự trong giao thức MMS (lựa chọn trước khi thao tác “select-before-operate”), nhưng kết quả khác nhau xảy ra trong TBA. Vì vậy, nếu một máy tính để thí nghiệm (Test PC) trong Hình 1 chuyển đổi sang chế độ thí nghiệm trong một rơle thì đây là một thao tác hợp lý trong khi thí nghiệm bảo dưỡng, nhưng nhiều khả năng là trái phép nếu Test PC thao tác đóng cắt máy cắt. Vấn đề này sẽ được xem xét sâu hơn trong ví dụ ở phần sau.
Cùng phát triển với các kỹ sư PAC
Các nghiên cứu về phương pháp này được bắt đầu từ năm 2011. Từ khái niệm này, việc giám sát chức năng 24/7 của SV, GOOSE và đồng bộ thời gian PTP, đã được thực hiện trong một thiết bị phân tích kiểu lai (hybrid) (OMICRON DANEO 400) từ năm 2015. OMICRON thực hiện cùng với đơn vị vận hành phát điện và phân phối điện Thụy Sỹ CKW. Họ hiểu rõ các nhược điểm của các hệ thống IDS thương mại hiện có và đang tìm kiếm một giải pháp phù hợp hơn với các TBA và một trong các yêu cầu là phải thân thiện với các kỹ sư điều khiển, tự động hóa và bảo vệ. Việc này dẫn đến sự hợp tác giữa các kỹ sư PAC của CKW và nhóm phát triển giải pháp của OMICRON. Có nhiều điều thú vị về cách thức họ lên kế hoạch để phát hiện xâm nhập, khi đây là một phần trong thiết kế an ninh mạng TBA tương lai của họ. Cùng thời điểm đó, cùng với thông tin phản hồi từ các đơn vị điện lực trên thế giới, cũng như việc vận hành thí điểm tại 1 số nơi đã giúp ích chúng tôi trong quá trình phát triển.
Trong năm 2018, một trong những nơi được thí điểm là TBA 110kV của CKW được lắp đặt và chạy thử đến nay. Hình 4 thể hiện việc phần cứng di động loại MBX1 được sử dụng ở phía dưới của bức hình. Trong hệ thống này, tất cả lưu lượng thông tin từ switch lõi (core) được gửi bản sao đến StationGuard. Điều này đảm bảo giám sát mọi thông tin từ gateway tới và từ tất cả IED. Vì truyền thông GOOSE dưới dạng tin đa hướng, và bởi vì lắp đặt mạng cho phép thực hiện, tất cả các bản tin GOOSE từ các IED ở các ngăn lộ trong TBA cũng sẽ được giám sát bởi StationGuard.
Hiển thị các cảnh báo
Bên cạnh việc tránh các cảnh báo sai, một điều quan trọng thiết yếu nữa là các bản tin cảnh báo được đưa ra dưới dạng tiêu chuẩn đến các kỹ sư vận hành hệ thống bảo vệ, tự động hóa và các chức năng mạng trong TBA. Việc này cho phép xử lý nhanh hơn, vì thông thường các cảnh báo này được kích hoạt bởi các kỹ sư làm việc tại TBA (hoặc từ trung tâm điều khiển xa). Ngoài ra, nó cho phép các kỹ sư an ninh mạng và kỹ sư PAC phối hợp khi theo dõi các sự kiện diễn ra trong 1 TBA.
Hình 5 là ảnh chụp giao diện màn hình cảnh báo: cảnh báo được hiển thị dưới dạng mũi tên hướng từ đối tượng (Test PC) thực hiện hành động trái phép, và “nạn nhân” (victim) của hoạt động này – một bộ điều khiển ngăn lộ trong ngăn Q01.
Hình 6 liệt kê chi tiết về cảnh báo này – một máy cắt được vận hành (sử dụng một thao tác điều khiển MMS), vốn không được phép bởi 1 Test PC.
Chế độ bảo dưỡng
Để tránh cảnh báo sai, các điều kiện bảo dưỡng và thí nghiệm định kỳ cần được đề cập trong mô hình hệ thống TBA. Nghĩa là, các thiết bị cấu hình và thí nghiệm, bao gồm cả hợp bộ thí nghiệm bảo vệ, cần được mô tả vào trong hệ thống. Trong Hình 7, chế độ bảo dưỡng được kích hoạt cho Ngăn Q01. Khi đó, Test PC trong ví dụ trên có thể thực hiện nhiều thao tác hơn trước đó. Cảnh báo sẽ không còn xuất hiện nếu Test PC điều khiển chế độ thí nghiệm IEC 61850 hoặc mô phỏng IED-Q1 của ngăn lộ này. Tuy nhiên, các cảnh báo tương tự như trước đó vẫn sẽ được kích hoạt nếu Test PC thao tác một máy cắt ở ngăn lộ, do hành động quan trọng này không được phép thực hiện bởi 1 Test PC. Tất nhiên, nếu quy trình công ty (đơn vị điện lực) cho phép thực hiện hành động này, có thể sử đổi các quy tắc mềm tương ứng.
Cấu hình
Như đã đề cập trước đó, phương pháp này không cần đến learning-phase. Việc theo dõi phát hiện được thực hiện ngay từ khi thiết bị được bật nguồn và không được phép tắt đi vì lý do an ninh. Cho tới trước khi SCD file của TBA được tải vào, tất cả các IED được phát hiện và hiển thị là thiết bị không biết trước (unknown devices). Ngay khi SCD file được tải vào, các IED sẽ được nhận biết (known devices) và hiển thị, và cấu trúc TBA sẽ được ghép vào sơ đồ “zero-line” (sơ đồ một sợi không nối dây), tương tự như trong phần mềm StationScout. Cấu hình có thể được chuẩn bị từ văn phòng và sau đó cài đặt tại hiện trường, lần lượt từng thiết bị và rất nhanh chóng. Nếu có những IED chưa được cấu hình vào file SCD (điều này thường xảy ra), các IED này có thể được nhập (imported) thêm vào từng thiết bị một. Khi quá trình import đã hoàn tất, người thí nghiệm có thể thêm vào với vai trò như máy tính thí nghiệm “Test PC” hay máy tính cấu hình “Engineering PC”… vào bất kỳ unknown devices nào còn trống.
Điều gì sẽ xảy ra nếu xuất hiện một cảnh báo
Điều quan trọng cần lưu ý là StationGuard làm việc thuần túy thụ động, nếu một hoạt động trái phép xảy ra nó sẽ kích hoạt một cảnh báo. Cảnh báo này sẽ được truyền tới Gateway/ RTU và trung tâm điều khiển hoặc một hệ thống độc lập thu thập cảnh báo về an ninh – được biết đến là hệ thống quản lý các hoạt động sự cố về an ninh (Security Incident Event Management – SIEM). StationGuard không thực sự chủ động phản ứng hay tương tác trong TBA. Nhưng nó cho phép phản ứng nhanh, chả hạn, cách ly một thiết bị nghi vấn từ mạng trước khi bất kỳ hư hại nào có thể xảy ra. Tùy thuộc vào lựa chọn phiên bản phần cứng, có thể nối trực tiếp các đầu ra nhị phân cấu hình được tới RTU. Trong trường hợp này, các tín hiệu cảnh báo đưa ra không cần mạng truyền thông và các cảnh báo có thể được tích hợp vào các tín hiệu SCADA truyền thống như bất kỳ tín hiệu nối dây cứng nào khác trong TBA.
An ninh mạng của bản thân IDS
Như đã biết từ những bộ phim thương mại, kẻ trộm luôn luôn tấn công các hệ thống cảnh báo trộm đầu tiên. Vậy vấn đề an ninh cho các hệ thống cảnh báo này như thế nào? Một điểm quan trọng ở đây là cần phải sử dụng một thiết bị phần cứng bảo mật, riêng rẽ và không phải là máy ảo. Cả 2 phiên bản phần cứng của StationGuard, di động (MBX1) và phiên bản lắp đặt cố định trên rack 19” (RBX1), đều có chung một thiết kế tăng cường, chắc chắn.
Kết luận
Cả 2 đều trang bị chip an ninh cryptoprocessor ở bên trong theo ISO/IEC 11889. Nó đảm bảo các chìa khóa dành cho mã hóa không lưu trong bộ nhớ kiểu thẻ nhớ mà trong một chip riêng biệt được bảo vệ chống can thiệp. Bằng cách cài chứng nhận của OMICRON vào chip trong quá trình sản xuất, sẽ tạo ra một kênh khởi động an toàn và chứng thực. Điều này nghĩa là mỗi bước trong quá trình khởi động firmware sẽ yêu cầu xác thực các chữ ký nhận dạng của các module hoặc driver tiếp theo để tải lên. Việc này đảm bảo chỉ phần mềm nhận dạng bởi OMICRON mới có thể thực thi. Việc lưu trữ của các thiết bị được mã hóa với một khóa duy nhất cho phần cứng được bảo vệ bên trong cryptochip. Vì không ai (kể cả OMICRON) biết được khóa này, tất cả các dữ liệu trên thiết bị sẽ bị mất nếu phần cứng được thay thế khi sửa chữa. Nhiều cơ chế khác đảm bảo các quá trình trên thiết bị không thể bị tấn công hoặc lợi dụng, do đó phương pháp “bảo vệ toàn diện” cũng được áp dụng toàn diện với phần mềm chạy trên thiết bị.
Trong các TBA luôn tồn tại các hướng tấn công tiềm ẩn từ các cuộc tấn công mạng. Nếu một tin tặc có khả năng can thiệp vào một hoặc vài trạm biến áp, sẽ gây những hậu quả nghiêm trọng với lưới điện. Vì vậy, các biện pháp an ninh mạng cần được tích hợp bổ sung, không chỉ ở các trung tâm điều khiển, mà cần cả ở các TBA. Với các TBA theo IEC 61850, một phương pháp phát hiện xâm nhập hiện tại với rất ít cảnh báo sai, và cần ít thao tác cấu hình bên trên do khai thác sự tiện lợi của file SCL. StationGuard không chỉ phát hiện các nguy cơ an ninh, mà cả các vấn đề chức năng trong truyền thông IEC 61850 và các IED cũng được phát hiện – hữu ích với giai đoạn FAT và SAT. StationGuard hiển thị thông tin các sự kiện được phát hiện bằng ngôn ngữ của các kỹ sư bảo vệ, tự động hóa và điều khiển; đây là lợi thế để các kỹ sư PAC và an ninh mạng có thể làm việc với nhau để tìm ta nguyên nhân của sự cố.
Biên dịch
Trần Quang Minh
ENTEC A&T
Tham khảo tài liệu gốc
Mời các bạn theo dõi thêm các bài viết cùng chủ đề:
