Ghi nhận trùng lặp dữ liệu đồng hồ năng lượng: Điều chỉnh khoảng thời gian mà không bị trùng lặp

Các bản ghi khoảng thời gian của đồng hồ đo năng lượng trùng lặp nên được đối chiếu bằng danh tính đo lường và ý nghĩa khoảng thời gian trước khi loại bỏ bất kỳ hàng nào. Hai dấu thời gian giống nhau có thể đại diện cho một phát lại chính xác, một quan sát đã chỉnh sửa, các đồng hồ đo vật lý khác nhau hoặc các đường thu thập chồng chéo. Giữ nguyên các bản ghi gốc, xác định một khóa so sánh đầy đủ, phân biệt các phát lại giống nhau khỏi các giá trị mâu thuẫn, và duy trì một dấu vết quyết định. Không bao giờ cộng tổng năng lượng trong khoảng thời gian trùng lặp hoặc xóa các hàng dường như lặp lại chỉ vì thời gian hiển thị trên đồng hồ trùng khớp.

Quy trình này áp dụng cho hệ thống thu thập bên ngoài, hệ thống cơ sở dữ liệu và báo cáo. Nó không giả định rằng một đồng hồ đo bảng điều khiển cụ thể lưu trữ lịch sử khoảng thời gian hoặc thực hiện loại bỏ trùng lặp nội bộ. Xác định rõ thiết bị cung cấp và phần mềm thu thập dữ liệu thực sự cung cấp những gì trước khi thiết kế các quy tắc chấp nhận.

Xác định mỗi bản ghi đại diện cho cái gì

Bắt đầu với số lượng. Năng lượng trong khoảng thời gian mô tả năng lượng tích lũy trong một khoảng thời gian đã định; năng lượng tích lũy là một bộ đếm chạy liên tục; công suất tức thời mô tả tốc độ tại một thời điểm đo lường. Những điều này yêu cầu xử lý khác nhau. Các giá trị bộ đếm tích lũy lặp lại có thể hoàn toàn hợp lệ trong một khoảng yên tĩnh. Hai giá trị khoảng thời gian bằng nhau cũng có thể là các quan sát hợp lệ về tải tương tự trong các khoảng liên tiếp.

Xác định đồng hồ đo vật lý, điểm đo, số lượng, hướng, đơn vị, thời điểm bắt đầu khoảng thời gian, thời điểm kết thúc và trạng thái chất lượng. Giữ thời gian thu thập riêng biệt với thời gian đo lường. Một cổng gateway có thể tải lên các số đo của ngày hôm qua hôm nay sau khi kết nối được khôi phục. Việc đến muộn chỉ riêng không làm cho các quan sát đó trở thành năng lượng mới, dữ liệu sai hoặc bản sao của các số đọc hôm nay.

The Hướng dẫn đo lường của Bộ Năng lượng thảo luận về đo lường, quản lý dữ liệu và việc sử dụng thông tin năng lượng. Nó cung cấp bối cảnh để bảo tồn bằng chứng đo lường hữu ích, thay vì một quy tắc xóa dữ liệu trong cơ sở dữ liệu toàn cầu. Quyết định trùng lặp dưới đây phải được ghi lại cho hệ thống báo cáo cụ thể.

Bảo tồn bằng chứng thô trước khi thay đổi báo cáo

Giữ nguyên các tệp gốc hoặc tin nhắn đã nhận trong một vị trí kiểm soát truy cập phù hợp với địa điểm. Ghi lại hệ thống nguồn, thời gian đến, danh tính tệp và lô nhập khẩu. Cung cấp cho mỗi hàng lưu trữ một định danh bản ghi có thể truy xuất được ngay cả khi nhiều hàng đề cập đến cùng một khoảng đo lường. Điều này phân biệt việc bảo tồn bằng chứng với việc chọn lựa bản ghi dùng trong báo cáo.

Không chỉnh sửa tháng sản xuất trong quá trình chẩn đoán sự cố. Tạo một bản sao tạm thời, tái tạo các bản ghi lặp lại ở đó, và so sánh kết quả trước và sau khi áp dụng quy tắc đề xuất. Giữ đủ thông tin để khôi phục báo cáo chấp nhận trước đó nếu cách diễn giải sau này thay đổi. Một bảng gọn gàng không có bằng chứng mâu thuẫn gốc có thể làm cho cuộc điều tra tiếp theo trở nên khó khăn hơn.

Hướng dẫn an ninh OT của NIST cung cấp cơ sở rộng hơn cho các thay đổi có kiểm soát, tính toàn vẹn và hồ sơ vận hành. Nó không quy định một khóa trùng lặp ưu tiên cho mọi nền tảng năng lượng. Sử dụng các nguyên tắc vòng đời của nó trong khi giữ nguyên ý nghĩa đo lường do hệ thống của bạn xác định.

Xác định một khóa so sánh giữ ranh giới

Một khóa so sánh hợp lý có thể bao gồm danh tính tài sản vật lý, điểm đo, số lượng, hướng dòng chảy, ranh giới khoảng thời gian và phiên bản cấu hình. Khóa thực tế phụ thuộc vào sơ đồ nguồn. Thời gian dấu cộng cộng với tên hiển thị của đồng hồ đo thường không đủ: tên có thể được sử dụng lại, và một thiết bị thay thế có thể chiếm cùng địa chỉ mạng như tiền nhiệm của nó.

Ví dụ, một đồng hồ đo đã nghỉ hưu và thiết bị thay thế của nó có thể đều báo cáo Panel-A trong quá trình chuyển đổi. Xóa một chuỗi vì tên và dấu thời gian khớp nhau có thể xóa mất bằng chứng thực sự. Sử dụng quy trình đối chiếu danh tính tài sản đồng hồ đo để xác định thiết bị vật lý sở hữu từng đoạn trước khi quyết định xem các luồng có chồng chéo hay không.

Chuẩn hóa các trường so sánh thông qua các biến đổi đã được ghi lại trong tài liệu trong khi vẫn giữ nguyên giá trị gốc. Các đơn vị tương đương và biểu diễn múi giờ có thể làm cho các quan sát giống nhau trông khác nhau. Ngược lại, hai bản ghi hiển thị cùng thời gian địa phương có thể đề cập đến các thời điểm UTC khác nhau. RFC 3339 giải thích các độ lệch thời gian rõ ràng; nó không xác định xem nguồn gốc có đánh dấu bắt đầu hoặc kết thúc khoảng thời gian hay không.

Phân loại các lần lặp lại trước khi chọn hành động

Sử dụng các danh mục riêng cho phát lại chính xác, sửa đổi xung đột, đo lường song song hợp pháp và các khoảng thời gian chồng chéo một phần. Một phát lại chính xác có cùng danh tính đo lường đã xác định, khoảng thời gian, giá trị, đơn vị và siêu dữ liệu chất lượng liên quan. Một sửa đổi xung đột chia sẻ khe đo lường dự định nhưng thay đổi một trong các trường quan trọng để chấp nhận. Xử lý dấu hiệu sửa đổi nguồn theo ý nghĩa đã được ghi lại chứ không chỉ dựa vào tên của nó để tin cậy.

Bảng này là khung đánh giá, không phải quy tắc tự động ghi đè lịch sử đã có. Ghi lại các trường nào được bao gồm trong sự bằng nhau và các siêu dữ liệu nào có thể thay đổi mà không làm thay đổi quan sát cơ bản.

Xử lý qua một ví dụ nhỏ về năng lượng

Giả sử một tập tin chứa năng lượng trong các khoảng thời gian là 4, 5 và 6 kWh cho ba khoảng liên tiếp. Một quá trình phục hồi kết nối phát lại khoảng thứ hai với cùng danh tính đầy đủ, giá trị và chất lượng. Thêm tất cả bốn hàng tạo ra 20 kWh, trong khi ba quan sát đã chọn tổng cộng 15 kWh. Trong ví dụ minh họa này, việc phát lại không nên thêm 5 kWh nữa vào báo cáo.

Bây giờ giả sử khoảng thứ hai lặp lại chứa 5,2 kWh thay vào đó. Tổng chấp nhận được có thể là 15,2 kWh chỉ khi quá trình chỉnh sửa nguồn và bằng chứng xem xét xác nhận việc thay thế 5 bằng 5,2. Một định danh bản ghi lớn hơn hoặc đến sau không đủ bằng chứng riêng. Giữ lại cả hai quan sát ban đầu và xác định cái nào đã được chấp nhận, bởi ai và theo quy tắc nào.

Không áp dụng ví dụ đó cho các bộ đếm tích lũy bằng cách cộng các lần đọc lặp lại. Một bộ đếm chạy yêu cầu sự khác biệt giữa các quan sát phù hợp liên tiếp, với xử lý riêng biệt các lần reset và rollover. Xem bản ghi kiểm tra reset bộ đếm khi một sự gián đoạn theo sau một thay đổi được phép. Việc loại bỏ trùng lặp không thể xác định hành vi vật lý của bộ đếm không ghi rõ.

Làm cho các lần nhập khẩu lặp lại tạo ra kết quả ổn định

Quy trình nhập khẩu được chấp nhận nên tạo ra cùng một lựa chọn báo cáo khi cùng một lô hàng chính xác được nhận lại. Đây là thuộc tính chấp nhận để xác minh trong môi trường thử nghiệm, không phải lý do để loại bỏ dữ liệu thô. Lần thứ hai có thể vẫn tạo ra một bản ghi đến, nhưng không nên tạo ra một đơn vị năng lượng báo cáo khác cho một khoảng đo đã được chấp nhận.

Kiểm tra phát lại hoàn chỉnh, một tệp phần nào lặp lại và đến theo thứ tự không đúng. Cũng kiểm tra một khoảng thời gian đã chỉnh sửa, một trường chất lượng bị thiếu và đồng hồ thay thế sử dụng tên hiển thị cũ. Xác minh các quan sát đã chọn, ngoại lệ, tổng năng lượng và phạm vi sau mỗi trường hợp. Giữ mẫu dữ liệu nhỏ đủ để một kỹ sư có thể tính toán kết quả dự kiến một cách độc lập.

Xác định phạm vi của việc thay thế một cách rõ ràng. Một chỉnh sửa cho một khoảng thời gian không nên thay thế âm thầm toàn bộ tệp của một ngày trừ khi hợp đồng nguồn đã được phê duyệt nói rõ. Nếu một nhập khẩu mới loại bỏ các khoảng thời gian đã có trước đó, hãy dừng lại và điều tra thay vì hiểu sự vắng mặt như là xóa bỏ. Lịch sử các thay đổi báo cáo nên vẫn có thể tái tạo được.

Điều tra sự chồng chéo trong thu thập dữ liệu mà không thay đổi đồng hồ đo

Kiểm tra xem hai cổng gateway, công việc tệp hoặc kết nối cơ sở dữ liệu có đọc cùng một nguồn và ghi vào cùng một bộ dữ liệu báo cáo hay không. Thu thập dư thừa không nhất thiết là sai, nhưng hệ thống cần có quy tắc được tài liệu hóa để hòa giải các đường đi. Ghi nhận danh tính nguồn đường đi riêng biệt với danh tính đồng hồ đo vật lý để việc chuyển đổi đường đi không trông giống như một điểm đo mới.

Đối với các thiết bị nối tiếp tương thích, bắt đầu với tài liệu đã được công bố Kiểm tra khởi động và giải mã Modbus. Xác nhận khách hàng nào sở hữu quá trình thu thập và nơi ghi nhận thời gian. Tránh thay đổi cài đặt đồng hồ đo chỉ vì cơ sở dữ liệu chứa các hàng lặp lại; sự lặp lại có thể xảy ra hoàn toàn sau quá trình thu thập.

The BY194 cung cấp ngữ cảnh sản phẩm phù hợp, nhưng trang gia đình công khai của nó không thiết lập một cơ sở dữ liệu khoảng thời gian, định danh phát lại tự động hoặc tính năng loại bỏ trùng lặp cho mọi biến thể. Yêu cầu manual mô hình chính xác, tùy chọn truyền thông phù hợp và kiến trúc thu thập trước khi giao trách nhiệm cho thiết bị.

Phê duyệt một chỉnh sửa có thể kiểm toán

Trước khi phát hành các số liệu đã chỉnh sửa, so sánh các bản ghi đã chấp nhận với phạm vi dữ liệu thô, giải thích mọi đóng góp báo cáo bị loại bỏ và xem xét các xung đột chưa giải quyết. Giữ tổng cộng trước và sau cùng với danh sách các khoảng thời gian báo cáo bị ảnh hưởng. Nếu quá trình lập hóa đơn hoặc phân bổ tiêu thụ đầu ra, hãy sử dụng quy trình chỉnh sửa đã được phê duyệt thay vì thay thế âm thầm các số đã phát hành trước đó.

Giữ phiên bản chính sách lựa chọn cùng với báo cáo. Một quy tắc thay đổi trong tương lai có thể tạo ra kết quả khác từ cùng các bản ghi thô, và sự khác biệt đó cần có thể giải thích được. Theo dõi các lần đến lặp lại và xung đột riêng biệt: một cơn bão phát lại và một sự không đồng thuận trong đo lường yêu cầu các cuộc điều tra khác nhau ngay cả khi cả hai tạo ra các hàng trông giống như trùng lặp.

Xem xét lại quy trình sau các thay đổi của bộ thu thập hoặc các sự cố phục hồi kết nối. Một nhập khẩu sạch ngày hôm nay không đảm bảo rằng các phiên bản phần mềm trong tương lai giữ nguyên các định danh, thời gian đánh dấu hoặc các dấu hiệu sửa đổi. Việc chấp nhận thuộc về toàn bộ quá trình thông tin, từ đo lường đã được tài liệu hóa đến lựa chọn báo cáo cuối cùng.

Học hỏi thêm: hoạt động cạnh tranh

Bài học về điều kiện đua của Computerphile giải thích cách các hoạt động đồng thời có thể gây nhiễu lẫn nhau. Nó giúp giải thích tại sao các bộ thu thập và nhập khẩu chồng chéo cần quyền sở hữu kiểm soát và kết quả có thể lặp lại. Bài học này là về khoa học máy tính mang tính khái niệm, không phải là trình diễn về lịch sử năng lượng hoặc hướng dẫn sửa đổi đồng hồ đo.

Xem bài học hướng dẫn

Các câu hỏi thường gặp

Tôi có thể xóa tất cả các hàng có dấu thời gian lặp lại không?

Không. Đầu tiên so sánh danh tính tài sản, số lượng, hướng, giới hạn khoảng, đơn vị và chất lượng. Thời gian hiển thị bằng nhau có thể đề cập đến các đồng hồ đo, khoảng thời gian hoặc thời điểm thực tế khác nhau, đặc biệt khi thiếu thông tin múi giờ.

Liệu bản ghi mới nhất có luôn luôn thắng không?

Không. Một lần đến sau có thể là phát lại hoặc chứa lỗi. Sử dụng chính sách sửa lỗi và chất lượng đã được ghi rõ trong tài liệu hỗ trợ bởi bằng chứng nguồn, và giữ lại các bản gốc mâu thuẫn cùng lý do của lựa chọn đã chấp nhận.

Liệu năng lượng tích lũy lặp lại có luôn là bản sao chép không?

Không. Một bộ đếm năng lượng đang chạy có thể giữ nguyên giá trị giữa các lần đọc hợp lệ. Xác định xem nguồn dữ liệu có chứa các lần đọc tích lũy, năng lượng hoặc công suất theo khoảng trước khi chọn phương pháp đối chiếu hoặc tính tổng.

Việc loại bỏ trùng lặp có sửa chữa các khoảng trống bị thiếu không?

Không. Nó ngăn chặn các đóng góp lặp lại bị tính hai lần. Phạm vi thiếu, ước tính và các phép đo không hợp lệ cần được xử lý riêng và nên vẫn hiển thị sau khi lựa chọn báo cáo đã được chấp nhận.