Cơ sở dữ liệu chuỗi thời gian mã nguồn mở và data historian trong sản xuất

Cuộc cách mạng công nghiệp lần thứ tư, hay Industrie 4.0, đã dẫn đến những thay đổi theo cấp số nhân trong các hoạt động và sản xuất công nghiệp. Công nghệ kỹ thuật số và dữ liệu dựa trên cảm biến đang thúc đẩy mọi thứ từ phân tích nâng cao và Máy học đến các mô hình thực tế ảo và tăng cường.

Dữ liệu dựa trên cảm biến không được xử lý dễ dàng bởi cơ sở dữ liệu quan hệ truyền thống. Do đó, cơ sở dữ liệu chuỗi thời gian (Time Series Database) đang gia tăng và theo nghiên cứu của Nhóm Cố vấn ARC, thị trường này dự kiến ​​sẽ tăng trưởng trên 6% mỗi năm. Các cơ sở dữ liệu này chuyên thu thập, lập ngữ cảnh và cung cấp dữ liệu dựa trên cảm biến. Nhìn chung, hai lớp cơ sở dữ liệu chuỗi thời gian đã xuất hiện bao gồm : cơ sở hạ tầng dữ liệu hoạt động được thiết lập tốt (hoặc theo Operational Historian ) như hệ thống PI của OSIsoft; và cơ sở dữ liệu chuỗi thời gian mã nguồn mở mới hơn, chẳng hạn như InfluxDB hoặc Graphite.

Data historian là gì?

Data historian (còn được gọi là Process Historian hoặc Operational Historian ) là một chương trình phần mềm ghi lại và truy xuất dữ liệu sản xuất và xử lý theo thời gian; nó lưu trữ thông tin trong cơ sở dữ liệu chuỗi thời gian có thể lưu trữ dữ liệu một cách hiệu quả với dung lượng ổ đĩa tối thiểu và truy xuất nhanh. Thông tin chuỗi thời gian thường được hiển thị theo xu hướng hoặc dưới dạng dữ liệu dạng bảng trong một phạm vi thời gian (ví dụ: ngày qua, 8 giờ qua, năm ngoái).

Có nhiều cách sử dụng cho Data historian trong các ngành khác nhau:

• Nơi sản xuất để ghi lại kết quả đo
• Quy trình (ví dụ: tốc độ dòng chảy, vị trí van, mức bình, nhiệt độ, áp suất)
• Tình trạng sản xuất (ví dụ: máy lên / xuống, theo dõi lý do thời gian chết)
• Giám sát hiệu suất (ví dụ: đơn vị / giờ, sử dụng máy so với công suất máy, ngừng hoạt động theo lịch trình so với đột xuất)
• Phả hệ sản phẩm (ví dụ: thời gian bắt đầu / kết thúc, số lượng tiêu thụ nguyên liệu, theo dõi # lô, điểm đặt sản phẩm và giá trị thực tế)
• Kiểm soát chất lượng (ví dụ: đọc nội tuyến hoặc ngoại tuyến trong phòng thí nghiệm để tuân thủ các thông số kỹ thuật)
• Chi phí sản xuất (ví dụ: chi phí máy móc và vật liệu có thể gán cho sản xuất)
• Tiện ích (ví dụ: nhà máy điện than, thủy điện, điện hạt nhân và điện gió, truyền tải và phân phối)
• Trung tâm dữ liệu để ghi lại hiệu suất của thiết bị về môi trường máy chủ (ví dụ: sử dụng tài nguyên, nhiệt độ, tốc độ quạt), cơ sở hạ tầng mạng (ví dụ: thông lượng bộ định tuyến, trạng thái cổng, tính toán băng thông) và các ứng dụng (ví dụ: sức khỏe, thống kê thực thi, tiêu thụ tài nguyên ).
• Giám sát thiết bị nặng (ví dụ: ghi lại giờ vận hành, các chỉ số của thiết bị và dụng cụ để bảo trì dự đoán)
• Đua xe (ví dụ: các bài đọc về môi trường và thiết bị cho Thuyền buồm, xe đua)
• Giám sát môi trường (ví dụ: thời tiết, mực nước biển, điều kiện khí quyển, ô nhiễm nước ngầm)

Bạn có thể ghi lại những gì trong Data historian ?

Nó sẽ ghi lại dữ liệu theo thời gian từ một hoặc nhiều vị trí để người dùng phân tích. Cho dù người ta chọn phân tích van, mức bình chứa, nhiệt độ quạt hoặc thậm chí là băng thông mạng, người dùng có thể đánh giá hoạt động, hiệu quả, lợi nhuận và những thất bại của sản xuất. Nó có thể ghi lại số nguyên (số nguyên), số thực ( dấu phẩy động với một phân số), bit (bật hoặc tắt), chuỗi (ví dụ: tên sản phẩm) hoặc một mục được chọn từ danh sách giá trị hữu hạn (ví dụ: Tắt, Thấp , Cao).

Một số ví dụ về những gì có thể được ghi lại trong sử liệu bao gồm:

Thu thập dữ liệu từ các nguồn không đồng nhất vào một nền tảng chung để phân tích

Thông tin được thu thập trong một cơ sở có thể đến từ nhiều loại nguồn khác nhau bao gồm:

• PLC (Bộ điều khiển logic có thể lập trình) điều khiển một phần hữu hạn của quy trình (ví dụ: một máy hoặc một đơn vị xử lý)
• DCS (Hệ thống kiểm soát phân tán) có thể kiểm soát toàn bộ cơ sở
• Dụng cụ độc quyền (ví dụ: Thiết bị điện tử thông minh): dữ liệu được truyền trực tiếp từ một thiết bị thay vì hệ thống điều khiển (ví dụ: hệ thống cân, thanh trượt tại chỗ sạch sẽ).
• Dụng cụ phòng thí nghiệm (ví dụ: Máy quang phổ, Máy phân tích TOC, Đo khối lượng cộng hưởng)
• Nhập dữ liệu thủ công (ví dụ: người vận hành định kỳ đi bộ trong dây chuyền sản xuất và ghi lại số đọc trên đồng hồ đo thủ công)

Cơ sở hạ tầng data historian truyền thống

Phiên bản công nghiệp của phần mềm thương mại sẵn có (COTS) của thế giới công nghiệp hầu hết các giải pháp đều có cơ sở hạ tầng dữ liệu đã được thiết lập có thể được tích hợp vào hoạt động tương đối nhanh chóng. OSIsoft là 1 ví dụ, họ cho biết Hệ thống PI của họ đôi khi có thể được triển khai trong một tuần hoặc ít hơn và nó có thể tận dụng lợi thế của một hệ sinh thái rộng lớn gồm hơn 450 trình kết nối dữ liệu, phân tích của bên thứ ba, công cụ trực quan hóa và các công nghệ khác. .Trong khi hầu hết khách hàng đã cài đặt Hệ thống PI dưới dạng phần mềm on-premise được mua theo giấy phép vĩnh viễn tiêu chuẩn.

Nhìn chung, các nền tảng historian đã được thiết lập, chẳng hạn như Hệ thống PI, được thiết kế để giúp dễ dàng truy cập, lưu trữ và chia sẻ dữ liệu hoạt động theo thời gian thực một cách an toàn trong một công ty hoặc trên toàn hệ sinh thái.

Trong khi trước đây, dữ liệu công nghiệp chủ yếu được sử dụng bởi các kỹ sư và đội bảo trì, ngày càng có nhiều dữ liệu đó sẽ được sử dụng bởi các bộ phận tài chính, công ty bảo hiểm, các nhà cung cấp hạ nguồn và thượng nguồn, các nhà cung cấp thiết bị bán dịch vụ giám sát bổ sung và những người khác. Mặc dù các cơ chế bảo mật liên quan đã tương đối phức tạp, nhưng chúng đang phát triển để trở nên an toàn hơn.

Một điểm mạnh khác của cơ sở hạ tầng dữ liệu OT đã được thiết lập như Hệ thống OSIsoft PI, là chúng được xây dựng có mục đích và đã phát triển để có thể lưu trữ và quản lý hiệu quả dữ liệu chuỗi thời gian từ các hoạt động công nghiệp. Do đó, chúng được trang bị tốt hơn để tối ưu hóa sản xuất, giảm tiêu thụ năng lượng, thực hiện các chiến lược bảo trì dự đoán để ngăn chặn thời gian ngừng hoạt động ngoài dự kiến ​​và tăng cường an toàn.

Hạn chế của Data historian truyền thống

Trong nhiều thập kỷ, các data historian công nghiệp đã thu thập một lượng lớn dữ liệu. Nhưng tiềm năng đầy đủ của dữ liệu này phần lớn vẫn chưa được thực hiện . Trong nhiều trường hợp, nó vẫn bị ‘nhốt’ trong các Data historian , không bao giờ được sử dụng bởi các nhân viên vận hành và bảo trì. Vì các Data historian tồn tại trong các thị trường ngách nên việc phát triển phần mềm và bộ kỹ năng cần có tính chuyên môn hóa cao, khiến chúng trở nên đắt đỏ và khó thâm nhập.

Các hạn chế khác của data historian doanh nghiệp truyền thống bao gồm:

• License và chi phí có thể rất cao . Hầu hết các giấy phép phần mềm doanh nghiệp đều giới hạn số lượng thẻ dữ liệu có thể được thu thập, vì vậy các tổ chức phải có chiến thuật về những thẻ tag dữ liệu họ cần và những gì họ có thể chi trả.

• Rất khó để liên kết dữ liệu với ngữ cảnh. Ví dụ, một đồng hồ đo điện trên ngôi nhà của bạn đo mức tiêu thụ năng lượng theo thời gian. Nhưng điều gì sẽ xảy ra nếu bạn muốn liên hệ dữ liệu với các sự kiện khác trong nhà, chẳng hạn như bữa tiệc tối mà bạn đã tổ chức vào tuần trước? Thật khó để các data historian liên hệ dữ liệu cảm biến với các bộ dữ liệu khác như thế này.

• Công nghệ cũ hạn chế quy mô và phân tích. Công nghệ data historian vẫn không thay đổi trong vài thập kỷ qua. Điều này có nghĩa là rất khó để nhúng và tích hợp dữ liệu lịch sử vào các ứng dụng dựa trên web hiện đại.

Time-series database mã nguồn mở mới

Ngược lại, tính linh hoạt và chi phí mua trả trước thấp hơn là những điểm mạnh cho các sản phẩm mã nguồn mở mới hơn. Không có gì ngạc nhiên khi những công cụ mới hơn này ban đầu đang được các công ty tài chính áp dụng (thường có các nhóm phát triển nội bộ phức tạp) hoặc cho các dự án cụ thể nơi khả năng mở rộng, dễ sử dụng và khả năng xử lý dữ liệu thời gian thực không quá quan trọng.

Vì các hệ thống mới này phần nào ít được chứng minh về hiệu suất, bảo mật và ứng dụng, nên người dùng có khả năng thử nghiệm chúng cho các tác vụ trong đó an toàn, sản xuất bị mất hoặc chất lượng ít quan trọng hơn.

Sự tăng trưởng Time-Series Data bse qua các năm

Trong khi một số cơ sở dữ liệu chuỗi thời gian nguồn mở mới hơn đang bắt đầu xây dựng loại khả năng quản lý dữ liệu thường có sẵn trong operational historian trưởng thành, chúng không có khả năng thay thế cơ sở hạ tầng dữ liệu hoạt động trong tương lai gần. Các tổ chức công nghiệp nên thận trọng trước khi nhảy vào các công nghệ mã nguồn mở mới . Họ nên đánh giá cẩn thận các hậu quả tiềm ẩn về thời gian phát triển đối với các ứng dụng, bảo mật, chi phí duy trì và cập nhật cũng như khả năng liên kết, tích hợp hoặc cùng tồn tại của chúng với các công nghệ khác. Điều quan trọng là phải hiểu các quy trình hoạt động và kiến ​​thức chuyên môn về miền và các ứng dụng đã được tích hợp sẵn trong cơ sở hạ tầng dữ liệu hoạt động đã thiết lập.

Hầu hết các cơ sở dữ liệu chuỗi thời gian mở gần đây là nguồn mở, vì chúng được phát triển bởi Google và các công ty internet khác. Mặc dù chúng không được thiết kế với dữ liệu quy trình công nghiệp, nhưng các cơ sở dữ liệu này được xây dựng để xử lý mọi dữ liệu không quan hệ (hoặc NoSQL).

Hãy nghĩ đến việc theo dõi lượt thích, nhận xét, cuộn và tải lên của hàng tỷ người dùng Facebook theo thời gian thực và bạn sẽ biết được lượng dữ liệu khổng lồ mà các cơ sở dữ liệu này có thể xử lý.

Dưới đây là những gì mà các sản phẩm mã nguồn mở này có thể cung cấp:

• Quy mô lớn: Các cơ sở dữ liệu này được thiết kế cho khả năng mở rộng tuyến tính. Đó là, họ có thể tiếp tục phát triển mãi mãi và hiệu suất của họ không hề giảm sút.
• Hiệu suất: Một cơ sở dữ liệu nguồn mở như Influx có thể xử lý hàng nghìn thẻ hơn so với sử gia dữ liệu độc quyền hàng đầu trong ngành. Và họ có thể làm điều này nhanh hơn gấp 10 lần.

• Dễ dàng tích hợp: Bởi vì Google và những gã khổng lồ công nghệ khác đã tạo cơ sở dữ liệu NoSQL cho nhiều ứng dụng, chúng được thiết kế để đối phó với dữ liệu phi cấu trúc và kết nối với các ứng dụng dựa trên web hiện đại khác.

• Dễ dàng dùng thử trước khi mua: Với mã nguồn mở, bạn có thể bắt đầu mà không cần giấy phép, sau đó mở rộng quy mô lên mức phù hợp với doanh nghiệp.

• Xử lý và phân tích dữ liệu lớn : Những cơ sở dữ liệu này có thể tích hợp nhiều nguồn dữ liệu phức tạp, bao gồm cả việc liên hệ dữ liệu thời gian với các kiểu dữ liệu khác. Vì vậy, mặc dù nhà sử học dữ liệu không thể cho bạn biết bữa tiệc tối bạn tổ chức tuần trước ảnh hưởng như thế nào đến mức tiêu thụ điện năng của bạn, mặt khác, cơ sở dữ liệu chuỗi thời gian sẽ cho phép dữ liệu tiêu thụ năng lượng của bạn được tích hợp với một ứng dụng lịch chi tiết ngày, giờ, người dự tiệc và thực đơn.

Hạn chế của cơ sở dữ liệu chuỗi thời gian nguồn mở

Hạn chế lớn nhất của cơ sở dữ liệu chuỗi thời gian mã nguồn mở là chưa được sử dụng nhiều cho các ngành công nghiệp. Mặc dù công nghệ này an toàn, đáng tin cậy và nhanh hơn so với các data historian truyền thống (và đã được các công ty công nghệ lớn sử dụng trong hơn một thập kỷ ), nhưng nó lại khá mới đối với các ngành công nghiệp.

Integrate open source InfluxDB and Grafana with AWS IoT to visualize time series data | The Internet of Things on AWS – Official Blog

Điều này có nghĩa là những công ty này muốn áp dụng cơ sở dữ liệu chuỗi thời gian mã nguồn mở sẽ cần phải sẵn sàng đổi mới và mong muốn trở thành công nghệ dữ liệu tiên tiến nhất trong ngành của họ. Cách tiếp cận này có thể không phù hợp với tất cả mọi người, nhưng những người chọn time-series database chắc chắn sẽ vẫn cạnh tranh và chứng minh hoạt động của họ trong tương lai.

Khai thác đúng công cụ dữ liệu

Không có gì đặc biệt xấu về data historian , nhưng công nghệ hiện tại chắc chắn hạn chế khả năng của một tổ chức trong việc phát triển thành một hoạt động tích hợp hơn , liên kết dữ liệu với các phần mềm khác và khai thác dữ liệu mạnh mẽ hơn. Hơn nữa, cơ sở dữ liệu chuỗi thời gian như NoSQL đã cung cấp nền tảng cho máy học và các công nghệ đột phá khác.

Báo cáo của Mckinsey & Company nêu bật, các nhà lãnh đạo doanh nghiệp cần cập nhật các chiến lược của mình để giải quyết các công nghệ đột phá này và ‘đừng ngại nhìn xa hơn các mô hình đã có’. Nếu không, sẽ quá muộn để các doanh nghiệp nắm bắt được lợi ích.

Thay vì cạnh tranh trực tiếp, có khả năng là cơ sở hạ tầng dữ liệu / lịch sử đã được thiết lập và cơ sở dữ liệu chuỗi thời gian mã nguồn mở sẽ cùng tồn tại trong những năm tới. Chẳng hạn OSIsoft, đang hợp tác với các công ty nguồn mở để phát triển các công nghệ tiên tiến nhằm giúp dễ dàng liên kết trực tiếp nhiều thiết bị hơn với Hệ thống PI cũng như có sức mạnh phân tích và tính toán cục bộ lớn hơn.

Khi các công ty cơ sở dữ liệu chuỗi thời gian nguồn mở dần dần thêm các tính năng phân biệt vào sản phẩm của họ theo thời gian, sẽ rất thú vị khi quan sát xem liệu họ có mất đi một số đặc điểm nguồn mở của mình hay không.

Khi lựa chọn lịch sử hoạt động, cơ sở hạ tầng dữ liệu và cơ sở dữ liệu chuỗi thời gian, nhiều vấn đề cần được xem xét và đánh giá cẩn thận trong quá trình chuyển đổi kỹ thuật số tổng thể của một công ty. Chúng bao gồm loại dữ liệu, tốc độ dữ liệu, yêu cầu của ngành và ứng dụng cụ thể, hệ thống kế thừa và khả năng tương thích với các công nghệ mới xuất hiện. Cả hai cơ sở hạ tầng dữ liệu hoạt động đã được thiết lập và các nền tảng mã nguồn mở mới hơn tiếp tục phát triển và thêm giá trị mới cho doanh nghiệp, nhưng chuyên môn về Industry quan trọng hiện được nhúng bên trong nền tảng trước đây không nên bị bỏ qua.