Thị giác máy – Machine vision là gì? Mọi thứ bạn cần biết về thị giác máy

Machine vision là gì?

Thị giác máy (Machine vision) là công nghệ và phương pháp được sử dụng để kiểm tra và phân tích tự động cho các ứng dụng như kiểm tra tự động, kiểm soát quá trình và rô bốt định hướng bằng xử lý ảnh. Thị giác máy đề cập đến nhiều công nghệ, phần mềm và phần cứng, hệ thống tích hợp, hành động, phương pháp và chuyên môn.

Thị giác máy có thẻ coi là một ngành kỹ thuật hệ thống, khác biệt với Thị giác máy tính, một dạng khoa học máy tính và không được thực hiện thông qua một phần cứng cụ thể nào như vision box hoặc camera gắn với rô bốt.

Thị giác máy là cơ thể của một hệ thống và thị giác máy tính là trí thông minh của hệ thống, tương tự như cách một máy tính là cơ thể cho những thứ bên trong như các CPU, RAM,…

Hệ thống thị giác máy đã hoạt động từ những năm 1950 và từ năm 1980 đến 1990, công nghệ này thực sự bắt đầu phát triển và trở nên phổ biến.

Thị giác máy đang ngày càng trở nên phổ biến trong các môi trường tự động hóa công nghiệp đồng thời cũng trở nên thường xuyên hơn được sử dụng trong các ngành khác như an ninh, xe tự hành, sản xuất thực phẩm, đóng gói và hậu cần đồng thời cũng được đưa vào robot và máy bay không người lái.

Thị giác máy có thể được tích hợp với các công nghệ như Deep Learning và Machine Learning để giúp các doanh nghiệp tối ưu hóa hoạt động kinh doanh. Ví dụ như cách BMW sử dụng công nghệ này cùng với AI và học máy để tăng hiệu quả.

Định nghĩa của thị giác máy

Thị giác máy đã tích lũy nhiều định nghĩa khác nhau. Điều quan trọng cần lưu ý là thị giác máy không được liên kết với quá trình xử lý hình ảnh vốn là một quá trình mà đầu ra là một hình ảnh khác. Thông tin được thu nhận bởi thị giác máy sẽ được chuyển thành dạng dữ liệu để hiểu nó như danh tính, vị trí và hướng của đối tượng đang được hệ thống thị giác máy thu nhận.

Một ví dụ về định nghĩa rộng hơn được đưa ra bởi Hiệp hội Automated Imaging Association (AIA), nơi họ giải thích rằng thị giác máy bao gồm tất cả các ứng dụng công nghiệp và phi công nghiệp, trong đó sự kết hợp giữa phần cứng và phần mềm cung cấp hướng dẫn hoạt động cho các thiết bị trong việc thực hiện các chức năng của chúng về chụp và xử lý hình ảnh.

Enterprise AI đưa ra định nghĩa hẹp về thị giác máy bằng cách nói đó là “Khả năng nhìn của máy tính, sử dụng một hoặc nhiều máy quay video, chuyển đổi tương tự sang kỹ thuật số (ADC) và xử lý tín hiệu kỹ thuật số (DSP). Dữ liệu kết quả được chuyển đến máy tính hoặc bộ điều khiển rô bốt. Thị giác máy có độ phức tạp tương tự như nhận dạng giọng nói ”.

Kiểm tra và phân loại hình ảnh

Các ứng dụng chính của công nghệ là kiểm tra, phân loại và định hướng tự động dựa trên hình ảnh. Công nghệ này có thể được áp dụng cho robot để nó phát hiện nơi để đồ hoặc nơi lấy đồ . Nó cũng có thể được áp dụng cho một phần của giải pháp end-to-end tại nhiều điểm của hệ thống để phát hiện, kiểm tra các bộ phận cần thiết trong toàn bộ hệ thống.

Công nghệ này có thể được sử dụng với một máy ảnh quang phổ giúp bổ sung màu sắc cho hình ảnh và khi các đối tượng được kiểm tra và phân loại. Tuy nhiên, phương pháp này đi kèm với sự chậm trễ vì máy sẽ mất nhiều thời gian hơn để xử lý dữ liệu do hình ảnh có độ chi tiết cao hơn.

Hệ thống thị giác máy có thể được thiết kế và triển khai thành một hệ thống theo cách riêng để phù hợp với các yêu cầu ứng dụng.

Hệ thống thị giác máy có thể kiểm tra và phân loại nhiều loại đối tượng và sản phẩm trong nhiều ngành công nghiệp bao gồm ô tô, điện tử và chất bán dẫn, thực phẩm và đồ uống, giao thông đường bộ và xe cộ hoặc hệ thống giao thông thông minh (ITS), hình ảnh y tế, đóng gói, dán nhãn và in ấn, dược phẩm,..vv

Phương pháp và trình tự hoạt động

Đây là bước đầu tiên trong trình tự kiểm tra tự động vì camera cần nhìn thấy đối tượng mà nó sẽ chụp và gửi đến bộ xử lý để xử lý hình ảnh. Tùy thuộc vào mức độ chi tiết được yêu cầu sẽ cần loại camera cần thiết như: camera tiêu chuẩn, camera rộng đến máy ảnh 3D.

Sau đó, các gói và chương trình phần mềm thị giác máy sẽ sử dụng các kỹ thuật xử lý hình ảnh kỹ thuật số khác nhau để trích xuất thông tin cần thiết và đưa ra quyết định phải làm gì với hình ảnh, thường bằng cách chuyển nó sang công đoạn tiếp theo của quy trình hay chuyển hướng nó sang một quy trình khác hoặc loại bỏ mặt hàng đó khỏi hệ thống.

Hệ thống thị giác máy

Tùy thuộc vào từng ứng dụng cụ thể sẽ thay đổi loại thiết bị nào mà hệ thống thị giác sẽ cần. Một số hệ thống sẽ chỉ cần một vài bộ phận trong khi những hệ thống khác sẽ yêu cầu nhiều bộ phận giống nhau trên toàn bộ dây chuyền xử lý hoặc hệ thống giải pháp.

Hệ thống Thị giác máy (Machine Vision) cơ bản

Tuy nhiên, hầu hết các thành phần của hệ thống phân loại và kiểm tra tự động thường sẽ bao gồm camera để xác nhận đối tượng, một bộ xử lý, phần mềm xử lý để hiểu bộ xử lý và một thiết bị đầu ra hoặc con người cùng với đó có thể là  màn hình giao diện (HMI) để trực quan hóa dữ liệu.

Cameras

Có nhiều loại camera khác nhau dành cho hệ thống thị giác máy với các giao diện kết nối, pixel, độ phân giải và tính năng khác nhau. Máy ảnh là thiết bị chính để kiểm tra đối tượng hoặc mục trong hệ thống thị giác máy.

Có thể hệ thống cần sử dụng nhiều camera cho một quá trình được gọi là camera kép. Điều này có nghĩa là có nhiều camera cho một điểm kiểm tra để đảm bảo rằng một bộ phận ẩn khác có thể được kiểm tra đúng cách.

Smart camera

Cần có một máy ảnh thông minh khi hệ thống thị giác máy cần chụp và trích xuất thông tin dành riêng cho ứng dụng từ một hình ảnh. Máy ảnh thông minh có khả năng tạo mô tả và đưa ra quyết định. Một camera thông minh thường có đầy đủ các giao diện truyền thông cần thiết cũng như có thể kết nối với wifi hoặc máy chủ để dễ dàng truyền dữ liệu hình ảnh đã chụp.

3D camera

Máy ảnh 3D cho phép hiển thị trên một hình ảnh để hiển thị các góc khác nhau của đối tượng và đưa ra ý tưởng về hình dạng của đối tượng đó. Bằng cách sử dụng máy ảnh 3D trong hệ thống thị giác máy, nó sẽ cho phép các góc nhìn khác nhau và cảm nhận độ sâu.

Camera nhiệt

Camera ảnh nhiệt là một loại máy ảnh nhiệt hiển thị hình ảnh thông qua bức xạ hồng ngoại cho thấy các vùng nhiệt trên hình ảnh.

Phần mềm

Hệ thống thị giác máy yêu cầu phần mềm trực quan hóa dữ liệu và hiển thị những gì camera đang nhìn để người vận hành phân tích và bảo trì hệ thống cũng như lập trình các chức năng của phần cứng. Có các phần mềm có sẵn khác nhau có thể phù hợp với những gì hệ thống thị giác máy cần làm và những dữ liệu nào cần được hiển thị cho người vận hành.

Hệ thống nhúng

Hệ thống nhúng cho thị giác máy, còn được gọi là máy tính – hình ảnh, là một máy ảnh đơn giản không có vỏ hoặc khung được kết nối trực tiếp với bảng mạch xử lý. Điều này kết hợp tất cả các bộ phận trong một máy tính bảng duy nhất. Do ngày càng có nhiều thư viện mã nguồn mở cho máy học và AI, nhiều hệ thống thị giác máy tính đang được triển khai dưới dạng hệ thống nhúng hoặc thiết bị IoT.

Frame grabbers

Đây là một thiết bị điện tử ghi lại các khung hình tĩnh kỹ thuật số riêng lẻ từ tín hiệu video tương tự hoặc một luồng video kỹ thuật số. Nó có thể được sử dụng như một phần bổ sung cho hệ thống thị giác máy để chụp các khung hình cụ thể để phân tích từ một hệ thống chuyển động nhanh.

Đèn chiếu sáng

Những điều này bổ sung ánh sáng cho hệ thống để máy ảnh có đủ ánh sáng để chụp ảnh. Tùy thuộc vào chi tiết được yêu cầu trong hình ảnh sẽ thay đổi loại ánh sáng cần thiết để hệ thống thị giác máy xác định những gì nó cần.

Lens

Ống kính sẽ xác định độ phân giải mà camera và hệ thống thị giác máy có thể chụp ảnh ở độ phân giải nào. Điểm ảnh của máy ảnh càng cao thì độ phân giải của ống kính càng cao và máy ảnh càng lớn.

Máy tính hiệu suất cao

Không phải lúc nào bạn cũng cần có một hệ thống máy tính hiệu suất cao. Chúng sẽ được yêu cầu khi xử lý khối lượng lớn các mặt hàng với nhiều chi tiết khác nhau. Những điều này cho phép hệ thống thị giác máy xử lý thông tin với tốc độ nhanh hơn.

Cáp

Như với tất cả các công nghệ và ứng dụng, hệ thống thị giác máy yêu cầu cáp nguồn để hoạt động và cáp kết nối giữa giao diện người dùng như máy tính xách tay hoặc trung tâm dữ liệu. Tuy nhiên, các hệ thống thị giác máy có thể được sử dụng bằng cách kết nối với Cloud để chuyển dữ liệu sang nền tảng trực quan hóa hoặc dữ liệu trong thời gian thực.

Xác minh Label

Tùy thuộc vào ứng dụng mà hệ thống đang được sử dụng sẽ thay đổi loại Label nào là cần thiết. Đối với một ngành như thực phẩm và đồ uống, sẽ có nhiều Label kiểm tra chi tiết hơn như tên của thực phẩm là gì và ngày sản xuất,…

Đơn vị xác minh Label có thể gửi cảnh báo, dừng hệ thống, từ chối các mặt hàng khỏi quy trình và nhiều điều kiện cảnh báo được đưa ra. Tùy thuộc vào mức độ chi tiết cần thiết sẽ thay đổi hệ thống xác minh Label nào là cần thiết.

Quá trình xử lý ảnh

Thiết bị được sử dụng để chụp ảnh (một số loại máy ảnh được thảo luận ở trên) sẽ tách biệt khỏi bộ phận xử lý hình ảnh chính hoặc kết hợp với nó sẽ là sự kết hợp của máy ảnh thông minh và cảm biến thông minh.

Khi chức năng xử lý xảy ra, hình ảnh sử dụng xử lý nhúng và khi nó được tách ra, nó sẽ được xử lý trong một phần cứng khác hoặc được gửi đến frame grabber trong máy tính bằng công cụ trực quan hóa như Camera Link hoặc CoaXPress để có ý nghĩa của hình ảnh.

Cũng có thể sử dụng máy ảnh kỹ thuật số có khả năng kết nối trực tiếp mà không cần frame grabber với máy tính qua FireWire, USB hoặc Gigabit Ethernet.

Thông thường, hệ thống thị giác máy sử dụng hình ảnh 2D thông thường trong các tình huống ánh sáng tiêu chuẩn. Tuy nhiên, khi một đối tượng yêu cầu ánh sáng cụ thể cần lưu ý các khuyết tật, ví dụ như hệ thống thị giác máy có thể sử dụng multispectral imaging, hyperspectral imaging, infrared bands, line scan imaging, 3D imaging và X-ray imaging.

Sự khác biệt chính là hình ảnh ánh sáng nhìn thấy 2D thông thường là đơn sắc so với ánh sáng phức tạp hơn xem xét các yếu tố như màu sắc, tốc độ khung hình, độ phân giải và liệu quá trình hình ảnh có đồng thời trên toàn bộ hình ảnh hay không, làm cho nó phù hợp với các hệ thống yêu cầu công nghệ để theo dõi các mục chuyển động cụ thể.

Xử lý ảnh

Sau khi hình ảnh được chụp, nó sẽ tiếp tục được xử lý thường bởi một đơn vị xử lý trung tâm thường được thực hiện bởi CPU, GPU, FPGA hoặc sự kết hợp của ba bộ phận này. Tùy thuộc vào kích thước của hệ thống mà thiết bị thị giác máy đang được đưa vào sẽ ưu tiên chọn đơn vị xử lý nào cần thiết.

Xử lý hình ảnh tham gia vào một trình tự cung cấp kết quả hoàn chỉnh cho những gì mà hệ thống thị giác máy đang được sử dụng để hiển thị cho người dùng cuối.

Một chuỗi điển hình thường sẽ bắt đầu bằng các công cụ như bộ lọc sửa đổi hình ảnh, sau đó các đối tượng sẽ được trích xuất hình dạng và chi tiết của chúng, tiếp theo là dữ liệu cụ thể cần được trích xuất từ hình dạng hoặc mục đó (ví dụ: mã vạch, chiều cao, mã bưu điện), dữ liệu này sau đó sẽ được thông báo với đơn vị xử lý để hiển thị nơi mặt hàng cần được gửi đến hoặc nếu mặt hàng đã qua kiểm tra đạt/ không đạt, v.v.

Có một loạt các bộ lọc cho hệ thống thị giác máy sử dụng và các phương pháp xử lý hình ảnh sẽ được áp dụng. Tùy thuộc vào những gì mà thị giác máy đang được sử dụng sẽ ảnh hưởng đến các bộ lọc và phương pháp xử lý hình ảnh sẽ cần được sử dụng.

Khâu / Đăng ký

Đây là quá trình kết hợp hình ảnh từ các camera khác nhau. Trong hầu hết các trường hợp, nó sẽ là sự kết hợp của một máy ảnh 2D với một máy ảnh 3D.

Lọc

Tính năng lọc cho phép hệ thống thị giác máy phân loại hình ảnh một cách thích hợp và ‘lọc’ hình ảnh thành danh mục khớp với các thẻ đã định sẵn. Các đối tượn càng phức tạp đi qua hệ thống thị giác máy, thì càng có nhiều khả năng sẽ có nhiều bộ lọc hơn cho đối tượng đó.

Các bộ lọc tương tự như đo lường các khía cạnh như hình dạng, kích thước, vật liệu và trọng lượng có thể là bộ lọc để thị giác máy kiểm tra và xem xét.

Ngưỡng

Quá trình này cho phép tách hình ảnh thành nhiều phần. Điều này yêu cầu hệ thống đặt giá trị màu xám cho hình ảnh để phân tách phần nào. Ngưỡng có thể được sử dụng để tách các phần nhất định của hình ảnh thành màu đen và trắng cần được xác định là khác với phần còn lại của hình ảnh.

Đếm pixel

Quá trình này đếm số lượng pixel sáng hoặc tối trong ảnh và thường được thực hiện bởi các cảm biến đếm pixel. Quy trình này có thể được sử dụng trên một hệ thống đóng gói nơi các cảm biến đếm pixel có thể phát hiện nhãn chai bằng cách kết hợp các pixel để tạo thành hình ảnh chai.

Phân đoạn

Đây là quá trình chia nhỏ hình ảnh kỹ thuật số thành nhiều phân đoạn để đơn giản hóa hoặc thay đổi hình ảnh thành một thứ có ý nghĩa và dễ dàng hơn để phân tích đối tượng.

Phát hiện cạnh

Cho phép tầm nhìn của máy để xem các cạnh của các mặt hàng đang trong quá trình. Thông qua machine learning, công nghệ có thể được dạy cách phát hiện các cạnh khác nhau có thể được yêu cầu để phân loại các đối tượng trên quy trình.

Phân tích màu sắc

Điều này cho phép hệ thống thị giác máy xác định và đánh giá chất lượng của các bộ phận, sản phẩm bằng cách sử dụng màu sắc. Theo cách tương tự, nó cũng có thể cô lập các tính năng hoặc sản phẩm bằng cách sử dụng màu sắc để xác định lỗi, thay đổi hoặc phát hiện các khuyết tật khác nhau.

Phát hiện và chiết xuất Blob

Khả năng này có thể phát hiện một hình ảnh cho các đốm màu rời rạc của các pixel được kết nối, cho phép hệ thống nhận thấy lỗi bằng cách phát hiện các khoảng trống hoặc các khoảng trống khác nhau được lấp đầy cho những gì nên có.

Machine learning, deep learning và neural networks

Ba công nghệ này có thể được áp dụng để mở rộng hiểu biết về thị giác máy về những gì cần phát hiện, biến chúng thành tài sản có giá trị đối với thị giác máy nếu có các đối tượng phức tạp và khác nhau trải qua quá trình kiểm tra thị giác máy.

Nhận dạng mẫu

Bằng cách sử dụng nhận dạng mẫu, hệ thống thị giác máy có thể tìm, khớp hoặc đếm các mẫu cụ thể xuất hiện trên dây chuyền quy trình. Các mẫu khác nhau hoặc các mẫu phức tạp hơn cần chú ý có thể được dạy cho máy thông qua machine hoặc deep learning. Ví dụ về điều này có thể là các đối tượng được xoay hoặc bị ẩn một phần bởi một đối tượng khác hoặc thay đổi về kích thước.

Đọc dữ liệu

Đây là khả năng đọc dữ liệu trên nhãn hoặc trên các mặt hàng thường thông qua ma trận dữ liệu (mã QR), mã vạch hoặc nhận dạng tần số vô tuyến (RFID). Ví dụ như mã vạch cho các mặt hàng cụ thể ghi nhãn quần áo đó là quần áo nào hoặc sẽ đọc mã vạch hiển thị sản xuất tại quốc gia nào hoặc quốc gia mà mặt hàng cần được gửi đến để phân loại thêm.

Mức độ đọc dữ liệu của hệ thống thị giác máy có thể thay đổi và có thể trở nên phức tạp hơn, đặc biệt là khi sử dụng tính năng quét RFID do các thẻ khác nhau có thể được sử dụng cho các mục khác nhau.

Nhận dạng ký tự

Tương tự như việc đọc dữ liệu, điều này cho phép hệ thống thị giác máy đọc văn bản và số như thẻ, danh mục hoặc số sê-ri. Văn bản càng trở nên phức tạp, bạn càng cần phải nâng cấp khả năng thị giác máy của mình thông qua đào tạo hệ thống bằng máy hoặc học sâu.

Đo lường hoặc đánh giá

Cho phép đo kích thước các đối tượng trong giai đoạn xử lý hình ảnh. Điều này cho phép hệ thống thị giác hiểu được kích thước của vật thể bằng nhiều đơn vị đo lường khác nhau như pixel, inch, mm, chiều dài, thời gian, trọng lượng, v.v.

Kết quả quyết định

Đây là những gì đối tượng hoặc sản phẩm đi qua hệ thống sẽ được đo lường để xem nó đi đến đâu trong quá trình. Ví dụ nếu một sản phẩm không đáp ứng các tiêu chuẩn bắt buộc, sản phẩm đó sẽ bị đẩy sang công đoạn khác,còn nếu vượt qua các tiêu chuẩn sẽ chuyển sang phần khác. Hoặc có thể là nếu mặt hàng đang đi đến một điểm đến nhất định, hệ thống thị giác máy sẽ nhận diện mặt hàng đó và gửi nó vào tuyến đường chính xác cho mặt hàng đó.

Phát hiện các khuyết tật trên các sản phẩm để xác định xem nó đạt hay không đạt các yêu cầu cần thiết để chuyển sang công đoạn tiếp theo của hệ thống. Các khiếm khuyết mà hệ thống thị giác máy phải phát hiện càng phức tạp, thì hệ thống thị giác máy càng cần nhiều máy móc và phương pháp để phát hiện ra các khiếm khuyết, tương tự như nhận dạng mẫu.

Đầu ra

Trong quá trình kiểm tra và phân loại được thực hiện bằng thị giác máy, đầu ra là phần kết thúc đưa ra quyết định phải làm gì vớiđối tượng hoặc sản phẩm trên hệ thống.

Các kết quả đầu ra thường kích hoạt các cơ chế từ chối đối tượng bị lỗi trong khi các cơ chế khác có thể phát ra âm thanh cảnh báo người vận hành. Ví dụ: dây chuyền xử lý có thể bị đầy và gây ra tắc nghẽn làm ngừng các mặt hàng đi qua tầm nhìn của máy, điều này sẽ kích hoạt cảnh báo vì máy chưa kiểm tra một mặt hàng nào trong một khoảng thời gian nhất định.

Dữ liệu đầu ra có thể được lưu lại và trình chiếu cho người vận hành thông qua bảng điều khiển trực quan hoặc HMI để xác định các ưu nhược điểm của phương pháp. Từ đó tối ưu hóa một phần hoặc toàn bộ hệ thống. Điều này tất nhiên làm giảm rủi ro phát sinh trong quá trình hoạt động như ví dụ với tắc nghẽn xảy ra một lần nữa trên đường dây, do đó làm tăng hiệu quả.

Robot điều hướng với thị giác máy

Ngày nay, robot đang được sử dụng ngày càng nhiều trên thế giới và kết quả là thị giác máy ngày càng được sử dụng nhiều hơn với rô bốt. Khi robot được trang bị thị giác máy, nó mang lại cho chúng độ chính xác, định hướng và hiểu biết cao hơn nhiều. Cho phép robot nắm bắt một vật chính xác hơn, đặt một vật với độ chính xác cao hơn và thực hiện các nhiệm vụ phức tạp hơn trong thời gian nhanh hơn. Khả năng này cho phép người vận hành di chuyển robot theo cách đơn giản hơn bằng cách sử dụng bộ điều khiển chuyển động 1 hoặc 2 trục.

Trong hầu hết các trường hợp, camera được gắn vào robot. Tuy nhiên, quét laze cũng là một phương pháp khác có thể được sử dụng để chiếu ánh sáng sọc lên bộ phận cần được kiểm tra. Chúng tương tự như cách máy ảnh 3D được sử dụng để tạo các điểm dữ liệu trên bản đồ 3D của đối tượng đã chọn.

Kết luân

Thị giác máy là một khả năng chứ không phải là một ngành như tự động hóa, học máy, học sâu và mạng thần kinh. Đó là khả năng được tích hợp các công nghệ vào các quy trình khác để mang lại lợi ích cho các ngành và nâng cao hiệu quả kinh doanh.

Thị trường thị giác máy đang phát triển và sẽ không bị chậm lại, khi các doanh nghiệp đang ngày càng tìm cách tự động hóa các quy trình kinh doanh thông qua việc giới thiệu các khả năng tự động hóa như thị giác máy và robot.

Do COVID-19, các doanh nghiệp trong lĩnh vực hậu cần, chăm sóc sức khỏe, sản xuất thực phẩm và đồ uống đã bị ảnh hưởng nặng nề với các biện pháp giãn cách xã hội được áp dụng để ngăn chặn sự lây lan của vi rút. Tự động hóa và robot đang thực sự thể hiện sức mạnh và khả năng của mình khi các doanh nghiệp phải vật lộn để đáp ứng nhu cầu kinh doanh và tiêu dùng với lượng lao động giảm.