TruAI Technology
Industrial Image Analysis for Material Inspections Based on AI Technology
TruAI™: technologia uczenia głębokiego do analizy obrazów w zastosowaniach przemysłowych
Ilościowa analiza obrazów ma kluczowe znaczenie w wielu zastosowaniach materiałoznawstwa, w przemyśle i zapewnianiu jakości. Segmentacja obrazu przy użyciu konwencjonalnych metod, które zależne są od jasności lub kolorów, może jednak doprowadzić do pominięcia istotnych informacji lub poszukiwanych elementów w próbkach — zwłaszcza gdy analizę prowadzą osoby o mniejszym doświadczeniu. Ponieważ obrazy poszczególnych próbek różnią się pod względem jakości i kontrastu, wyniki klasycznej segmentacji opartej na progowaniu nie są wystarczająco odtwarzalne i powtarzalne.
Technologia uczenia głębokiego TruAI stosowana w wersji 2.5.2 oprogramowania OLYMPUS Stream, wersji 1.2 oprogramowania PRECIV i wersji 1.6 oprogramowania CIX100 jest wzbogacona o funkcję segmentacji instancji (wystąpień). Łączy ona segmentację semantyczną i następujące po niej dzielenie obiektów w jeden krok analizy. Segmentacja instancji usprawnia pracę, ponieważ umożliwia analizę trudnych przypadków w jednym kroku i nie wymaga ręcznego przetwarzania końcowego ani doboru parametrów. Model sieci neuronowej, gdy już zostanie wytrenowany, można jednym kliknięciem zastosować do analizy nowych obrazów i od razu uzyskać wyniki.
Examples of Deep-Learning Image Segmentation and Instance Segmentation in Materials Science
TruAI technology a useful tool for a range of materials science applications, including metallography analysis, semiconductor quality control, and mineralogy. Here are some common examples:
Detecting the matte phase in copper
Copper sample with two phases: matte and slag. Matte is the shiny part (pure copper). Slag is the other phase (mixture of calcium-ferrite oxide, also called fayalite). Deep-learning image segmentation can properly measure the matte phase, while image segmentation with conventional thresholding methods can only detect parts of the slag phase.
Detecting wafer defects
Deep-learning image segmentation can properly measure the defects in this wafer sample. Using image segmentation with conventional thresholding methods, it is impossible to separate defects and structures.
Detecting melt droplets in brown coal ash fly
Unlike image segmentation with conventional thresholding methods, deep-learning image segmentation can properly separate and detect melt droplets (clear spheres) from other minerals in this brown coal ash fly sample.
The Importance of Deep Learning in Industrial Microscope Inspections
Material inspections often require data from microscope images. For accurate industrial image analysis, segmentation is important to extract the analysis target area from the image. If you want to segment an image based on its morphological features, it is very difficult to achieve high-precision segmentation with the conventional approach of applying thresholds to intensity values and color. While effective, this method can be time consuming and affect the sample condition as you need to manually count and measure each time.
In contrast, TruAI deep-learning technology enables highly efficient and accurate segmentation based on morphological features. After the neural network learns the segmentation results from hand-labeled images, it can apply the same methodology to additional datasets.
Uczenie głębokie zwiększa efektywność analizy obrazów w zastosowaniach przemysłowych
Rozwiązanie TruAI w oprogramowaniu OLYMPUS Stream/PRECiV/CIX100 pomaga maksymalnie efektywnie analizować obrazy w zastosowaniach przemysłowych.
- Precyzyjna detekcja i segmentacja przy wykorzystaniu uczenia głębokiego sprzyjają efektywności i wiarygodności analiz
- Łatwe trenowanie, przeglądanie i edytowanie odpornych sieci neuronowych
- Intuicyjny interfejs do efektywnego oznaczania obrazów etykietami i trenowania
- Proste importowanie i eksportowanie sieci neuronowych
- Szybkie przetwarzanie — poniżej 1 sekundy na pozycję (gdy używany jest procesor GPU NVIDIA GTX 1060)
Zastosowanie wytrenowanej sieci neuronowej jako metody segmentacji w rozwiązaniu Count and Measure automatyzuje analizę w taki sposób, że nawet niedoświadczeni operatorzy mogą przeprowadzać pomiary.
- Eliminuje potrzebę ręcznego ustawiania progów
- Metoda szczególnie przydatna, gdy zawodzi klasyczne progowanie
- Wiarygodne, powtarzalne wyniki ilościowej analizy obrazów, nawet w skomplikowanych zadaniach
Poniższy materiał wideo stanowi wprowadzenie do naszej filozofii wykorzystania uczenia głębokiego w mikroskopii.
Jak działa uczenie głębokie w oprogramowaniu OLYMPUS Stream/PRECiV/CIX100
Proces uczenia głębokiego TruAI jest zorganizowany w przejrzysty sposób.
Rozwiązanie TruAI w oprogramowaniu OLYMPUS Stream/PRECiV/CIX100 stosuje kombinację konwolucyjnych sieci neuronowych (CNN, convolutional neural network), aby przypisać poszczególne piksele do klas (architektura U-Net). Jakość wyniku przetwarzania obrazu zależy od jakości treningu. Sieć powinna być trenowana na obrazach, które zostały już przetworzone lub przynajmniej zawierają wartość przeznaczoną do zmierzenia (informację zweryfikowaną empirycznie).
Informacja zweryfikowana empirycznie do treningu sieci neuronowej jest generowana przez rozwiązanie TruAI w oprogramowaniu OLYMPUS Stream/PRECiV/CIX100:
- przy użyciu klasycznych technik przetwarzania obrazów przez funkcję Count and Measure w oprogramowaniu OLYMPUS Stream/PRECiV/CIX100;
- poprzez ręczne przypisywanie etykiet.
Dla każdego problemu przeznaczonego do analizy z wykorzystaniem uczenia głębokiego należy przygotować zestaw obrazów zawierających dane nieprzetworzone i informacje zweryfikowane empirycznie.
Utworzony model (wnioskowania) jest następnie używany jako metoda segmentacji przez rozwiązanie Count and Measure.
Neural Network Training
Training a standard network takes about 30 minutes for 25,000 iterations. The training quality is available through the similarity curve. The closer to 1, the better the inference.
Segmentacja przez sieć neuronową
Rozwiązanie TruAI w oprogramowaniu OLYMPUS Stream/PRECiV/CIX100 stosuje semantyczną metodę segmentacji do wykrywania obiektów na obrazie. W metodzie tej do każdego piksela na obrazie przypisywana jest odpowiednia klasa. Wyniki można wyrazić jako warstwę prawdopodobieństwa, na której każdemu pikselowi przypisane jest prawdopodobieństwo przynależności do danej klasy. Jeśli jest zdefiniowana tylko jedna klasa, wynikowy model wnioskowania można zastosować do detekcji cząstek.
Uczenie głębokie ułatwia detekcję za pomocą rozwiązania Count and Measure w oprogramowaniu OLYMPUS Stream/PRECiV/CIX100. Segmentacja przez sieć neuronową wykrywa obiekty przeznaczone do zmierzenia, natomiast klasyfikacja według rozmiarów odbywa się klasyczną metodą matematyczną.
To rozwiązanie oparte na uczeniu głębokim działa ściśle zgodnie z metodami detekcji cząstek przyjętymi w materiałoznawstwie i normach międzynarodowych.
Opcje treningu sieci neuronowej dla oprogramowania OLYMPUS Stream/PRECiV/CIX100
Dostępne są dwie strategie treningu sieci neuronowej dla oprogramowania OLYMPUS Stream/PRECiV/CIX100:
Samodzielne trenowanie sieci neuronowej
Klient może wytrenować sieć neuronową, korzystając z rozwiązania OLYMPUS Stream/PRECiV//CIX100 Deep Learning dostępnego dla edycji oprogramowania Stream Essentials, Motion i Desktop oraz PRECIV Core, Pro i Desktop. Potrzebne będzie także rozwiązanie Count and Measure i komputer PC o dużej mocy obliczeniowej. Informacje o zalecanej konfiguracji komputera można uzyskać od firmy Evident. Ta strategia jest najlepsza dla uczelni, instytutów badawczych lub zakładów postępujących zgodnie z normami i standardowymi procedurami branżowymi właściwymi dla zastosowań przemysłowych.
Zlecenie firmie Evident wytrenowania sieci neuronowej
Ta usługa jest idealnym rozwiązaniem dla laboratoriów przemysłowych, jednostek odpowiedzialnych za kontrolę jakości lub testy oraz dla klientów wykonujących powtarzalne zadania. Aby z niej skorzystać, klient musi mieć rozwiązanie OLYMPUS Stream/PRECiV/CIX100 Count and Measure.