Dalam industri teknologi, anda hampir tidak boleh bercakap tanpa seseorang menyebut inferens, kecerdasan buatan (AI) dan pembelajaran mesin (ML). Walau bagaimanapun, adalah penting untuk ambil perhatian bahawa walaupun semua istilah ini saling berkaitan, ia juga berbeza dengan ketara.
Dalam artikel ini, kami akan menerangkan perbezaan asas dan menyerlahkan kepentingan menggunakan pemprosesan tensor-teknologi AI tepi berasaskan, terutamanya dalam sistem tepi dan terbenam. Berbanding dengan penyelesaian berdasarkan unit pemprosesan grafik (GPU), unit pemprosesan tensor (TPU) menawarkan prestasi-yang lebih cekap dan kos efektif. Kami juga akan menyediakan beberapa contoh kes penggunaan yang menggambarkan tempat anda mungkin menghadapi penyelesaian AI yang canggih pada masa hadapan.
Asas ML dan Inferens
ML merujuk kepada metodologi model latihan menggunakan data perwakilan untuk membolehkan mesin mempelajari cara melaksanakan tugas. Proses ini boleh menjadi sangat intensif dari segi pengiraan, menjana trilion operasi bagi setiap titik data latihan baharu. Sifat berulang proses latihan, digabungkan dengan set data latihan yang besar yang diperlukan untuk mencapai ketepatan yang tinggi, mendorong permintaan untuk pemprosesan titik terapung-prestasi tinggi-yang sangat tinggi. Latihan ML paling baik dilaksanakan sebagai infrastruktur pusat data, di mana modal tinggi dan kos operasi boleh dijustifikasikan dengan melunaskannya merentas banyak pelanggan.
Inferens melibatkan penggunaan model terlatih untuk menjana potensi padanan bagi data baharu yang berkaitan dengan data perwakilan yang model itu dilatih. Inferens bertujuan untuk menyampaikan jawapan pantas dalam milisaat. Contoh inferens termasuk pengecaman pertuturan, -terjemahan bahasa masa sebenar, penglihatan mesin dan keputusan pengoptimuman sisipan pengiklanan. Walaupun inferens memerlukan hanya sebahagian kecil daripada kuasa pemprosesan yang diperlukan untuk latihan, ia masih jauh melebihi sistem berasaskan unit pemprosesan pusat (CPU)-tradisional, terutamanya untuk aplikasi penglihatan komputer. Inilah sebabnya mengapa begitu banyak syarikat beralih kepada tensor-penyelesaian pecutan berasaskan-sama ada sebagai IP pada SoC atau seperti dalam-pemecut sistem-untuk mencapai sub-masa tindak balas yang diperlukan di tepi. Realitinya ialah meluangkan walaupun seminit atau beberapa saat memproses imej dalam sistem penglihatan tidak begitu berguna. Sistem penglihatan industri sedang mencari{13}}kelajuan pemprosesan peringkat milisaat.
Mengasingkan Latihan dan Inferens
Menggunakan perkakasan yang sama yang digunakan untuk latihan mengendalikan beban kerja inferens mungkin menyebabkan lebih-memperuntukkan mesin inferens dengan pemecut dan perkakasan CPU. Penyelesaian GPU yang dibangunkan untuk ML sepanjang dekad yang lalu tidak semestinya pilihan optimum untuk-penyediaan besar-besaran teknologi inferens ML. Rajah di bawah dengan sempurna menggambarkan perbandingan antara pemecut TPU dan pemecut GPU. Ia jelas menunjukkan bahawa pemecut TPU memberikan penggunaan kuasa yang lebih rendah, kos yang dikurangkan dan kecekapan yang lebih tinggi berbanding dengan penyelesaian AGX berasaskan GPU-, sambil tetap menyediakan tahap prestasi yang menarik untuk aplikasi inferens.
Satu lagi pertimbangan kritikal apabila mendekati penyelesaian latihan dan inferens ML ialah persekitaran perisian. Hari ini, banyak perpustakaan popular sedang digunakan, seperti CUDA untuk GPU NVIDIA, rangka kerja ML seperti TensorFlow dan PyTorch, perpustakaan model silang{1}}platform yang dioptimumkan seperti Keras dan banyak lagi. Kit alatan ini penting untuk membangunkan dan melatih model ML, tetapi aplikasi inferens memerlukan set alat perisian yang berbeza dan lebih kecil.
Kit alat inferens memfokuskan pada menjalankan model pada platform sasaran. Mereka menyokong mengalihkan model terlatih ke platform, yang mungkin melibatkan beberapa transformasi operator, pengkuantitian dan perkhidmatan penyepaduan hos. Walau bagaimanapun, ini mewakili satu set fungsi yang agak mudah berbanding dengan yang diperlukan untuk pembangunan model dan latihan.
Alat inferens mendapat manfaat daripada bermula dengan perwakilan standard model. Open Neural Network Exchange (ONNX) ialah format standard untuk mewakili model ML. Seperti namanya, ia adalah standard terbuka yang diuruskan sebagai projek Yayasan Linux. Teknologi seperti ONNX membolehkan penyahgandingan sistem latihan dan inferens, memberikan pembangun kebebasan untuk memilih platform yang dioptimumkan yang berbeza bagi setiap satu.
Contoh Aplikasi Visual
Memandangkan ML dan teknologi pemproses inferens terus maju dan berkembang, aplikasi semakin berkembang pesat. Di bawah ialah beberapa tempat yang mungkin anda hadapi teknologi ini pada masa hadapan.
Pelayan tepi dalam perusahaan seperti kilang, hospital, kedai runcit dan institusi kewangan. Sebagai contoh, dalam tetapan industri, AI boleh membantu dengan pengurusan inventori, pengesanan kecacatan, dan juga penyelenggaraan ramalan sebelum isu timbul. Dalam runcit, ia membolehkan ciri seperti anggaran pose, menggunakan penglihatan komputer untuk mengesan dan menganalisis postur manusia. Data daripada analisis ini membantu peruncit bata{3}}dan-lebih memahami gelagat manusia dan trafik kaki dalam kedai mereka, membolehkan mereka mengoptimumkan reka letak kedai untuk jualan maksimum dan kepuasan pelanggan.
Pengimejan-kepersisan/tinggi-tinggi untuk aplikasi termasuk robotik, automasi/pemeriksaan industri, pengimejan perubatan, pengimejan saintifik, kamera pengawasan dan pengecaman objek serta fotonik. Contohnya, kaedah pembelajaran mesin telah menunjukkan keupayaan untuk mengesan kanser dengan memproses sinaran X-digital. Proses ini melibatkan pembangunan model ML yang direka untuk memproses-imej sinar-X, biasanya menggunakan algoritma segmentasi semantik terlatih untuk mengenal pasti lesi kanser. Semasa latihan, imej kanser yang dikenal pasti oleh ahli radiologi digunakan untuk mengajar rangkaian apa yang bukan kanser, apa itu kanser dan cara pelbagai jenis kanser muncul. Lebih banyak model ML dilatih, lebih baik ia memaksimumkan diagnosis yang betul dan meminimumkan salah diagnosis. Ini bermakna pembelajaran mesin bergantung bukan sahaja pada reka bentuk model pintar tetapi juga pada jumlah yang besar (berpuluh-puluh ribu hingga berjuta-juta) contoh data yang disusun dengan teliti di mana kanser telah dikenal pasti secara pakar.
Troli Beli-belah Pintar-Beberapa syarikat sedang membangun dan menggunakan sistem beli-belah pintar yang mengenali produk bukan melalui kod bar UPC mereka, tetapi melalui penampilan visual pembungkusan itu sendiri. Ciri ini membolehkan pembeli hanya meletakkan item ke dalam troli atau ke sistem pembayaran tanpa perlu mencari kod UPC dan mengimbasnya dengan pengimbas laser UPC. Teknologi ini menjadikan proses membeli-belah lebih tepat, lebih pantas dan lebih mudah.
Membuat Keputusan yang Tepat
Syarikat mesti menilai semua penyelesaian yang tersedia hari ini dan memilih penyelesaian yang optimum berdasarkan kes penggunaan khusus mereka. Mereka juga tidak boleh begitu sahaja menganggap semua penyelesaian AI dilaksanakan dengan terbaik pada peranti GPU, kerana penyelesaian berasaskan TPU-menawarkan kecekapan pemprosesan yang lebih tinggi dan penggunaan silikon yang lebih rendah, sekali gus mengurangkan penggunaan kuasa dan kos.