Audio adalah sebahagian daripada banyak aplikasi IoT, termasuk produk pengguna seperti pembesar suara dan fon kepala, alat pakai dan peranti perubatan (misalnya, alat bantu pendengaran), aplikasi automasi dan kawalan industri, sistem hiburan, dan unit infotainment automotif.
Audio IoT boleh dikategorikan secara meluas kepada tiga jenis: streaming (iaitu, muzik, suara, dan data), pengiktirafan suara/arahan, dan tanpa wayar melalui sambungan Bluetooth dan Wi-Fi (misalnya, streaming audio pelbagai saluran ke atas Wi-Fi ke sistem bunyi sekeliling rumah). Walau bagaimanapun, mereka bentuk subsistem audio akustik yang berkualiti tinggi dan tidak terganggu boleh mencabar apabila jurutera mesti mematuhi kekangan yang ketat yang diperlukan untuk peranti berasaskan IoT.
Reka bentuk yang lebih kompleks diperlukan untuk memasukkan ciri-ciri canggih seperti pengiktirafan suara, seperti membolehkan pemandu mengawal sistem infotainment di dalam kereta mereka dengan cara yang sama tanpa tangan sebagai telefon bimbit. Oleh kerana MCU berada di tengah-tengah semua sistem audio ini, adalah penting untuk memilih MCU yang mengintegrasikan teknologi audio yang diperlukan untuk merekabentuk sistem audio bebas bunyi yang boleh dipercayai. Makalah ini meneroka teknologi audio yang boleh digunakan untuk merekabentuk sistem sedemikian.
Komponen subsistem audio
Audio IoT melibatkan tiga aktiviti utama: suara/data berkualiti tinggi, penghantaran tanpa wayar, dan kawalan penyusunan semula suara. Rajah 1 menunjukkan blok bangunan yang paling penting dalam sistem tertanam.
Rajah blok ini menunjukkan blok bangunan yang lebih penting bagi subsistem pemprosesan audio
Perhatikan bahawa banyak ciri-ciri ini boleh diintegrasikan ke dalam MCU moden, seperti Cypress CYW43907 dengan Wi-Fi 802.11n bersepadu yang digunakan dalam contoh ini. Beberapa teknologi audio penting yang boleh dimasukkan dalam sistem berasaskan IoT termasuk:
Aplikasi muzik
MCU yang dibolehkan audio membolehkan jurutera menyahkod aliran MP3/4 yang digunakan oleh pemain media yang paling popular dan penyedia kandungan. Banyak reka bentuk juga perlu menyokong penyahkodan AAC WMA dan Apple, yang memerlukan kuasa pemprosesan tambahan. Dalam aplikasi audio pengguna, MCU audio kos rendah sering boleh digunakan dengan menguruskan aliran muzik digital dari aksesori audio seperti set penceramah digital.
Dalam aplikasi ini, bingkai data audio PCM (dikemas dalam format kelas audio USB) tiba setiap 1 ms melalui salah satu saluran siri SPI/I²C pemproses. Bergantung pada sumbernya, aliran audio boleh tiba di salah satu daripada beberapa format (iaitu, sejajar, sejajar, i2s, dll.). Walau bagaimanapun, beberapa codec kos rendah hanya boleh menerima format tertentu. Dalam kes ini, MCU memainkan peranan penting dalam memastikan data itu diselaraskan dengan betul sebelum ia diberi makan kepada codec.
Oleh kerana tidak semua sumber audio menggunakan kadar persampelan yang sama, codec juga mesti menyesuaikan kekerapan pensampelannya kepada sumber atau bergantung pada MCU untuk menukar aliran data sampel ke kadar data biasa (lihat Rajah 2). Dalam kes ini, MCU mesti menguruskan aliran untuk mengelakkan keadaan bawah atau beban yang boleh membawa kepada mutes, pop, dan ketidakpastian audio yang boleh menyebabkan kehilangan data dan mengganggu pengalaman mendengar pengguna. Perhatikan bahawa MCU audio juga boleh digunakan untuk melaksanakan fungsi lain subsistem audio, seperti mengawal pencahayaan semasa main balik audio.
MCU audio mungkin perlu melakukan penukaran format, pelarasan kadar sampel, dan pengurusan aliran, serta menyokong antara muka pengguna audio.
Untuk melaksanakan audio dalam pelbagai aplikasi, Audio MCU perlu menyokong pelbagai teknologi audio. Rajah 3 menunjukkan contoh teknologi audio ini.
Teknologi Bunyi
Codec audio
Codec audio adalah komponen depan utama sistem audio. Banyak MCU yang dibina untuk aplikasi IoT menyokong fungsi codec dalam perkakasan. Ini membolehkan sistem mengurangkan saiz sampel audio digital untuk mempercepat penghantaran tanpa wayar (kuasa penjimatan) dan menjimatkan ruang penyimpanan (mengurangkan ketegangan pada kapasiti memori dalaman). Codec boleh menyokong pelbagai format standard audio seperti AAC, AC -3, dan ALAC. Untuk berbuat demikian, ia memerlukan unit akses penyahkodan (AU), yang dilaksanakan sebelum sebarang pemprosesan audio (contohnya, DSOLA, SOLA). Apabila digunakan dengan format audio standard seperti AAC, AC -3 dan ALAC, audio dikategorikan sedemikian rupa sehingga sampel audio berikutnya berada dalam format yang ditetapkan dalam aliran data paket audio. Jarak paket juga berjaya membolehkan operasi silang minimum dan operasi tanpa gangguan dengan kehadiran kesesakan. Saiz muatan AU membolehkan pelaksanaan sebarang penyembunyian yang perlu dilakukan.
Pemprosesan baseband
Isyarat baseband adalah kumpulan asas frekuensi dalam bentuk gelombang analog atau digital yang boleh diproses oleh litar elektronik. Isyarat baseband boleh terdiri daripada frekuensi tunggal atau sekumpulan frekuensi atau, dalam domain digital, aliran data yang dihantar melalui saluran yang tidak berbulu. Baseband ditakrifkan sebagai baseband (isyarat/kedua) bercampur dengan isyarat pembawa untuk menghasilkan isyarat yang dimodulasi. Perhatikan bahawa dalam MCU yang menyokong audio IoT, codec audio mengintegrasikan pemprosesan baseband dan RF pada cip tunggal. Codec audio boleh dilaksanakan dalam pelbagai transceivers tanpa wayar untuk menyediakan data suara dan/atau fungsi muzik. Codec juga mempunyai saluran mono dan stereo untuk output audio, serta input stereo.
Penyembunyian kehilangan paket dan replikasi data
Latihan yang berlebihan, kehilangan paket, dan jitter latency yang tinggi boleh menjejaskan kualiti komunikasi. Kemungkinan kehilangan paket secara tiba -tiba meningkat dengan beban rangkaian dan mengakibatkan gangguan yang boleh didengar oleh pengguna. Transmisi audio yang mantap ke atas Wi-Fi boleh dipertingkatkan dengan ciri-ciri canggih seperti teknologi penyembunyian kehilangan paket Cypress. Sumber/penerima seni bina sistem adalah seperti berikut: Satu sumber menangkap audio, multiplexes data PCM melalui struktur aliran RTP, dan menyegerakkan jam dengan semua penerima yang disambungkan ke sumber PLC.
Perhatikan bahawa prestasi pautan komunikasi bergantung kepada kualiti prestasi belanjawan pautan. Anggaran pautan ini ditentukan oleh tiga faktor: menghantar kuasa, menghantar keuntungan antena, dan menerima keuntungan antena. Sebagai contoh, komunikasi yang boleh dipercayai melalui rangkaian 802.11 adalah mungkin jika kuasa laluan pautan dikurangkan kehilangan ruang yang ada adalah lebih besar daripada tahap isyarat minimum yang diterima radio penerimaan (lihat Rajah 4).
Prestasi pautan komunikasi bergantung pada kualiti prestasi belanjawan pautan
Peningkatan kecerdasan pertuturan (SIE)
Bunyi latar belakang dalam sistem audio dapat mengurangkan kecerdasan ucapan. Sekiranya bunyi melebihi tahap tertentu, ucapan mungkin sukar untuk difahami oleh pengguna. Ketersediaan pengiktirafan ucapan berterusan masa nyata pada peranti tertanam memerlukan sistem yang meningkatkan kecerdasan ucapan yang cacat bunyi. Memilih MCU yang menyokong port dan pengoptimuman sistem pengiktirafan ucapan berterusan perbendaharaan kata yang biasa digunakan (LVCSR) dapat memudahkan pembangunan.
Pengesanan frasa bangun
Ciri lanjutan ini membolehkan pengguna menghidupkan sistem bebas tangan dengan mengaktifkan peranti dengan suara mereka.
Multicast yang cekap untuk satu atau lebih penceramah
Multicasting adalah kaedah alamat rangkaian yang digunakan untuk menghantar mesej kepada sekumpulan sasaran secara serentak menggunakan strategi yang paling berkesan. Mesej disampaikan hanya sekali melalui setiap pautan dalam rangkaian, dan salinan dibuat hanya apabila pautan seterusnya berpecah kepada pelbagai destinasi, biasanya pada suis rangkaian dan router. Walau bagaimanapun, seperti Protokol Datagram Pengguna (UDP), Multicast tidak menjamin penghantaran aliran mesej, yang boleh membawa kepada penghantaran mesej atau penghantaran mesej yang tidak teratur. Multicast yang boleh dipercayai (RMC) menyediakan pengakuan untuk paket multicast (paket sahaja) supaya beberapa paket multicast tertentu dapat disampaikan dengan pasti. Pemancar memilih penerima dengan RSSI yang paling lemah untuk mengakui bingkai. Dalam persekitaran IoT, melaksanakan RMC bermakna pemancar Wi-Fi memilih salah satu daripada penerima Wi-Fi yang banyak untuk mengakui penerimaan bingkai. Pemancar memilih penerima dengan RSSI yang paling lemah untuk mengakui bingkai. Pelaksanaan ini menggunakan rangka kerja operasi yang mengandungi elemen maklumat RMC proprietari untuk memberitahu dan membolehkan pengiktirafan. Pelaksanaan ini juga mengandungi arahan pemacu Wi-Fi khusus RMC untuk menetapkan alamat MAC multicast dan untuk membolehkan dan melumpuhkan RMC.
Untuk audio dan video dengan kelewatan penghantaran tetap dan simetri, keperluan penyegerakan masa dipenuhi; Sebagai contoh, RMC boleh bergantung pada masa yang sangat tepat dan penyegerakan untuk penghantaran sel-sel-ke-sel yang licin dari data, video, dan data mudah alih. Mencapai masa yang sangat tepat dan tepat tidak mudah dari sudut pandang teknikal, jadi penting untuk mencari pelaksanaan yang dapat disahkan untuk memenuhi keperluan permohonan.
Format membingkai, pembetulan ralat ke hadapan dan replikasi paket
Untuk streaming audio, adalah penting bahawa jam disegerakkan dengan semua penerima Wi-Fi. Satu pendekatan adalah menggunakan jam yang sama untuk kedua -dua peranti sumber dan penerima, sering dipanggil jam dinding atau jam sistem (STC). Pertama, setiap penerima (penerima) menyegerakkan STC (jam dinding) dengan STC sumber/pemancar (jam dinding master). Setiap penerima kini boleh memulihkan jam pemancar kerana cap waktu yang dimasukkan oleh sumber (tersedia dalam tajuk lanjutan setiap paket RTP) mencerminkan momen sampel media berbanding dengan jam bersama.
STC didasarkan pada nilai jam grandmaster yang digariskan dalam spesifikasi 802.1As. Oleh kerana semua peranti penerima menyedari korelasi antara STC dan jam media peranti sumber (seperti yang berkaitan dengan rtp atau cap waktu media), setiap penerima boleh membina semula satu salinan jam media RTP peranti sumber dan beratur outputnya dengan sewajarnya untuk rendering yang betul. Jam telus adalah di mana perkakasan/Ucode boleh paket timestamp diterima dan dihantar sedekat mungkin ke antara muka Mac/Phy. Walaupun nilai jam ini tidak digunakan untuk main balik, ia boleh digunakan untuk mengukur jitter sepanjang sistem dan melakukan analisis prestasi penuh.
Contoh sistem audio rumah pintar
Untuk memahami audio IoT dalam konteks, pertimbangkan contoh rumah pintar dan audio peranan boleh dimainkan dalam meningkatkan fungsi keseluruhan sistem rumah pintar. Rumah menjadi rumah pintar apabila peranti dan peralatan di dalamnya dapat berkomunikasi antara satu sama lain dan orang -orang yang tinggal di sana. Dengan meningkatkan saling hubungan kami, rumah pintar meningkatkan kualiti hidup kami dan meningkatkan keselamatan kami.
Salah satu kes penggunaan utama untuk audio di rumah pintar adalah menyimpan dan berkongsi audio melalui Wi-Fi atau Bluetooth. Pilihan Wi-Fi ke atas BLE berbeza dengan aplikasi dan bergantung kepada keperluan kualiti julat dan audio. Sebagai contoh, pengawal rumah boleh memainkan bunyi tertentu di setiap bilik rumah jika seseorang berdering bel pintu di pintu, bukan hanya memasang loceng di satu bahagian rumah. Begitu juga, pengawal boleh mengehadkan bunyi ke bilik tertentu, seperti tidak di tapak semaian untuk bayi. Pengawal tertanam membantu memproses audio ini dan menjadikan sistem lebih pintar dengan menguruskan pelbagai fungsi kawalan output.
Sistem audio main balik
Replay sistem audio telah menjadi aplikasi penting dalam pasaran audio. Sistem replay audio tanpa wayar berada di tengah -tengah rumah pintar, membawa bersama banyak peranti pintar yang berbeza di rumah dan membuat keputusan pintar bagi pihak pengguna. Sebagai contoh, sistem audio dapat mengawal corak pencahayaan di rumah berdasarkan muzik yang sedang dimainkan. Ia juga boleh menggunakan penukaran teks-ke-ucapan untuk membaca pemberitahuan pengguna atau e-mel dengan kuat. Pengguna juga mempunyai pilihan untuk mewujudkan zon dalam sistem audio berbilang bilik dengan menggunakan peranti audio yang boleh diperolehi, seperti penceramah tanpa wayar di bilik yang berbeza di rumah. Pendekatan ini mewujudkan keseluruhan ekosistem untuk memastikan bahawa rumah sentiasa beroperasi pada kecekapan puncak sambil meminimumkan interaksi dengan orang -orang yang tinggal di sana. Untuk mewujudkan ekosistem sedemikian, pereka IoT perlu memilih mikrokontroler tertanam dengan prestasi yang betul dan ciri-ciri berasaskan audio yang telah dioptimumkan untuk aplikasi IoT.
Kesan pemprosesan isyarat digital
Pemprosesan isyarat audio dalam domain digital adalah bahagian penting dari mana -mana sistem audio sebelum menghantar data audio melalui pautan tanpa wayar. Pemprosesan ini biasanya melibatkan pengukuran, penapisan dan/atau memampatkan isyarat analog audio. MCU terbenam dengan fungsi DSP bersepadu membolehkan kesan seperti penambahan pengadun digital dan sokongan untuk fungsi kawalan jauh. Dengan penyamaan band 5- untuk setiap saluran, main balik audio boleh diintegrasikan dengan bijak dengan kebanyakan aplikasi Sequencer untuk membuat sistem studio yang kuat.