Audio je neoddeliteľnou súčasťou mnohých aplikácií IoT, vrátane spotrebiteľských produktov, ako sú reproduktory a slúchadlá, nositeľné a zdravotnícke pomôcky (napr. Načúvacie pomôcky), aplikácie automatizácie a priemyselného riadenia, zábavné systémy a automobilové informačné jednotky.
Audio IoT sa dá všeobecne rozdeliť do troch typov: streamovanie (tj, hudba, hlas a údaje), rozpoznávanie hlasu/príkazy a bezdrôtové pripojenie cez Bluetooth a Wi-Fi (napr. Streamovanie viackanálového zvuku nad Wi-Fi do domáceho priestorového zvukového systému). Navrhovanie vysoko kvalitných, nepretržitých akustických zvukových subsystémov však môže byť náročné, keď musia inžinieri dodržiavať prísne obmedzenia potrebné pre zariadenia založené na internete.
Zložitejšie návrhy sa vyžaduje, aby zahrnuli pokročilé funkcie, ako napríklad rozpoznávanie hlasu, ako napríklad umožnenie vodičom ovládať informačný systém v aute rovnakým spôsobom rúk ako mobilný telefón. Pretože MCU je jadrom všetkých týchto zvukových systémov, je dôležité vybrať MCU, ktorá integruje potrebné zvukové technológie potrebné na navrhnutie spoľahlivého zvukového systému bez hluku. Tento dokument skúma zvukové technológie, ktoré sa dajú použiť na navrhovanie takýchto systémov.
Komponenty zvukového subsystému
Audio IoT zahŕňa tri hlavné aktivity: vysoko kvalitný hlas/dáta, bezdrôtový prenos a riadenie reorganizácie hlasu. Obrázok 1 zobrazuje najdôležitejšie stavebné bloky v zabudovanom systéme.

Tento blokový diagram ukazuje najdôležitejšie stavebné bloky subsystému na spracovanie zvuku
Všimnite si, že mnoho z týchto funkcií je možné integrovať do moderných MCU, ako je napríklad Cypress CyW43907 s integrovaným Wi-Fi 802.11n použitými v tomto príklade. Niektoré z dôležitých zvukových technológií, ktoré môžu byť zahrnuté do systému založeného na IoT:
Hudobné aplikácie
Audio-povolené MCU umožňujú inžinierov dekódovať toky MP3/4, ktoré používajú najobľúbenejšie prehrávače médií a poskytovatelia obsahu. Mnoho návrhov musí tiež podporovať dekódovanie AAC WMA a Apple, čo si vyžaduje ďalší výkon spracovania. V audio aplikáciách spotrebiteľov sa nízkonákladové zvukové MCU môžu často využívať riadením tokov digitálnej hudby zo zvukových príslušenstiev, ako sú súpravy digitálnych reproduktorov.
V týchto aplikáciách prichádza každé 1 ms pomocou sériových kanálov SPI/I²C s audio USB) rámec zvukových údajov PCM (zapuzdrené vo formáte zvukovej triedy USB). V závislosti od zdroja môže zvukový tok prísť v jednom z niekoľkých formátov (tj, vľavo zosúladený, pravostranným, I2S atď.). Niektoré nízkonákladové kodeky však môžu akceptovať iba určité formáty. V týchto prípadoch zohráva MCU dôležitú úlohu pri zabezpečovaní toho, aby boli údaje správne zarovnané skôr, ako sa privádzajú k kodeku.
Pretože nie všetky zvukové zdroje používajú rovnakú rýchlosť odberu vzoriek, kodek musí tiež prispôsobiť svoju frekvenciu vzorkovania zdroju alebo sa spoliehať na MCU, aby previedol vzorkovaný dátový tok na spoločnú rýchlosť dát (pozri obrázok 2). V týchto prípadoch musí MCU spravovať tok, aby sa predišlo podmienkam nedostatočných alebo preťažením, ktoré môžu viesť k mlute, Pops a audio diskontinuitám, ktoré môžu spôsobiť stratu údajov a narušiť zážitok z počúvania používateľov. Upozorňujeme, že Audio MCU sa dá použiť aj na implementáciu ďalších funkcií zvukového subsystému, ako je napríklad ovládanie osvetlenia počas prehrávania zvuku.

Audio MCU bude možno potrebné vykonať konverziu formátu, úpravu vzorkovacích frekvencií a správu toku, ako aj podporovať rozhrania používateľov zvuku.
Na implementáciu zvuku v širokej škále aplikácií musí Audio MCUS podporovať rôzne zvukové technológie. Obrázok 3 zobrazuje príklady týchto zvukových technológií.

technológia
Zvukové kodeky
Audio kodek sú hlavnou front-endovou súčasťou zvukového systému. Mnoho MCUS vytvorených pre aplikácie IoT podporuje funkčnosť kodeku v hardvéri. To umožňuje systému znížiť veľkosť digitálnych zvukových vzoriek na urýchlenie bezdrôtového prenosu (úsporný výkon) a ukladanie úložného priestoru (znižuje tlak na kapacitu vnútornej pamäte). Kodek môže podporovať rôzne zvukové štandardné formáty, ako sú AAC, AC -3 a ALAC. Na tento účel vyžaduje dekódovaciu prístupovú jednotku (AU), ktorá sa implementuje pred akýmkoľvek zvukovým následným spracovaním (napr. DSOLA, SOLA). Pri použití so štandardnými zvukovými formátmi, ako sú AAC, AC -3 a ALAC, je zvuk kategorizovaný takým spôsobom, že následné zvukové vzorky sú v predpísanom formáte určenom v toku dát audio paketov. Vystupovanie paketov sa tiež podarilo umožniť minimálny krížový jitter a nepretržitú prevádzku v prítomnosti preťaženia. Veľkosť užitočného zaťaženia AU umožňuje vykonávanie akýchkoľvek utajení, ktoré je potrebné vykonať.
Spracovanie základného pásma
Signál základného pásma je základnou skupinou frekvencií v analógovom alebo digitálnom priebehu, ktorý je možné spracovať elektronickými obvodmi. Signál základného pásma môže pozostávať z jednej frekvencie alebo skupiny frekvencií alebo v digitálnej doméne prúd údajov odoslaných cez nemultiplexovaný kanál. Základné pásmo je definované ako základné pásmo (signál/sekundu) zmiešané so signálom nosiča, aby sa vytvoril modulovaný signál. Všimnite si, že v MCUS podporujúcom IoT Audio, zvukový kodek integruje spracovanie základného pásma a RF na jednom čipe. Zvukový kodek je možné implementovať v rôznych bezdrôtových vysielačoch na poskytovanie hlasových údajov a/alebo hudobnej funkcie. Kodek obsahuje aj mono a stereofónne kanály pre zvukový výstup, ako aj stereofónne vstupy.
Zatajovanie straty paketov a replikácia údajov
Nadmerná latencia, strata paketov a jitter s vysokou latenciou môžu narušiť kvalitu komunikácie. Pravdepodobnosť náhlej straty paketov sa zvyšuje pri zaťažení siete a vedie k prerušeniam, ktoré používateľ môže vypočuť. Robustný zvukový prenos cez Wi-Fi je možné vylepšiť pokročilými funkciami, ako je napríklad technológia utajenia paketov Cypress. Zdroj/prijímač architektúry systému je nasledujúci: Jeden zdroj zachytáva zvuk, multiplexuje údaje PCM prostredníctvom štruktúry toku RTP a synchronizuje hodiny so všetkými prijímačmi pripojenými k zdroju PLC.
Upozorňujeme, že výkon komunikačného spojenia závisí od kvality výkonu rozpočtu odkazu. Tento rozpočet na prepojenie je určený tromi faktormi: vysielacia sila, zisk prenosu antény a získanie zisku antény. Napríklad spoľahlivá komunikácia v sieti 802.11 je možná, ak je sila prepojenej cesty mínus strata dostupného priestoru vyššia ako minimálna prijatú úroveň signálu prijímajúceho rádiu (pozri obrázok 4).

Výkon komunikačného spojenia závisí od kvality výkonu rozpočtu odkazu
Zlepšenie reči (SIE)
Hluk na pozadí v zvukovom systéme môže znížiť zrozumiteľnosť reči. Ak hluk presahuje určitú úroveň, reč môže byť pre používateľa ťažká porozumieť. Dostupnosť kontinuálneho rozpoznávania reči v reálnom čase na zabudovaných zariadeniach v reálnom čase vyžaduje systém, ktorý zvyšuje zrozumiteľnosť reči, ktorá sa im vyžaduje hluk. Výber MCU, ktorý podporuje prenos a optimalizáciu bežne používaného systému kontinuálneho rozpoznávania reči (LVCSR), môže zjednodušiť vývoj.
Detekcia prebudenia
Táto pokročilá funkcia umožňuje používateľom zapnúť systém bez rúk aktiváciou zariadenia svojím hlasom.
Efektívny multicast pre jedného alebo viacerých reproduktorov
Multicasting je metóda riešenia siete, ktorá sa používa na odosielanie správ skupine cieľov súčasne pomocou najúčinnejšej stratégie. Správy sa dodávajú iba raz prostredníctvom každého odkazu v sieti a kópie sa vytvárajú iba vtedy, keď sa ďalší odkaz rozdelí na viaceré destinácie, zvyčajne v sieťových prepínačoch a smerovačoch. Rovnako ako protokol User Datagram Protocol (UDP), Multicast však nezaručuje doručenie toku správ, čo môže viesť k odhodeniu správ alebo neorganizovanej doručeniu správ. Spoľahlivý multicast (RMC) poskytuje potvrdenie pre multicastové pakety (iba pakety), takže určité konkrétne pakety multicast sa môžu spoľahlivo dodávať. Vysielač vyberie prijímač s najslabšími RSSI, aby potvrdil ráme. V prostredí IoT implementácia RMC znamená, že vysielač Wi-Fi vyberie jeden z mnohých prijímačov Wi-Fi na uznanie recepcie rámca. Vysielač vyberie prijímač s najslabšími RSSI, aby potvrdil ráme. Implementácia využíva prevádzkový rámec obsahujúci patentované informačné prvky RMC na oznámenie a povolenie potvrdenia. Implementácia obsahuje aj príkazy ovládača Wi-Fi špecifických pre RMC na nastavenie adresy MULTicast MAC a na povolenie a deaktiváciu RMC.
Pre zvuk a video s pevným a symetrickým oneskorením prenosu sú splnené požiadavky na synchronizáciu času; Napríklad RMC sa môže spoliehať na vysoko presné načasovanie a synchronizáciu na plynulý prenos hlasu, videa a mobilných údajov z hlasu a mobilných údajov. Dosiahnutie vysoko presného a presného načasovania nie je z technického hľadiska ľahké, preto je dôležité nájsť implementácie, ktoré je možné overiť tak, aby vyhovovali požiadavkám na aplikáciu.
Formáty rámovania, korekcia chýb vpred a replikácia paketov
Pri streamovaní zvuku je dôležité, aby sa hodiny synchronizovali so všetkými prijímačmi Wi-Fi. Jedným z prístupov je použitie bežných hodín pre zariadenia zdrojových aj prijímačov, ktoré sa často nazývajú nástenné hodiny alebo systémové hodiny (STC). Najprv každý prijímač (prijímač) synchronizuje svoj STC (Wall Clock) pomocou STC zdroja/vysielača (hlavné nástenné hodiny). Každý prijímač môže teraz obnoviť hodiny vysielača, pretože časová pečiatka vložená zdrojom (dostupné v rozšírenej hlavičke každého paketu RTP) odráža vzorkovaný moment média v porovnaní s bežnými hodinami.
STC je založená na hodnotách hodín Grandmaster načrtnuté v špecifikácii 802.1AS. Pretože všetky zariadenia prijímača sú si vedomé korelácie medzi STC a mediálnymi hodinami zdrojového zariadenia (pokiaľ ide o časovú pečiatku RTP alebo médií), každý prijímač môže rekonštruovať kópiu hodín médií RTP zdrojového zariadenia a podľa toho zaisťovať svoj výstup pre správne vykreslenie. Transparentné prekladanie je miestom, kde môže hardvér/UCode prijať a prenášať čo najbližšie k rozhraniu MAC/PHY. Aj keď sa táto hodnota hodín nepoužíva na prehrávanie, dá sa použiť na meranie jitter v celom systéme a na vykonanie úplnej analýzy výkonnosti.
Príklad inteligentného domáceho zvukového systému
Ak chcete porozumieť audio IoT v kontexte, zvážte príklad inteligentného domu a úloha, ktorú môže zvuk zohrávať pri zlepšovaní celkovej funkčnosti inteligentného domáceho systému. Domov sa stáva inteligentným domovom, keď zariadenia a spotrebiče v ňom môžu komunikovať medzi sebou a s ľuďmi, ktorí tam žijú. Zvýšením našej vzájomnej prepojenia inteligentné domy zlepšujú našu kvalitu života a zvyšujú našu bezpečnosť.
Jedným z hlavných prípadov použitia pre zvuk v inteligentnom dome je ukladanie a zdieľanie zvuku cez Wi-Fi alebo Bluetooth. Výber Wi-Fi nad BLE sa líši podľa aplikácie a závisí od požiadaviek na kvalitu rozsahu a zvuku. Napríklad domáci ovládač môže hrať konkrétny zvuk v každej miestnosti domu, ak niekto zazvoní zvonček pri dverách, namiesto toho, aby sa v jednej časti domu zapojil zvonček. Podobne môže ovládač obmedziť zvuk na konkrétne miestnosti, napríklad v škôlke pre deti. Vstavané radiče pomáhajú spracovať tento zvuk a stanú inteligentnejším systémom riadením rôznych funkcií riadenia výstupu.
Prehrávanie zvukových systémov
Zvukové zvukové systémy sa stali dôležitou aplikáciou na zvukovom trhu. Systémy bezdrôtových zvukových prehrávaní sú v centre inteligentného domu, spájajú v domácnosti mnoho rôznych inteligentných zariadení a robia inteligentné rozhodnutia v mene používateľa. Napríklad zvukový systém môže ovládať vzory osvetlenia v dome založenom na hudbe, ktorá sa v súčasnosti hrá. Môže tiež použiť konverziu textu do reči na čítanie upozornení používateľov alebo e-mailov nahlas. Používatelia majú tiež možnosť vytvárať zóny vo viacskupnom zvukovom systéme pomocou sieťových zvukových zariadení, ako sú bezdrôtové reproduktory v rôznych miestnostiach domu. Tento prístup vytvára celý ekosystém, aby sa zabezpečilo, že dom vždy pracuje s maximálnou efektívnosťou a minimalizuje interakcie s ľuďmi, ktorí tam žijú. Na vytvorenie takéhoto ekosystému musia návrhári internetu vecí zvoliť zabudovaný mikrokontrolér so správnym výkonom a zvukovými funkciami, ktoré boli optimalizované pre aplikácie internetu vecí.
Efekty spracovania digitálneho signálu
Spracovanie zvukového signálu v digitálnej doméne je dôležitou súčasťou akéhokoľvek zvukového systému pred prenosom zvukových údajov cez bezdrôtové spojenie. Toto spracovanie zvyčajne zahŕňa meranie, filtrovanie a/alebo komprimovanie zvukového analógového signálu. Vstavané MCU s integrovanou funkciou DSP umožňujú efekty, ako je pridanie digitálneho mixéra a podpora funkcií diaľkového ovládania. S 5- vyrovnávačom pásma pre každý kanál môže byť prehrávanie zvuku šikovne integrované s väčšinou aplikácií sekvencera na vytvorenie výkonného štúdia.




