Audio- en video-ontwikkeling en leren

We gaan er eerst van uit dat iemand geen basis heeft in audio en video, en nooit kennis heeft opgedaan met betrekking tot digitale signaalverwerking. De wiskundige basis is eigenlijk het middelbare schoolniveau, maar hij is bekend met C / C ++ -ontwikkeling, in ieder geval bekend met het compileren en debuggen van IDE onder een bepaald platform.

Focus op de twee open source-projecten ffmpeg en webRTC, kijk vooral naar het videogedeelte van ffmpeg en het audiogedeelte van webRTC.

Allereerst, beginnen met video-decodering. Dit is de eenvoudigste. De basiscode voor het aanroepen van ffmpeg-videodecodering is slechts ongeveer 100 regels. Videodecodering hoeft alleen h.264 te begrijpen, 80%+ scènes bevinden zich in dit coderingsformaat, de basisprincipes van H.264 sps pps NAL en andere bestandsindelingsconcepten begrijpen, het principe van het YUV-beeldformaat begrijpen en de conversie van YUV naar RGB begrijpen , Dus je kunt beeldweergave doen, je kunt een eenvoudige videospeler bereiken. (In principe in de eerste fase)

Om meer te weten te komen over videocodering, wordt aanbevolen om te beginnen met x264, een eenvoudige aanroep naar x264-coderingscode is minder dan 100 regels. Codering is ingewikkelder dan decodering omdat voor decodering geen parameters hoeven te worden geconfigureerd, en codering een groot aantal parameters moet worden geconfigureerd. Begrijp in het begin gewoon een paar basisconcepten, zoals framesnelheid, veelgebruikte flowcontrolemethoden ABR CRF, GOP, I / B Wat betekent / P Frame respectievelijk. (Weer bekend met X264-codering)

De codec van het audiogedeelte is vergelijkbaar met die van de video. In de beginfase hoeft u alleen de twee encoders EAAC + en Silk te begrijpen, de concepten van geluidskanaal, samplefrequentie, enz. Te begrijpen en het Wave-bestandsformaat te begrijpen. Kan een eenvoudige audiospeler zijn. (Maak een audiospeler)

Het complexe deel van audio is niet de codec, maar het geluidseffect. Bekijk de audioverwerkingsmodule in webRTC en begrijp de volgende concepten: ruisonderdrukking NS, echo-onderdrukking AEC, mute-detectie VAD, automatische versterkingsregeling AGC en de ingebouwde webRTC. Hoewel het algoritme niet het beste is, kan het 90% + van de problemen oplossen, en het is de moeite waard om te leren. (Leer webrtc audioverwerking)

Nadat ik dit heb geleerd, moet ik nadenken over een vraag, of ik een technische route of een algoritmische route wil nemen. Als het een algoritmische route is, dan moet ik wiskunde leren. Achter digitale signaalverwerking schuilt een groot aantal wiskundige basistheorieën. Als het een engineeringroute is, moet je leren over platformonafhankelijke ontwikkeling, het verzamelen, afspelen en verwerken van audio en video op meerdere platforms leren, en de optimalisatie van assembleertaal op meerdere platforms leren. (Platform gerelateerd)

Audio en video zijn een heel diep veld en je zult nooit in je leven klaar zijn met leren, maar dit veld heeft het voordeel dat de snelheid van kennisupdate relatief traag is, de dingen die zijn geleerd niet gemakkelijk kunnen worden geëlimineerd en de accumulatie van ervaring is erg belangrijk. v