De betekenis van videocodering
Grote opslagruimte voor originele videogegevens, een 1080P 7 s-video vereist 817 MB
De oorspronkelijke videogegevensoverdracht neemt een grote bandbreedte in beslag en het duurt 11 minuten om de bovenstaande 7 s-video te verzenden met een bandbreedte van 10 Mbps
Na H.264-codering en -compressie is de videogrootte slechts 708 k, en de bandbreedte van 10 Mbps heeft slechts 500 ms nodig, wat kan voldoen aan de behoeften van realtime transmissie. Daarom moet de originele video die is verzameld van de video-acquisitiesensor videogecodeerd zijn.
Fundamenteel
Dus waarom kan een enorme originele video worden gecodeerd in een heel kleine video? Wat is de technologie hierin? Voordat we het over technologie hebben, moeten we eerst het concept van video vaststellen dat bestaat uit continue afbeeldingen.
Het kernidee is om overbodige informatie te verwijderen:
Ruimtelijke redundantie: er is een sterke correlatie tussen aangrenzende pixels van een afbeelding
Tijdelijke redundantie: vergelijkbare inhoud tussen aangrenzende afbeeldingen in een videoreeks
Coderingsredundantie: verschillende pixelwaarden hebben verschillende kansen
Visuele redundantie: het menselijke visuele systeem is niet gevoelig voor bepaalde details
Kennisredundantie: de structuur van regelmaat kan worden verkregen uit voorkennis en achtergrondkennis
Video is in wezen een reeks foto's die continu en snel worden afgespeeld, dus de gemakkelijkste manier om een video te comprimeren is om elk frame met foto's te comprimeren. De oudere MJPEG-codering is bijvoorbeeld om elk frame met afbeeldingen in de video te comprimeren. Deze coderingsmethode Er is alleen intra-framecodering, waarbij ruimtelijke steekproefvoorspelling wordt gebruikt om te coderen. De beeldmetafoor is om elk frame als een afbeelding te behandelen en het JPEG-coderingsformaat te gebruiken om de afbeelding te comprimeren. Dit soort codering houdt alleen rekening met de compressie van overtollige informatie in een afbeelding.
Vanwege de tijdcorrelatie tussen frames zijn er echter enkele geavanceerde encoders ontwikkeld die interframe-codering kunnen gebruiken. Simpel gezegd, bepaalde gebieden op het frame worden geselecteerd via het zoekalgoritme en vervolgens wordt het huidige frame berekend. Het is een vorm van codering met het vectorverschil tussen de voorste en achterste referentieframes. Door de volgende twee opeenvolgende frames in figuur 2 kunnen we zien dat de skiër naar voren schuift, maar in feite verschuift het sneeuwlandschap naar achteren, en wordt naar het P-frame verwezen. Frames (I of andere P-frames) kunnen worden gecodeerd, de grootte na codering is erg klein en de compressieverhouding is erg hoog.
Referentielink over de lijst http://mp.weixin.qq.com/s/ox6MsWx71b-GFsZihaOwww
Sommige studenten zijn misschien geïnteresseerd in hoe deze twee foto's vandaan komen. Hier zijn twee regels met FFmpeg-opdrachten om te bereiken. Raadpleeg de volgende hoofdstukken voor meer informatie over FFmpeg:
De eerste regel genereert een video met een bewegende vector
De tweede regel geeft elk frame weer als een afbeelding
Gebruik de opdracht
ffmpeg -flags2 +export_mvs -i tutu.mp4 -vf codecview=mv=pf+bf+bb tutudebug2.mp4
ffmpeg -i tutudebug2.mp4'tutunormal-%03d.bmp'
Naast ruimtelijke redundantie en temporele redundantiecompressie, zijn er voornamelijk coderingscompressie en visuele compressie. Het volgende is het hoofdstroomschema van een encoder:
Figuur 3 en Figuur 4 zijn twee processen. Figuur 3 is intra-frame codering, en figuur 4 is inter-frame codering. Het belangrijkste verschil uit de figuur is dat de eerste stap anders is. In feite worden deze twee processen ook gecombineerd. Over het algemeen gebruiken I-frame en P-frame respectievelijk intra-framecodering en inter-framecodering.
Encoder selectie
Ik heb het principe en het basisproces van de encoder uitgezocht. De encoder heeft tientallen jaren van ontwikkeling doorgemaakt. Het is geëvolueerd van alleen ondersteuning voor intra-frame-codering tot de nieuwe generatie encoders die tegenwoordig wordt vertegenwoordigd door H.265 en VP9. Op dit moment worden enkele veelvoorkomende encoders geanalyseerd en nemen we je mee om de wereld van encoders te verkennen.
H.264
Introductie
Het H.264/AVC-project wil een videostandaard creëren. In vergelijking met de oude standaard kan het video van hoge kwaliteit leveren met een lagere bandbreedte (met andere woorden, slechts de helft van de bandbreedte van MPEG-2, H.263 of MPEG-4 Part 2 of minder) zonder al te veel ontwerpcomplexiteit het onmogelijk te realiseren of de uitvoeringskosten te hoog zijn. Een ander doel is om voldoende flexibiliteit te bieden voor gebruik in verschillende toepassingen, netwerken en systemen, waaronder hoge en lage bandbreedte, hoge en lage videoresoluties, uitzendingen, dvd-opslag, RTP/IP-netwerken en ITU-T multimediatelefoonsystemen.
H.264/AVC bevat een reeks nieuwe functies, waardoor het niet alleen efficiënter is dan eerdere codecs, maar ook kan worden gebruikt in toepassingen in verschillende netwerkomgevingen. Deze technische basis zorgt ervoor dat H.264 de belangrijkste codec wordt die wordt gebruikt door online videobedrijven, waaronder YouTube, maar het gebruik ervan is geen gemakkelijke taak. In theorie kost het gebruik van H.264 veel geld. Patentkosten.
Octrooilicentie
Net als het eerste en tweede deel van MPEG-2 en het tweede deel van MPEG-4, moeten productfabrikanten en serviceproviders die H.264/AVC gebruiken octrooilicentierechten betalen aan octrooihouders. De belangrijkste bron van deze octrooilicenties is een particuliere organisatie genaamd MPEG-LA LLC. Deze organisatie heeft niets te maken met de MPEG Standardization Organization, maar deze organisatie beheert ook het MPEG-2 Part One System, Part Two Video en MPEG-4 Part One. Tweedelige video- en andere technologieoctrooilicenties.
Andere patentlicenties moeten worden aangevraagd bij een andere particuliere organisatie genaamd VIA Licensing, die ook patentlicenties beheert voor audiocompressiestandaarden zoals MPEG-2 AAC en MPEG-4 Audio.
Open source-implementatie van H.264
openh264 is een open source H.264-coderingsprogramma geïmplementeerd door Cisco. Hoewel H.264 een hoge octrooivergoeding vereist, is er een jaarlijkse limiet voor de octrooivergoeding. Nadat Cisco de jaarlijkse patentvergoeding voor OpenH264 heeft betaald, is OpenH264 eigenlijk gratis. Gebruik het vrijelijk.
x264 is gratis videocoderingssoftware onder GPL-licentie. De belangrijkste functie van x264 is het uitvoeren van H.264/MPEG-4 AVC-videocodering, niet als decoder.
Exclusief de kostenkwestie ter vergelijking:
Het CPU-gebruik van openh264 is veel lager dan dat van x264
openh264 ondersteunt alleen basislijnprofiel, x264 ondersteunt meer profielen
HEVC / H.265
Introductie
High Efficiency Video Coding (HEVC) is een videocompressiestandaard (ook wel H.265 genoemd), die wordt beschouwd als de opvolger van de ITU-T H.264/MPEG-4 AVC-standaard. In 2004 begonnen ISO/IEC Moving Picture Experts Group (MPEG) en ITU-T Video Coding Experts Group (VCEG) zich te ontwikkelen als ISO/IEC 23008-2 MPEG-H Part 2 of ITU-T H.265. De eerste versie van de HEVC/H.265-videocompressiestandaard werd op 13 april 2013 geaccepteerd als de officiële standaard van de International Telecommunication Union (ITU-T). de compressiesnelheid van H.264/MPEG-4 AVC (gelijk aan een 50% reductie in bitsnelheid bij dezelfde beeldkwaliteit), en kan 4K-resolutie en zelfs ultra-high-definition TV (UHDTV) ondersteunen, de hoogste resolutie kan bereik 8192 × 4320 (8K-resolutie).
Octrooilicentie
HEVC vereist dat alle inhoudsfabrikanten die H.265-technologie gebruiken, waaronder Apple, YouTube, Netflix, Facebook en Amazon, 0.5% van hun inhoudsinkomsten betalen als technologiegebruiksvergoeding. De hele markt voor streaming media bereikt jaarlijks zo'n 100 miljard dollar, en dat blijft stijgen. In de groei is de heffing van 0.5% zeker een enorme vergoeding. En ze hebben de fabrikanten van apparatuur niet losgelaten, waaronder tv-fabrikanten die 1.5 dollar per eenheid moeten betalen en fabrikanten van mobiele apparaten 0.8 dollar per eenheid aan patentvergoedingen. Ze hebben fabrikanten zoals Blu-ray-spelers, gameconsoles en videorecorders, die elk $ 1.1 moeten betalen, niet eens losgelaten.
Open source-implementatie van H.265/HEVC
libde265 HEVC wordt geleverd door struktur company onder de open source-licentie GNU Lesser General Public License (LGPL), en kijkers kunnen genieten van afbeeldingen van de hoogste kwaliteit bij lagere internetsnelheden. Vergeleken met eerdere decoders op basis van de H.264-standaard, kan de libde265 HEVC-decoder uw Full HD-inhoud tot tweemaal het publiek brengen, of de bandbreedte die nodig is voor streaming met 50% verminderen.
x265 is ontwikkeld door MulticoreWare en is open source onder de GPL-overeenkomst.
VP8
Introductie
VP8 is een open videocompressieformaat dat voor het eerst is ontwikkeld door On2 Technologies en vervolgens is uitgebracht door Google. Tegelijkertijd bracht Google ook de VP8-gecodeerde implementatiebibliotheek uit: libvpx, die werd uitgebracht in de vorm van BSD-licentievoorwaarden, en voegde vervolgens het recht toe om het patent te gebruiken. Na wat ruzie werd de autorisatie van VP8 uiteindelijk bevestigd als een open source autorisatie.
Momenteel zijn de webbrowsers die VP8 ondersteunen Opera, Firefox en Chrome.
Octrooilicentie
In maart 2013 bereikte Google een overeenkomst met MPEG LA en 11 octrooihouders om Google in staat te stellen VP8 en zijn eerdere VPx en andere coderingen te verkrijgen die mogelijk inbreuk maken op octrooien. Tegelijkertijd kan Google gerelateerde patenten ook gratis opnieuw autoriseren aan VP8-gebruikers. , Deze overeenkomst is ook geschikt voor de volgende generatie VPx-codering. Tot dusverre heeft MPEG LA de oprichting van de VP8-octrooi-gecentraliseerde licentiealliantie opgegeven, en VP8-gebruikers zullen kunnen beslissen om deze code gratis te gebruiken zonder zich zorgen te maken over mogelijke royalty's voor octrooi-inbreuken.
Open source implementatie van VP8
Libvpx is de enige open source-implementatie van VP8. Het is ontwikkeld door On2 Technologies. Nadat Google het had verworven, opende het de broncode. De licentie is erg los en kan vrij worden gebruikt.
VP9
Introductie
De ontwikkeling van VP9 begon in het derde kwartaal van 2011. Het doel is om de bestandsgrootte met 50% te verminderen in vergelijking met VP8-codering onder dezelfde beeldkwaliteit. Een ander doel is om HEVC-codering te overtreffen in coderingsefficiëntie.
Op 13 december 2012 heeft de Chromium-browser ondersteuning voor VP9-codering toegevoegd. De Chrome-browser is op 9 februari 21 begonnen met het ondersteunen van VP2013-gecodeerde videoweergave.
Google heeft aangekondigd dat het de ontwikkeling van de VP9-code op 17 juni 2013 zal voltooien, wanneer de Chrome-browser de VP9-code standaard zal begeleiden. Op 18 maart 2014 heeft Mozilla VP9-ondersteuning toegevoegd aan de Firefox-browser.
Op 3 april 2015 bracht Google libvpx1.4.0 uit, met ondersteuning voor 10-bits en 12-bits bitdiepte, 4:2:2 en 4:4:4 chroma sampling, en VP9 multi-core codering/decodering.
Octrooilicentie
VP9 is een open formaat, royaltyvrije videocoderingsformaat.
Open source implementatie van VP9
libvpx is de enige open source implementatie van VP9, ontwikkeld en onderhouden door Google. Sommige codes worden gedeeld door VP8 en VP9, en de rest zijn de codec-implementaties van respectievelijk VP8 en VP9.
Vergelijking van VP9 en H.264 en HEVC
Vergelijking van HEVC en H.264 bij verschillende resoluties
Vergeleken met H.264/MPEG-4 is de gemiddelde bitsnelheidsreductie van HEVC:
Het is te zien dat de bitsnelheid met meer dan 60% is gedaald
HEVC (H.265) heeft een groter voordeel bij het besparen van bitsnelheid voor VP9 en H.264, met een besparing van respectievelijk 48.3% en 75.8% onder dezelfde PSNR
H.264 heeft een enorm voordeel in coderingstijd. Vergeleken met VP9 en HEVC (H.265) is HEVC 6 keer die van VP9 en is VP9 bijna 40 keer die van H.264.
