Sleutelwoorden: Asynchrone audio en video MPEG-2 PCR DTS PTS Encoder Decoder
Met de snelle ontwikkeling van digitale televisie in mijn land en de voortschrijdende digitale transformatie van stedelijke radio- en televisienetwerken, zijn steeds meer mensen settopboxen gaan gebruiken om digitale televisieprogramma's te bekijken. Maar tijdens het kijken naar tv-programma's via een settopbox, merken kijkers soms dat sommige audio en video niet synchroon lopen. Dit trok ook onze aandacht.
Verschijnsel en test
Guiyang City voltooide in feite de digitale transformatie van zijn radio- en televisienetwerk eind 2007, en de programma's van Guizhou TV Station zijn ook opgenomen in de digitale netwerktransmissie. Nadat we het digitale netwerk waren binnengegaan, ontdekten we dat verschillende programma's van ons station in sommige gebieden het fenomeen vertoonden van niet-synchronisatie van audio en video, vooral wanneer het nieuws werd uitgezonden op het satellietvideokanaal en het mensenkanaal. Om erachter te komen waar het probleem zit, hebben we besloten een lipsynchronisatietest uit te voeren op het volledige transmissiepad van ons programma. De apparatuur die voor de test wordt gebruikt, is Tektronix WFM7120. Bij het meten van audio-/videovertraging is het ook nodig om een reeks videosignalen met een korte kleurenbalk te genereren via de TG700 DVG7, en de audioreeks is ingebed in deze groep videosignalen met een interval van 5s. Stuur een dergelijk signaal naar het geteste systeem en stuur ten slotte het signaal naar WFM7120 om het timingverschil tussen audio en video te meten.
Interne test uitzendcontrolecentrum
Zoals te zien is in figuur 1, gebruiken we de inspectietijd om te meten of er een audio-/videovertragingsverschil is in het tv-stationsysteem, om het door de TG700 gegenereerde testsignaal op de harde schijf van de uitzending op te nemen, af te spelen via de harde schijf, en voer het testsignaal in naar de vertraging. Na de framesynchronisatiemodule wordt het uitgezonden op een kanaal, en vervolgens meten we deze drie signalen voordat de transmissieafdeling het signaal doorstuurt naar de encoder van het netwerkbedrijf. De meetresultaten laten zien dat het audio/video-vertragingsverschil van deze drie signalen niet groter is dan 12 ms, dat wil zeggen dat één veld niet genoeg is, wat aangeeft dat het signaal niet het probleem heeft van audio- en videosynchronisatie in het uitzendcontrolecentrum.
Testen van verschillende settopboxen
Voor het tweede meetpunt kozen we voor de front-end computerruimte van het netwerkbedrijf. Zoals weergegeven in afbeelding 2, hebben we hier de belangrijkste merken settopboxen geselecteerd die momenteel in China worden gebruikt om te testen. Na het coderen van het TG700-testsignaal via de originele encoder die we gebruiken, plaatst u het in het kanaal dat we momenteel uitzenden. Gebruik dan een set-top box in de front-end computerruimte om het tv-signaal te demoduleren. Het gedecodeerde audio-/videosignaal wordt vervolgens naar de WFM7120 gestuurd voor meting na A/D en inbedding van het analoge signaal via een Panasonic D950-videorecorder. De meetresultaten laten zien dat het verschil in audio/video-vertraging van dit soort settopboxen verschillend is, sommige lopen 150 ms voor en sommige lopen 300 ms achter. Hieruit blijkt dat verschillende set-top boxes verschillende mogelijkheden hebben om de synchronisatierelatie tussen audio-/videosignalen te behouden na demodulatie en decodering van hetzelfde digitale tv-signaal.
Testen van verschillende encoders
Zoals weergegeven in afbeelding 3, gebruiken we nog steeds de TG700-signaalgenerator om verschillende encoders te testen en de encoder, modulator en settopbox in staat te stellen een gesimuleerde uitzend-/kijkomgeving te bouwen. Hierbij gebruiken we meerdere encoders van verschillende merken. Na het coderen van het testsignaal van de TG700, wordt het gemoduleerd door dezelfde modulator en vervolgens wordt het signaal gedecodeerd door dezelfde set-top box. Het wordt ook verwerkt door de D950 en naar de WFM7120 gestuurd voor meting. Het uiteindelijke meetresultaat is dat sommige van hun audio/video-vertragingsverschillen 30 ms bedragen en sommige 300 ms bereiken, wat aangeeft dat verschillende encoders een grotere invloed hebben op de audio/video-synchronisatie van het uiteindelijke kijksignaal van de set-top box.
Oorzaak analyse
Het timingprincipe van het MPEG-2-systeem
Op dit moment is de MPEG-2-standaard in het digitale tv-transmissiesysteem van mijn land een belangrijke audio- en videocompressiestandaard. Het comprimeert, codeert en multiplext programmasignalen aan de bronkant, en demultiplext en decodeert signalen aan de ontvangende kant. Is veel gebruikt. Het digitale transmissiesysteem dat we gebruiken is gebaseerd op de MPEG-2-standaard. Laten we eens kijken naar de systeemstructuur van MPEG-2, zoals weergegeven in figuur 4.
Uit figuur 4 blijkt dat de audio- en videosignalen een basisstroom vormen nadat de overtollige informatie is verwijderd door de compressie-encoder. Deze elementaire codestroom kan niet rechtstreeks worden opgeslagen of verzonden. Het moet naar een specifieke verpakker worden gestuurd. De elementaire codestroom wordt volgens een bepaald formaat in alinea's verdeeld en specifieke identificatietekens worden toegevoegd om de zogenaamde verpakte elementaire codestroom (PES) te vormen. PES-pakketten zijn audio- en videodatapakketten met variabele lengtes. Vervolgens worden de audio- en video-PES-pakketten en hulpgegevens naar het transmissiesubsysteem gestuurd, die worden verdeeld in kleine datapakketten met een vaste lengte van 188b en gemultiplext door tijdverdelingsmultiplexing. Er wordt een enkele TS-stream gevormd en de TS-stream bereikt het ontvangende einde na verzending via het kanaal.
Zoals we allemaal weten, is synchronisatie een noodzakelijke voorwaarde voor een correcte tv-weergave. Voor digitale tv, aangezien de buffer wordt gebruikt om het signaal op te slaan tijdens het compressie- en coderingsproces, wordt de tijdas van het signaal in de multiplexer gewijzigd, plus de hoeveelheid gegevensredundantie is anders, de compressieverhouding is ook anders, dus de tijdas Grote veranderingen, vooral in de verwerking van framegroeplagen, de volgorde van B-frames en P-frames is ook veranderd. Al deze zorgen ervoor dat de synchronisatie van digitale tv-signalen het concept van de oorspronkelijke reeks volledig verliest. Een effectieve manier om synchronisatie te bereiken, is door een tijdlabel toe te voegen aan de signaalcodestroom telkens wanneer een opgegeven interval is verstreken. Met deze tag kan de ontvangende kant opnieuw worden geordend volgens deze tijdtag tijdens het decoderingsproces vóór weergave, de volgorde van het beeld reconstrueren vóór compressie en codering, en de tijdrelatie tussen geluid en beeld, waardoor beeldsynchronisatie wordt bereikt en de geluid wordt gesynchroniseerd met het beeld.
In figuur 4 is ook te zien dat er een enkele gemeenschappelijke systeemklok STC (27 MHz) in de MPEG-2-encoder zit. Deze klok wordt gebruikt om een tijdstempel te genereren die de juiste decodering en weergavetiming van audio/video aangeeft. Tegelijkertijd kan het worden gebruikt om bemonstering aan te geven. De momentane waarde van de momentane systeemkloktijd. De klok is fasevergrendeld door de lijnsynchronisatie van de ingangsvideo. Wanneer de invoer een SDI-signaal is, wordt de systeemklok van de encoder gegenereerd door de klok gedeeld door 10. Het is de opkomst van een gemeenschappelijke systeemklok in de encoder, evenals de regeneratie van de klok in de decoder en de juiste gebruik van tijdstempels, die de basis vormen voor de juiste synchronisatie van bewerkingen in de decoder. Om de kloksynchronisatie van de codec te realiseren, wordt de STC-systeemklok geteld in de encoder en wordt de bemonsteringswaarde van de teller naar de ontvanger verzonden in de adaptatiekop van het geselecteerde TS-pakket elke bepaalde zendtijd, als een decodering Het programmaklokreferentiesignaal van de processor, dat is PCR. De geldige PCR-bit is 42b, waarvan de hoge 33b PCR_Base is, wat de telwaarde is in de eenheid van de 27MHz-klok en de klok gedeeld door 300, en de lage 9b is PCR_Extension, wat de telwaarde is in de 27MHz-klok als de eenheid. Naast PCR zijn ook het decodeertijdlabel DTS en het weergavetijdlabel PTS erg belangrijk. Ze zijn vergelijkbaar met PCR_Base. Ze worden ook gemaakt met de 27 MHz-systeemklok van de encoder, gedeeld door 300 als de eenheidswaarde. Onder hen wordt DTS gebruikt om de decoder te instrueren wanneer het ontvangen beeld en audioframe moet worden gedecodeerd, en PTS wordt gebruikt om te melden wanneer het gedecodeerde beeldframe moet worden weergegeven.
Bij gebruik van tweewegcodering moet het decoderen van een bepaald beeld worden uitgevoerd binnen een tijdsperiode voordat het wordt weergegeven, zodat het kan worden gebruikt als de brongegevens voor het decoderen van het B-framebeeld. De weergavevolgorde van afbeeldingen is bijvoorbeeld IBBP, maar de verzendvolgorde van afbeeldingen is IPBB. Het MPEG-referentiemodel gaat ervan uit dat decodering onmiddellijk plaatsvindt, dat wil zeggen dat decodering en weergave tegelijkertijd worden uitgevoerd. Voor audioframes en beeld B-frames zijn de decoderingstijd en weergavetijd hetzelfde, en PTS is hetzelfde als DTS, dus alleen PTS hoeft te worden verzonden. Voor video I-frames en P-frames zijn de decoderingstijd en de weergavetijd verschillend vanwege de herordening van de frames en moeten PTS en DTS tegelijkertijd worden verzonden. Wanneer de decoder de IPBB-beeldreeks ontvangt, moet deze de I-frame- en P-frame-beelden decoderen voordat het eerste B-frame-beeld wordt gedecodeerd. De decoder kan slechts één beeldframe per keer decoderen, dus het decodeert eerst het I-framebeeld en slaat het op. Wanneer het P-framebeeld wordt gedecodeerd, wordt het gedecodeerde I-framebeeld uitgevoerd en weergegeven, en vervolgens wordt het B-framebeeld gedecodeerd en weergegeven. Tabellen 1, 2, 3 en 4 tonen de volgorde van de invoer- en uitvoerafbeeldingen van de encoder, de PTS- en DTS-waarden van elk frame en de volgorde van decodering en weergave van elk frame van het beeld door de decoder.
In tabel 1 vormen 13 beeldframes een groep beelden, het eerste frame I-frame maakt gebruik van intra-frame codering, de tweede en derde B-frames worden verkregen door bidirectionele voorspelling van het eerste en vierde frame, en het vierde frame P-frame is gepasseerd door het eerste frame. Afgeleid van voorwaartse voorspelling. Na het coderen van het eerste frame, buffert de encoder eerst het tweede en derde frame, codeert het vierde frame en codeert vervolgens het tweede en derde frame, enzovoort, en de uiteindelijke gecodeerde uitvoerreeks wordt getoond in de getoonde tabel 2.
Uit tabel 3 en tabel 4 blijkt dat wanneer de decoder een bepaalde toegangseenheid ontvangt die een I-framebeeld bevat, het bestandsgegevenspakket DTS en PTS moet bevatten, de tijd tussen de waarden van deze twee tags. Het interval is één beeld periode. Nadat het I-framebeeld het P-frame is, moet er ook een DTS en een PTS in het bestandsgegevenspakket zijn en is het tijdsinterval tussen de waarden van de twee tags drie beeldperioden. Dan zijn er twee B-frames, waarvan de bestandsdatapakketten alleen PTS bevatten. Dat wil zeggen, het I-framebeeld zal worden afgespeeld en weergegeven na een vertraging van één frame na decodering. Wanneer het I-frame wordt weergegeven, wordt het vierde frame P-frame gedecodeerd, maar het wordt niet afgespeeld en weergegeven. Het wordt eerst in de cache opgeslagen en nadat het 1I-frame is afgespeeld en weergegeven, worden 2B-frames onmiddellijk gedecodeerd en weergegeven, vervolgens 3B-frames, vervolgens de gebufferde 4P-frames weergegeven en tegelijkertijd de 7P-frames gedecodeerd en gebufferd, enzovoort. Het is te zien dat de volgorde van gedecodeerde en weergegeven afbeeldingen consistent is met de volgorde van invoer van afbeeldingen in Tabel 1.
Timingprincipe van decoder (set-top box)
PTS en DTS zijn slechts 33b waarden. Als er geen verwijzing is naar de tijdas die wordt weergegeven door PCR, heeft deze waarde geen betekenis. Om de juiste decodering te behouden, moeten de systeemklokken van de encoder en decoder (settopbox) vergrendeld blijven, dat wil zeggen dat hun frequenties hetzelfde blijven en dat de beginwaarden van hun respectievelijke tellers hetzelfde zijn.
In de decoder (settopbox) zit een spanningsgestuurde oscillator (VCO) met een frequentie van ongeveer 27MHz. Het uitgangssignaal wordt naar de teller gestuurd als de systeemklok om de huidige STC-monsterwaarde te genereren, wat een waarde is van 42b zoals PCR. Onder hen is de hoge 33b de telwaarde in de eenheid van 27 MHz klok na 300 roze frequentie, en de lage 9b is de telwaarde in de eenheid van 27 MHz klok. Wanneer een nieuw programma arriveert bij de decoder (set-top box), verkrijgt de decoder (set-top box) de PCR-waarde van de codestroom, vergelijkt zijn PCR_Extention-waarde met de onderste 9b bits van de huidige STC en verkrijgt de fout signaal, en gaat dan door het circuit met fasevergrendelde lus. Pas de spanningsgestuurde oscillator zo aan dat de systeemklokfrequentie van de decoder (settopbox) consistent is met de systeemklokfrequentie van de encoder. Haal de PTS- en DTS-waarden van elk frame achtereenvolgens uit de codestroom en vergelijk ze met de hoge 33b-bits van de huidige STC-waarde. Als de DTS-waarde groter is dan de STC-waarde, wordt de codestroom gebufferd en wordt tegelijkertijd de wijziging van de STC-waarde gecontroleerd. Wanneer de STC-waarde toeneemt tot gelijk aan de DTS-waarde, wordt de framecodestroom gedecodeerd. Als de STC-waarde gelijk is aan de PTS-waarde, speelt u het frame af. Als vanwege de buffervertragingsjitter van het transmissienetwerk, wanneer de codestroom de decoder (set-top box) bereikt, de PTS-waarde al lager is dan de STC-waarde, dan slaat de decoder (set-top box) dit frame over en verwijdert de framegegevens. Aangezien PTS en DTS worden gegenereerd op basis van de PCR-waarde, moet de eerste verkregen PCR-waarde worden gebruikt als de initiële waarde om de STC-teller van de decoder (set-top box) in te stellen om hun waarden hetzelfde te maken, anders wordt de tijdbasis zal anders zijn. , Dus decodeerfout. De verwerking van audio en video is vergelijkbaar, maar er is geen probleem met herschikking van de timing. Figuur 5 toont het werkingsprincipe van de decoder (set-top box) PCR.
Redenen voor niet-gesynchroniseerde audio en video
In praktische toepassingen veroorzaken sommige encoders jitter in hun uitgangsklok vanwege de onstabiele tijdbasis van het ingangsvideosignaal en is het framesynchronisatie-interval niet 40 ms. Voor deze encoders wordt, na het instellen van de initiële DTS-waarde volgens PCR en buffervertraging, de DTS-waarde van elk frame verkregen door een vaste waarde toe te voegen aan de vorige DTS (deze waarde kan als volgt worden berekend: 27MHz wordt gedeeld door 300 Het is 90kHz en PAL TV is 25 frames per seconde. Daarom is de waarde 90000/25=3600) en wordt de PTS-waarde berekend op basis van het frametype en het GOP-type. De PCR-waarde nam in deze periode echter niet toe met 3600, waardoor DTS en PTS groter of kleiner werden ten opzichte van PCR. Sommige decoders (settopboxen) gebruiken geen spanningsgestuurde oscillator en hun systeemklok is een vaste 27 MHz, maar gebruikt de ontvangen PCR-waarde om de waarde van de lokale systeemklokteller te initialiseren. De encoder en de decoder (set-top box) kunnen geen strikte vergrendeling behouden, waardoor de decoder (set-top box) frames kan laten vallen. Sommige decoders (settopboxen) decoderen en weergeven niet langer strikt volgens DTS en PTS na frameverlies, maar decoderen volgens de situatie van de buffer, omdat de vertraging van video- en audiocodering verschillend is, kan dit audio veroorzaken Het schilderij loopt niet synchroon.
Bovendien is het mogelijk dat tijdens het transmissieproces van de encoder naar de decoder (set-top box) de transmissievertraging van PCR-pakketten, vanwege de aanwezigheid van variabele vertragingsbufferverbindingen zoals multiplexers en modulators, niet constant is, variërend van groot tot klein. Als PCR niet wordt gecorrigeerd, kunnen de bovenstaande problemen ook optreden.
op te sommen
Uit de bovenstaande analyse blijkt dat zowel de encoder als de decoder (set-top box) asynchronisatie van audio en video kunnen veroorzaken. Na het testen van de encoders van verschillende merken, koos ons station een encoder met betere testindicatoren en verving de originele encoder, wat het fenomeen dat de tv-audio en het beeld niet synchroon liepen aanzienlijk verbeterde. In de volgende stap van de introductie van settopboxen zullen netwerkbedrijven ook het testen van relevante indicatoren versterken om de kwaliteit van kijkcijfers te verbeteren. Natuurlijk hebben we bij het voortschrijden van de digitalisering van de radio en televisie in mijn land nog steeds de gezamenlijke inspanningen van onze televisiewerkers en fabrikanten van apparatuur nodig om eindelijk een volledig succes te bereiken.v
Onze andere producten:
