[컴퓨터망] Multimedia (ex. 동영상 볼 때)

복습하기 위해 학부 수업 내용을 필기한 내용입니다.
이해를 제대로 하지 못하고 정리한 경우 틀린 내용이 있을 수 있습니다.
그러한 부분에 대해서는 알려주시면 정말 감사하겠습니다.

▶Introduction

• 아래 그림에 표시된 것처럼 오디오 및 비디오 서비스를 크게 세 가지 범주로 나눌 수 있다.
• Streaming stored audio/video(녹방), Streaming live audio/video(생방) 및 Interactive audio/video다.
• 스트리밍은 다운로드가 시작된 후 사용자가 파일을 청취(또는 시청)할 수 있음을 의미한다.

Internet audio/video

Streaming stored audio/video은 압축된 오디오/비디오 파일에 대한 주문형 요청을 말한다.
Streaming live audio/video은 인터넷을 통해 라디오와 TV 프로그램을 방송하는 것을 말한다.
Interactive audio/video는 대화형 오디오/비디오 응용 프로그램에 인터넷을 사용하는 것을 말한다.

 

▶Digitizing Audio and Video

• 오디오나 비디오 신호가 인터넷으로 전송되기 전에, 그것들은 디지털화될 필요가 있다. 
• 우리는 오디오와 비디오를 따로 봐야 한다.
• Digitizing Audio
• Digitizing Video

인터넷을 통해 동영상을 전송하려면 압축이 필요하다.
왜냐하면 원본을 그대로 보내면 너무 크기 때문에 실시간으로 전송하기 힘들기 때문이다.

 

▶Audio and Video Compression

• 인터넷을 통해 오디오 또는 비디오를 보내려면 압축이 필요하다. 
• Audio Compression
• Video Compression : JPEG(image), MPEG(video)
  • JPEG : Joint Photograph Experts Group
  • MPEG : Moving Picture Experts Group

JPEG gray scale

JPEG process

Case 1: uniform gray scale

Case2: two sections

color가 양이 많이 필요하다.

Case 3 : gradient gray scale

Reading the table

MPEG frames

MPEG frame construction (이미지만 압축)

 

▶Streaming Stored Audio/Video

• 웹 서버에서 이러한 유형의 파일을 다운로드하는 것은 다른 유형의 파일을 다운로드하는 것과 다를 수 있다. 
• First Approach : Using a Web Server
  • 홈페이지
• Second Approach : Using a Web Server with Metafile
• Third Approach : Using a Media Server
  • 별도 구축
• Fourth Approach : Using a Media Server and RTSP
  • RTSP : Real Time Streaming Protocol

Using a Web server

Using a Web server with a metafile

Using a media server

Using a media server and RTSP

 

▶Streaming Live Audio/Video

• Streaming live audio/video은 라디오 및 TV 방송국에 의한 오디오/비디오 방송과 유사하다. 
• 방송국은 공중파 방송 대신 인터넷을 통해 방송한다. 
• Streaming Stored Audio/Video과 Streaming live audio/video 사이에는 몇 가지 유사점이 있다. 
• 둘 다 지연에 민감하며, 둘 다 재전송을 받아들일 수 없다. 
• 하지만 차이점이 있다. 
• 첫 번째 통신은 유니캐스트이며 주문형이다. 
• 두 번째 통신은 멀티캐스트이고 라이브이다.

 

▶Real-time Interactive Audio/Video

• real-time Interactive audio/video에서 사람들은 실시간으로 서로 의사소통한다. 
• 인터넷 전화 또는 VoIP는 이러한 유형의 응용 프로그램의 한 예이다. 
• 화상회의는 사람들이 시각적이고 구두로 의사소통을 할 수 있게 해주는 또 다른 예이다.

Time relationship

Jitter

 

Jitter는 패킷 간의 지연에 의해 실시간 데이터에 도입된다.
buffering을 두고 처음부터 조금씩 늦게 play 된다.
Jitter는 delay jitter 혹은 delay variation이라고 부른다.

Timestamp

Jitter를 방지하기 위해 패킷 타임스탬프를 찍고 도착 시간과 재생 시간을 구분할 수 있다.

Playback buffer

실시간 트래픽에는 playback buffer가 필요하다.

실시간 트래픽에는 각 패킷의 시퀀스 번호가 필요하다.
실시간 트래픽은 멀티캐스팅의 지원이 필요하다.
변환은 수신 네트워크의 대역폭과 일치하도록 payload의 인코딩을 낮은 품질로 변경하는 것을 의미한다.
Mixing(오디오와 비디오를 합치기)은 여러 트래픽 스트림을 하나의 스트림으로 결합하는 것을 의미한다.

TCP는 매우 정교하지만, 패킷의 재전송을 허용할 수 없기 때문에 interactive multimedia traffic에는 적합하지 않다.
UDP는 TCP보다 interactive traffic에 더 적합하다.
그러나, 우리는 UDP의 결함을 보완하기 위해 또 다른 transport layer 프로토콜인 RTP의 서비스가 필요하다.

 

▶RTP

• Real-time Transport Protocol(RTP)은 인터넷에서 실시간 트래픽을 처리하기 위해 설계된 프로토콜이다. 
• RTP에는 전송 메커니즘(멀티캐스트, 포트 번호 등)이 없으므로 UDP와 함께 사용해야 한다. 
• RTP는 UDP와 응용 프로그램 사이에 있다. 
• RTP의 주요 기여는 타임스탬프, 시퀀싱 및 혼합 기능이다.

RTP packet header format

RTP(보내는 정보)는 임시 짝수 UDP port를 사용한다.

 

▶RTCP

• RTP는 source에서 destination으로 데이터를 전송하는 메시지 유형을 하나만 허용한다. 
• 대부분의 경우 세션에서 다른 메시지가 필요하다. 
• 이러한 메시지는 데이터의 흐름과 품질을 제어하고 수신자가 소스 또는 소스로 피드백을 보낼 수 있도록 한다. 
• Real-Time Control Protocol(RTCP)은 이러한 목적을 위해 설계된 프로토콜이다.

RTCP message types

RTCP는 RTP에 대해 선택한 port 번호 뒤에 오는 홀수 번호 UDP port 번호를 사용한다.
RTP + 1 = RTCP

 

▶Voice Over IP (인터넷 전화 : 대화형)

• Voice over IP 또는 인터넷 전화와 같은 하나의 real-time interactive audio/video 응용 프로그램에 집중한다. 
• 이 아이디어는 인터넷을 몇 가지 추가 기능을 갖춘 전화 네트워크로 사용하는 것이다. 
• 회선 교환 네트워크를 통해 통신하는 대신, 패킷 교환 인터넷을 통해 두 당사자 간의 통신을 허용한다. 
• 이러한 유형의 통신을 처리하기 위해 SIP와 H.323 프로토콜이 설계되었다. 
• SIP
• H.323

 

▶Quality of Service (QoS)

• 서비스 품질(QoS)은 정의된 것보다 더 많이 논의된 인터넷 작업 문제이다. 
• 우리는 데이터의 흐름이 달성하고자 하는 것으로서 서비스 품질을 비공식적으로 정의할 수 있다.
•  QoS는 텍스트 데이터와 멀티미디어 모두에 적용될 수 있지만, 우리가 멀티미디어를 다룰 때 더 큰 문제이다.