Netflix and AWS

https://aws.amazon.com/ko/blogs/security/introducing-first-video-new-series-verified-featuring-netflix-jason-chan/

Introducing the first video in our new series, Verified, featuring Netflix’s Jason Chan | Amazon Web Services

---

 

Netfilx

moving to AWS in 2009 

2008년, 자사 데이터센터에 관계형 데이터베이스를 구동 중이던 넷플릭스는 데이터센터 문제로 전체 서비스가 다운되고 3일 동안이나 DVD 배송이 중단된 일이 있었다. 

 

넷플릭스에 주어진 선택지는 2가지였다. 넷플릭스를 월드 클래스 데이터센터 오퍼레이션 기업으로 혁신하거나, 아니면 퍼블릭 클라우드로 서비스를 이전하는 것이다.

당시 넷플릭스는 무척 빠르게 성장하는 기업이었다. 그때 당시에도 수천 편의 영상과, 수백 만 명의 고객들이 어마어마한 양의 데이터를 생성해 내고 있었다. 자체적인 데이터센터를 통해 이처럼 하늘 높은 줄 모르고 증가하는 볼륨을 감당하기에는 무리라는 판단이 들었다. 클라우드로 이전할 경우 수천 개 이상의 가상 서버를 추가하고, 수 분 이내로 페타바이트 단위의 스토리지를 담을 수 있었다. 누가 봐도 클라우드로의 이전이 합리적인 선택이었다.

 

얼마 지나지 않아 넷플릭스는 아마존 웹 서비스의 대표 고객이 되었다. AWS를 선택한 이유는 확장성과 다양한 서비스 및 기능을 제공했기 때문이었다.

 

넷플릭스가 클라우드로의 이전을 완전히 끝내기까지는 7년이란 시간이 걸렸다. 

2016년에는 마지막 데이터센터까지도 문을 닫았다. 기존 데이터센터를 대신하여 이제는 클라우드 인프라스트럭처가 고객 정보에서 추천 알고리즘에 이르기까지, 넷플릭스의 모든 컴퓨팅 및 스토리지 니즈를 담당하고 있다.

 

---

Netfilx의 UI/UX 

• Auto-Generation and Personalization of Thumbnails / Artwork 

Using thousands of video frames from an existing movie or show as a starting point for thumbnail generation, Netflix annotates these images then ranks each image in an effort to identify which thumbnails have the highest likelihood of resulting in your click. These calculations are based on what others who are similar to you have clicked on. One finding could be that users who like certain actors / movie genres are more likely to click thumbnails with certain actors/image attributes.

 

썸네일 생성의 시작점으로 기존 영화 또는 쇼의 수천 개의 비디오 프레임을 사용하여, 넷플릭스는 클릭의 결과가 될 가능성이 가장 높은 썸네일을 식별하기 위해 각 이미지의 순위를 매깁니다. 이러한 계산은 사용자와 유사한 다른 사용자가 클릭한 것을 기반으로 합니다. 한 가지 발견은 특정 배우/영화 장르를 좋아하는 사용자가 특정 배우/이미지 속성을 가진 썸네일을 클릭할 가능성이 더 높다는 것입니다.

---

Processing the contents according to profiles

Transcoding is the process that converts a video file from one format to another, to make videos viewable across different platforms and devices.

트랜스코딩은 비디오 파일을 한 형식에서 다른 형식으로 변환하여 여러 플랫폼과 장치에서 비디오를 볼 수 있도록 하는 프로세스입니다.

 

Whys do we need to do it? why can’t we just play the source video?

왜 트랜스코딩을 해야하는 것일까? 그냥 원본 영상을 재생하는 것은 안될까?

 

The original movie/video comes in a high definition format that’s many terabytes in size. Also, Netflix supports 2200 different devices. Each device has a video format that looks best on that particular device. If you’re watching Netflix on an iPhone, you’ll see a video that gives you the best viewing experience on the iPhone.

원본 영화/비디오는 수 테라바이트 크기의 고화질 포맷으로 제공됩니다. 또한 넷플릭스는 2200개의 다양한 장치를 지원합니다. 각 장치에는 해당 장치에 가장 잘 어울리는 비디오 포맷이 있습니다. 아이폰으로 넷플릭스를 시청하고 있다면 아이폰에서 최고의 시청 경험을 제공하는 비디오를 볼 수 있습니다.

 

Netflix also creates files optimized for different network speeds. If you’re watching on a fast network, you’ll see the higher quality video than you would if you’re watching over a slow network.

Netflix는 또한 다양한 네트워크 속도에 최적화된 파일을 생성합니다. 빠른 네트워크에서 시청하는 경우 느린 네트워크에서 시청하는 것보다 더 높은 품질의 비디오를 볼 수 있습니다.

 

And also depends on your Netflix plan. that said Netflix does create approximately 1,200 files for every movie !!!!

Netflix는 모든 영화에 대해 약 1,200개의 파일을 생성한다고 합니다!!!!

 

That’s a lot of files and processing to do transcoding Now we have all the files we need to stream it. OC Open connect comes in to picture, OC is Netflix own CDN no third-party CDN.

트랜스코딩을 수행하기 위한 많은 파일과 처리 작업이 필요합니다. 이제 스트리밍에 필요한 모든 파일이 준비되었습니다. OC Open connect가 사진에 나타납니다. OC는 Netflix 자체 CDN이며 타사 CDN은 없습니다.

---

CDN for Netflix (not in the AWS)

CDN — A content delivery network (CDN) is a system of distributed servers (network) that deliver pages and other Web content to a user, based on the geographic locations of the user, the origin of the webpage and the content delivery server.
콘텐츠 전송 네트워크(CDN)는 사용자의 지리적 위치, 웹 페이지의 원본 및 콘텐츠 전송 서버를 기반으로 페이지 및 기타 웹 콘텐츠를 사용자에게 전달하는 분산 서버(네트워크) 시스템입니다.

 

The first CDN was too small: In 2007, when Netflix debuted its new streaming service, it had 36 million members in 50 countries,watching more than a billion hours of video each month, streaming multiple terabits of content per second.To support the streaming service, Netflix built its own simple CDN in five different locations within the United States.The Netflix video catalog was small enough at the time that each location contained all of its content.

2007년 넷플릭스가 새로운 스트리밍 서비스를 시작했을 때 50개국에서 3,600만 명의 회원이 있었고 매달 10억 시간 이상의 비디오를 시청하며 초당 수 테라비트의 콘텐츠를 스트리밍했습니다. 스트리밍 서비스를 지원하기 위해 넷플릭스는 미국 내 5개의 다른 위치에 자체적인 간단한 CDN을 구축했습니다. 넷플릭스 비디오 카탈로그는 당시에는 크기가 충분히 작아서 각 위치에 모든 콘텐츠가 포함되어 있었습니다.

 

The second CDN’s were too big: In 2009, Netflix decided to use 3rd-party CDN’s. Around this time, the pricing for 3rd-party CDN’s was coming down. Netflix contracted with companies like Akamai, Limelight, and Level 3 to provide CDN services. Even in the face of errors, overloaded networks, and overloaded servers, Netflix wants members always viewing the best picture possible. Netflix thought it could do better by developing it’s own CDN.

2009년에 Netflix는 3rd-party CDN(콘텐츠 전송 네트워크)를 사용하기로 결정했습니다. 이때 3rd-party CDN의 가격이 내려오고 있었습니다. Netflix는 Akamai, Limelight, 그리고 Level 3과 같은 기업들과 계약을 맺어 CDN 서비스를 제공받았습니다. 오류, 네트워크 과부하, 서버 과부하와 같은 문제에 직면하더라도 Netflix는 회원들이 항상 최상의 화질을 감상할 수 있기를 원했습니다. Netflix는 자체 CDN을 개발함으로써 더 나은 성능을 기대했습니다.

 

Open Connect was just right: In 2011, Netflix realized at its scale it needed a dedicated CDN solution to maximize network efficiency.

 

It had great advantages:

• Less expensive. 3rd-party CDN’s are expensive. 
• Better quality. By controlling the entire video path — transcoding, CDN, clients on devices — Netflix reasoned it could deliver a superior video viewing experience.
• More scalable. (확장성)  Netflix has the goal of providing service everywhere in the world.

Netflix knows exactly who its users are because they must subscribe to Netflix. Netflix knows exactly which videos it needs to serve. Just knowing it only has to serve large video, streams allows Netflix to make a lot of smart optimization choices other CDN’s can’t make.With this kind of knowledge, Netflix built a really high-performing CDN.

(preferences and locaiton)

Netflix는 사용자들이 Netflix에 가입해야 하기 때문에 이들에 대해 정확히 파악합니다. 또한 어떤 비디오를 제공해야 하는지도 정확하게 파악합니다. 큰 비디오 스트림만 제공하면 되는 사실만으로도 Netflix는 다른 CDN에서 할 수 없는 많은 스마트 최적화 선택을 할 수 있습니다. 이런 종류의 지식을 토대로 Netflix는 매우 뛰어난 성능을 가진 CDN을 구축했습니다.

 

+)

넷플릭스가 2012년 구축한 오픈 커넥트는 소비자가 넷플릭스와 같은 서비스를 사용하기 위해 인터넷 비용을 지불하는 ISP에 무상으로 제공하는 프로그램이다. 현재 한국을 포함한 전 세계 1000개 이상의 ISP에 제공되고 있다.

이른바 '새벽 콘텐츠 배송'이라고 할 수 있다. ISP의 네트워크에 캐시서버를 설치하고 회원들이 자주 시청하는 콘텐츠를 새벽 시간대에 미리 저장해두는 방식이다. 넷플릭스 회원과 가까운 곳에 저장해둔 콘텐츠를 스트리밍하기 때문에 넷플릭스로 인해 발생하는 트래픽을 현저히 낮추고, 먼 거리로 데이터를 전송하는 비용을 절감해준다. 더 빠른 속도로 고품질의 영상을 제공할 수 있다.

넷플릭스 오픈 커넥트의 장점은 엔터테인먼트 스트리밍 서비스의 특징에서 찾아볼 수 있습니다. 넷플릭스 회원들은 콘텐츠를 업로드하거나 인터넷 방송을 진행하는 것이 아닌, 넷플릭스가 보유하고 있는 콘텐츠를 스트리밍해 즐기는 '한 방향' 형태로 서비스를 제공합니다. 또 국가별로 어느 시간대에, 어떠한 콘텐츠를 회원들이 많이 시청할지 미리 '예측'할 수 있습니다. 예를 들어 새롭게 론칭한 '킹덤' 시즌2 등 특정 인기 콘텐츠를 시청하는 회원 수요를 고려해 미리 대비할 수 있습니다.

 

넷플릭스는 오픈 커넥트 프로그램 관련 하드웨어, 소프트웨어 등 지원 일체를 ISP에 무상 지원하고 있습니다. 불필요한 별도의 비용 없이 데이터 트래픽을 현격히 줄일 수 있어, 한국을 비롯한 전 세계 1000여곳이 넘는 ISP들이 오픈 커넥트를 자사 네트워크에 적용 중입니다. ISP의 네트워크에 걸리는 부하는 줄이고, 자사 인터넷 서비스를 통해 넷플릭스를 즐기는 소비자들의 만족도는 높일 수 있기 때문입니다.

---

OCA and Content Caching

Netflix delivers huge amounts of video traffic from thousands of servers in more than 1,000 locations around the world.

Netflix는 전 세계 1,000개 이상의 위치에서 수천 대의 서버를 통해 엄청난 양의 비디오 트래픽을 제공합니다.

 

Other video services, like YouTube and Amazon, deliver video on their own backbone network. These companies literally built their own global network for delivering video to users. That’s very complicated and very expensive to do.

YouTube와 Amazon과 같은 다른 비디오 서비스는 자체 백본 네트워크에서 비디오를 제공합니다. 이러한 회사들은 사용자에게 비디오를 제공하기 위해 글로벌 네트워크를 직접 구축했습니다. 이 작업은 매우 복잡하고 비용이 많이 드는 일입니다.

 

Netflix took a completely different approach to building its CDN.

 

Netflix doesn’t operate its own network; it doesn’t operate its own data centers anymore either. Instead, Internet Service Providers (ISP’s) agree to put OCA’s in their data-centers.

Netflix는 자체 네트워크를 운영하지 않으며 이제는 자체 데이터 센터를 운영하지 않습니다. 대신, 인터넷 서비스 제공업체(ISP)는 자신의 데이터 센터에 OCA(Open Connect Appliance)를 설치하는 것에 동의합니다.

 

Using ISP’s to build a CDN: ISP’s are located all around the world and they’re close to customers. By placing OCA’s in ISP data centers, Netflix is also all over the world, and close to its customers. 

ISP를 이용한 CDN 구축: ISP는 전 세계에 분포되어 있으며 고객에 가깝게 위치합니다. Netflix는 OCA를 ISP 데이터 센터에 배치함으로써 전 세계 어디서나 고객에게 가까이 위치하게 됩니다. 

 

Using IXP’s to build a CDN: An internet exchange location is a data center where ISP’s and CDN’s exchange internet traffic between their networks.IXP’s are located all over the world, hence Netflix doesn’t have to run its own data centers.

IXP를 이용한 CDN 구축: 인터넷 교환 지점(IXP)은 ISP와 CDN이 자신의 네트워크 간에 인터넷 트래픽을 교환하는 데이터 센터입니다. IXP는 전 세계에 위치하므로 Netflix는 자체 데이터 센터를 운영할 필요가 없습니다.

 

Video is proactively cached to OCA’s on daily basis

Netflix uses a process it calls proactive caching to efficiently copy video to OCA’s. Everywhere in the world, Netflix, knows to a high degree of accuracy what its members like to watch and when they like to watch it. 

Netflix는 "Proactive Caching"이라고 하는 프로세스를 사용하여 비디오를 효율적으로 OCA에 복사합니다. Netflix는 전 세계 어디에서나 그 회원들이 어떤 콘텐츠를 보고싶은지, 언제 시청하고 싶어하는지에 대해 높은 정확도로 알고 있습니다. 

 

- Netflix is a data-driven company

Netflix uses its popularity data to predict which videos members probably will want to watch tomorrow in each location. Here, location means a cluster of OCA’s housed within an ISP or IXP. Netflix copies the predicted videos to one or more OCA’s at each location. This is called prepositioning.The video they want to watch is already close to them, ready and available for streaming.

Netflix는 인기 데이터를 사용하여 각 위치(여기서 위치는 ISP 또는 IXP 내에 있는 OCA 클러스터를 의미함)에서 내일 회원이 어떤 비디오를 시청하고 싶어할 것으로 예측합니다. Netflix는 각 위치의 하나 이상의 OCA에 예측된 비디오를 복사합니다. 이를 "선행 배치(prepositioning)"라고 부릅니다. 사용자가 시청하고 싶은 비디오는 이미 가까이에 있으며 스트리밍을 위해 준비되어 있습니다.

 

Netflix operates what is called a tiered caching system.

Every night, each OCA wakes up and asks a service in AWS which videos it should have. The service in AWS sends the OCA a list of videos it’s supposed to have based on the predictions we talked about earlier. If an OCA in the same location has one of the videos it’s supposed to have, then it will copy the video from the local OCA. Otherwise, a nearby OCA with the video will be found and copied.

매일 밤마다, 각 OCA는 AWS(Amazon Web Services)의 서비스에게 가져야 할 비디오 목록을 요청합니다. AWS의 서비스는 이전에 언급한 예측을 기반으로 OCA에게 가져야 할 비디오 목록을 전송합니다. 만약 동일한 위치의 다른 OCA에 이미 가져야 할 비디오가 있다면, 해당 비디오는 지역 OCA로부터 복사됩니다. 그렇지 않은 경우, 해당 비디오를 가진 근처의 OCA에서 찾아서 복사합니다.

 

Since Netflix forecasts what will be popular tomorrow, there’s always a one day lead time before a video is required to be on an OCA. This means videos can be copied during quiet, off-peak hours, substantially reducing bandwidth usage for ISP’s. There’s never a cache miss in Open Connect. The more popular a video, the more servers it will be copied to.

Netflix는 미래의 인기 예측을 토대로 비디오를 사전에 준비하므로, 비디오가 OCA에 있어야 하는 요구일 이전에 항상 하루 여분의 시간이 있습니다. 이는 비디오가 조용한, 오프피크 시간에 복사될 수 있으며, ISP(인터넷 서비스 제공업체)의 대역폭 사용량을 크게 감소시킵니다.

---

What happens when you click Play?

It’s been a long road getting here. We have learned a lot:

Netflix can be divided into three parts: the back-end, the client, and the CDN.

Netflix는 세 가지 부분으로 나뉠 수 있습니다: 백엔드, 클라이언트, 그리고 CDN(콘텐츠 전송 네트워크).

 

All requests from Netflix clients are handled in AWS. 

Netflix 클라이언트로부터의 모든 요청은 AWS에서 처리됩니다.

 

All video is streamed from a nearby Open Connect Appliance (OCA) in the Open Connect CDN.

모든 비디오는 Open Connect CDN의 가까운 Open Connect Appliance (OCA)에서 스트리밍됩니다.

 

Netflix operates out of three AWS regions and can usually handle a failure in any region without members even noticing.

New video content is transformed by Netflix into many different formats so the best format can be selected for viewing based on the device type, network quality.

Netflix는 세 개의 AWS 리전에서 운영하며, 일반적으로 어떤 리전에서 장애가 발생해도 회원들이 거의 알아차리지 않을 정도로 처리할 수 있습니다. 새로운 비디오 콘텐츠는 Netflix에 의해 여러 다양한 형식으로 변환되므로 디바이스 유형 및 네트워크 품질을 고려하여 최적의 형식을 선택하여 시청할 수 있습니다.

 

Every day, over Open Connect, Netflix distributes video throughout the world, based on what they predict members in each location will want to watch.:

매일 Netflix는 Open Connect를 통해 전 세계로 비디오를 배포하며, 각 지역의 회원들이 시청하고 싶어할 것으로 예측한 내용을 기반으로합니다.

 

---

참고 사이트

[아주 쉬운 뉴스 Q&A] 넷플릭스 '오픈 커넥트'가 무엇인가요? | 아주경제

How Netflix Uses AI and Machine Learning

Discovering Creative Insights in Promotional Artwork

How Netflix works to stream a video to it’s users?

How the Cloud and CDN Architecture Works for Netflix

Netflix Strategies for Streaming