Se Manifestem Desenvoldedores de Proxy/cache.

Ir em baixo

Se Manifestem Desenvoldedores de Proxy/cache.

Mensagem  lanternaverde em Sex 19 Abr - 12:05

Youtube - problemas técnicos para cache

Bom, a noticia não é boa.

O youtube vem mexendo no que não deve faz muito tempo. Dessa vez a coisa desandou.

Até poucas semanas atras, os videos possuíam identificadores hexadecimais de 16 bytes (a-f, 0-9), quando um video era solicitado pela segunda vez, bastava encontrar o arquivo no cache por meio do identificador e envia-lo ao cliente. Era assim que o cache do youtube funcionava.

Agora, os videos estão usando identificadores dinâmicos com um HASH alfanuméricos de 46 bytes. Ao solicitar o mesmo video, as requisições posteriores enviam um HASH diferente mas que faz referencia ao mesmo video.

Essa técnica impossibilita identificar se o video já está em cache, logo não há como fazer cache.

Atualmente há videos rodando com identificadores velhos (16 bytes hexa) que ficam em cache, mas os novos videos não ficam em cache, mesmo que repita centenas de vezes, pois o identificador com o novo HASH nunca se repete.

Soluções que estou investigando:
- uma forma de descobrir se o HASH é uma criptografia dinamica do identificador estático
- se há uma forma de identificar o video por meio de outra informação
- se há uma forma de obter o identificador pelo HASH

Se não houver uma forma, nenhum cache NO MUNDO (supercache, speedr, thundercache, maracache, etc...) conseguirá fazer cache do youtube.

Embora a economia provida pelas centenas de outros sites viabilize o uso do cache, a falta de economia pelo youtube é lamentável.

Fonte : http://www.myauth.com.br/index.php?option=com_yanswers&task=readquestion&qid=1732
avatar
lanternaverde
Colaborador Iniciante
Colaborador Iniciante

Mensagens : 16
Pontos : 2143
Reputação : 0
Data de inscrição : 01/04/2013
Idade : 39

Ver perfil do usuário

Voltar ao Topo Ir em baixo

Re: Se Manifestem Desenvoldedores de Proxy/cache.

Mensagem  Marcio Marques em Sex 19 Abr - 14:03

Esta questão de vídeos eu vejo pelo lado de quem tem acima de 3.000 clientes e usa um cache , e mesmo assim , com 3.000 clientes ainda penso em cálculos de probabilidade , pois desde que comecei a estudar sobre o mesmo, eu bato na mesma tecla , não há uma probabilidade que influencie no uso do mesmo pensando em economia de vídeos quando implantamos cache em nossos pequenos provedores.
A probabilidade de um usuário assistir o mesmo vídeo que outro usuário assistiu é 0,0001% a não ser que seja por exemplo os principais do youtube , porém mesmo assim não vejo necessidade .
Bom em minha opinião o servidor cache deve ser aplicado pensando em outros inúmeros fatores para nossos provedores.

Abraço !

_________________
Analista de Sistemas e Consultoria para Provedores de Internet
avatar
Marcio Marques
ADMINISTRADOR FUNDADOR
ADMINISTRADOR FUNDADOR

Mensagens : 1226
Pontos : 105122
Reputação : 3215
Data de inscrição : 02/02/2012
Idade : 47
Localização : Belo Horizonte

Ver perfil do usuário http://marquescsh.blogspot.com

Voltar ao Topo Ir em baixo

Re: Se Manifestem Desenvoldedores de Proxy/cache.

Mensagem  luiz biazus em Sex 19 Abr - 15:01

isso é uma inverdade, mais tudo bem o choro é livre, corrigimos isso ANTES do problema ser detectado desde o dia 4 como pode ver aqui:

http://www.overnix.com/showthread.php?8100-ThunderCache-Bin%E1rio-957-Painel-de-Controle-v1-2-1

na realidade com o smart plugins fica simples fazer quase qualquer coisa, nosso sistema é muito inteligente :-)

Mas sim o Thunder HOJE é o unico cache nacional e um dos únicos internacionais que faz cache do youtube 100%, pode gritar aos 4 ventos :-)

Para nós isso é ótimo pra tirar o "ruido" do mercado de caches, e tornar nossa comunidade cada vez mais forte :-)


avatar
luiz biazus
MODERADOR
MODERADOR

Mensagens : 43
Pontos : 2245
Reputação : 1
Data de inscrição : 10/01/2013
Idade : 35
Localização : Passo Fundo - RS

Ver perfil do usuário

Voltar ao Topo Ir em baixo

Re: Se Manifestem Desenvoldedores de Proxy/cache.

Mensagem  mjr88 em Sex 19 Abr - 15:59

Márcio, eu tenho um cliente que usa o Thunder só pra youtube pq a maquina dele não aguenta todo o trafego (passa de 1,4Gbps). O trafego só de youtube dele é na faixa de 250 a 300Mbps. Só usando youtube, fica cerca de 1000 clientes toda hora. Sabe qual a economia dele? 50%.

Toda hora tá entrando 150Mbps e saindo de 250 a 300Mbps só de youtube pra rede dele. E tem uma coisa: ele não faz cache full, tudo na velocidade contratada.

É só ver que os videos mais acessados tem milhões de visualizações, então é sim totalmente possível um vídeo ser visto várias vezes por vários clientes.


Sobre a notícia, a gente já sabia que um dia ia acontecer. Felizmente, a estrutura que o Thunder tem hoje é muito boa, e permite muitas coisas. O binário que o Luiz disse, na verdade, só corrigiu o tratamento do audio que agora vem separado. O cacheamento do vídeo em si não teve alterações e VOCÊ PODE PEGAR UM BINÁRIO DE 6 MESES ATRÁS e colocar rodar que vai cachear os vídeos de hoje sem nenhum problema.

_________________
Mário Jr.
ThunderCache 7.1 Developer | mario@bmsoftware.org

mjr88
MODERADOR
MODERADOR

Mensagens : 49
Pontos : 2240
Reputação : 0
Data de inscrição : 16/01/2013

Ver perfil do usuário

Voltar ao Topo Ir em baixo

Re: Se Manifestem Desenvoldedores de Proxy/cache.

Mensagem  Marcio Marques em Sex 19 Abr - 16:22

mjr88 escreveu:É só ver que os videos mais acessados tem milhões de visualizações, então é sim totalmente possível um vídeo ser visto várias vezes por vários clientes.

Está corretíssimo , isto foi exatamente o que citei em meu primeiro post , " Vídeos mais assistidos " , com certeza estes vídeos mais vistos e ainda por cima sendo compartilhados entre redes sociais dentro da própria região serão acessamos centenas de vezes no cache .
Minha afirmação sobre probabilidade é apenas em vídeos diversos.

_________________
Analista de Sistemas e Consultoria para Provedores de Internet
avatar
Marcio Marques
ADMINISTRADOR FUNDADOR
ADMINISTRADOR FUNDADOR

Mensagens : 1226
Pontos : 105122
Reputação : 3215
Data de inscrição : 02/02/2012
Idade : 47
Localização : Belo Horizonte

Ver perfil do usuário http://marquescsh.blogspot.com

Voltar ao Topo Ir em baixo

Re: Se Manifestem Desenvoldedores de Proxy/cache.

Mensagem  netteras em Sex 19 Abr - 16:48

mjr88 escreveu:Sabe qual a economia dele? 50%.

Fugindo um pouco do tema do tópico , gostaria de tecer uma crítica construtiva companheiro , caso não seja o local adequado podem me avisar que crio um tópico .
Os desenvolvedores de cache deveriam discriminar sobre este percentual de economia de uma forma diferente, pois partindo do princípio que afirmam uma economia de 50 %, se eu tinha um link de 10 megas antes de implantar o cache e após ele implantado está me fornecendo uma economia de 50% pressupõe-se que posso então desligar 5 megas.
Repetindo , apenas uma crítica construtiva .

_________________
Diga sempre o que precisa ser dito pois assim as palavras não se perdem.
avatar
netteras
Colaborador Iniciante
Colaborador Iniciante

Mensagens : 19
Pontos : 2129
Reputação : 0
Data de inscrição : 12/04/2013

Ver perfil do usuário

Voltar ao Topo Ir em baixo

Re: Se Manifestem Desenvoldedores de Proxy/cache.

Mensagem  mjr88 em Sex 19 Abr - 17:04

netteras escreveu:
mjr88 escreveu:Sabe qual a economia dele? 50%.

Fugindo um pouco do tema do tópico , gostaria de tecer uma crítica construtiva companheiro , caso não seja o local adequado podem me avisar que crio um tópico .
Os desenvolvedores de cache deveriam discriminar sobre este percentual de economia de uma forma diferente, pois partindo do princípio que afirmam uma economia de 50 %, se eu tinha um link de 10 megas antes de implantar o cache e após ele implantado está me fornecendo uma economia de 50% pressupõe-se que posso então desligar 5 megas.
Repetindo , apenas uma crítica construtiva .

Aí é que tá, amigo. Muitos fazem confusão com isso. Economia não tem a ver com velocidade de link. Eficiência sim. A economia é baseada no trafego que passou no servidor, e não em quanto você consegue baixar o uso do seu link (apesar de estarem interligados). A velocidade do link é baseado em eficiência, e essa eu posso até aumentar fazendo cache full, facilmente.

Lembra que eu disse que deu 50% de economia somente com o youtube. Se colocasse o trafego geral, provavel que iria baixar, pois aí entra muito trafego que não é cacheado e tem que entrar na conta.

_________________
Mário Jr.
ThunderCache 7.1 Developer | mario@bmsoftware.org

mjr88
MODERADOR
MODERADOR

Mensagens : 49
Pontos : 2240
Reputação : 0
Data de inscrição : 16/01/2013

Ver perfil do usuário

Voltar ao Topo Ir em baixo

Re: Se Manifestem Desenvoldedores de Proxy/cache.

Mensagem  luiz biazus em Sex 19 Abr - 17:06

esse era o caso de 1 cliente que passa só youtube e tem 50% de economia (no youtube), se fosse o caso daria pra desligar sim se se manter nessa média, que é extremamente alta.
avatar
luiz biazus
MODERADOR
MODERADOR

Mensagens : 43
Pontos : 2245
Reputação : 1
Data de inscrição : 10/01/2013
Idade : 35
Localização : Passo Fundo - RS

Ver perfil do usuário

Voltar ao Topo Ir em baixo

Re: Se Manifestem Desenvoldedores de Proxy/cache.

Mensagem  Marcio Marques em Sex 19 Abr - 17:12

Bom meu amigo lanternaverde , o Thunder já veio e deu suas devidas explicações , gostaria muito que os outros desenvolvedores de cache também o fizessem, pois nosso fórum está de portas abertas a todos , porém não o fazem , a meu ver é por isto que estão perdendo cada vez mais mercado ,pois sentam em seus tronos e não compartilham devidamente seu reinado.

Vlw !

_________________
Analista de Sistemas e Consultoria para Provedores de Internet
avatar
Marcio Marques
ADMINISTRADOR FUNDADOR
ADMINISTRADOR FUNDADOR

Mensagens : 1226
Pontos : 105122
Reputação : 3215
Data de inscrição : 02/02/2012
Idade : 47
Localização : Belo Horizonte

Ver perfil do usuário http://marquescsh.blogspot.com

Voltar ao Topo Ir em baixo

Re: Se Manifestem Desenvoldedores de Proxy/cache.

Mensagem  rogeriodj em Sex 19 Abr - 19:13

Marcio Marques escreveu:Bom meu amigo lanternaverde , o Thunder já veio e deu suas devidas explicações , gostaria muito que os outros desenvolvedores de cache também o fizessem, pois nosso fórum está de portas abertas a todos , porém não o fazem , a meu ver é por isto que estão perdendo cada vez mais mercado ,pois sentam em seus tronos e não compartilham devidamente seu reinado.

Vlw !

Pode ficar tranquilo, pois so o thunder tem peito, o resto é resto!!

rogeriodj
Especialista
Especialista

Mensagens : 19
Pontos : 2230
Reputação : 0
Data de inscrição : 02/01/2013

Ver perfil do usuário

Voltar ao Topo Ir em baixo

Re: Se Manifestem Desenvoldedores de Proxy/cache.

Mensagem  Conteúdo patrocinado


Conteúdo patrocinado


Voltar ao Topo Ir em baixo

Voltar ao Topo

- Tópicos similares

 
Permissão deste fórum:
Você não pode responder aos tópicos neste fórum