Estudo de caso: entrevista com a CyberAgent

Alcançando a “sensação de velocidade” exigida pela CyberAgent com automação por meio da integração via API

Objetivo

Para criar novos produtos e serviços de TI, a CyberAgent precisava de uma forma de preparar servidores de desenvolvimento rapidamente, automatizando a construção de servidores e a configuração do monitoramento.

Requisitos

Sistema de monitoramento capaz de monitorar com alta frequência e alto nível de detalhe, com opções de descoberta automática e configuração automática que permitem usar imediatamente os servidores recém-criados.

Abordagem

O monitoramento com o Zabbix foi implementado aproveitando os recursos de API, templates e descoberta automática.

A construção de servidores e a configuração do monitoramento foram automatizadas com facilidade graças à excelente compatibilidade do Zabbix com a automação.

Resultado

Monitoramento eficiente com mais de 30 Zabbix servers, que monitoram até mais de 20.000 triggers e mais de 60.000 itens.

Suporte a monitoramento multilocatário.

Os processos são automatizados, o que elimina erros e omissões na configuração.

A CyberAgent desenvolve uma ampla gama de negócios baseados na internet, como publicidade na internet, jogos para smartphones e mídia, incluindo o serviço de comunidade “Ameba”, que evoluiu junto com as tendências de uso da internet, como os serviços de avatar e o desenvolvimento para smartphones. No principal campo de batalha da empresa, o mercado da internet, tempo é dinheiro. Neste setor, em que novas ideias são criadas e lançadas todos os dias, a única forma de conquistar um grande número de usuários é desenvolver novos serviços antes dos outros. Por outro lado, qualquer atraso no lançamento de novos serviços significa perder terreno e ter grandes prejuízos em termos de lucro.

A CyberAgent implementa rapidamente serviços alinhados às necessidades do mercado ao promover a automação da construção de servidores, incluindo o monitoramento. O “Zabbix” é um software que desempenha um papel importante nessa atividade.

Não apenas a construção de servidores, mas também a automação da configuração do monitoramento

Sr. Makoto Hasegawa
AdTech Headquarters

A AdTech Headquarters da CyberAgent é uma organização interdepartamental especializada em tecnologia de publicidade (Ad Technology). Ela fornece um grande número de serviços de publicidade com base em um ambiente de nuvem híbrida que combina nuvens privadas, usando a Amazon Web Services (AWS) e o OpenStack, para muitos serviços e produtos, incluindo os de empresas subsidiárias.

Segundo o Sr. Makoto Hasegawa, da AdTech Headquarters, o requisito mais importante para essa base é “a sensação de velocidade”. Como ele explica: “Quando recebíamos pedidos como ‘Vamos lançar um novo serviço, então queremos que vocês preparem um servidor de desenvolvimento o mais rápido possível… não dá para fazer agora?’, não queríamos gastar muito tempo com a construção de servidores ou com a configuração de itens de monitoramento.” O que seria necessário, então, para preparar servidores rapidamente quando preciso, sem gastar muito tempo? A resposta é a “automação” que a empresa busca.

Para alcançar o objetivo de automatizar a configuração de servidores e do monitoramento, a CyberAgent usa o software de código aberto “Chef” para automatizar todo tipo de trabalho de configuração. O Zabbix foi escolhido como a ferramenta para adicionar automaticamente a configuração de itens de monitoramento junto com a construção de servidores pelo Chef, permitindo o uso imediato. Foi criada uma estrutura em que o Zabbix Agent é instalado junto com a construção do servidor, integrando o Chef e o Zabbix via API, com configurações inseridas conforme necessário, dependendo do tipo de servidor.

O Sr. Hasegawa explica: “Para promover a automação, é necessário fazer da construção de servidores uma operação que não exija trabalho manual intensivo. Nesse aspecto, a compatibilidade do Zabbix com a automação foi excelente, pois ele insere todas as configurações flexíveis via API, incluindo a preparação de funções de descoberta, intervalos de monitoramento, itens calculados etc.”

Com isso, foi possível eliminar o processo trabalhoso de uma pessoa verificar visualmente os itens de monitoramento um por um e fazer a configuração. Além disso, o Sr. Hasegawa diz: “Quando configuramos manualmente, erros e omissões na configuração inevitavelmente acontecem. A vantagem da automação é que ela nos permitiu monitorar tudo no mesmo nível.”

Os itens de monitoramento são gerenciados com templates para cada tipo e finalidade de servidor - “Ajuda muito ser fácil de usar”, diz o Sr. Hasegawa. Mas, acrescenta ele, “é necessário fazer o controle de versões dos próprios templates, já que os itens de monitoramento e as alterações aumentam com o uso contínuo. Por enquanto, exportamos os templates e os gerenciamos com o Git, mas eu ficaria grato por uma estrutura como o diff, que mostrasse imediatamente as diferenças entre os templates.”

Monitoramento detalhado em intervalos de segundos, com configuração flexível de ações

Na CyberAgent, que sempre usou ativamente software de código aberto, cada departamento já usava o Zabbix por conta própria no monitoramento de servidores. O Zabbix 2.2 e o 2.4 são usados na estrutura de monitoramento automático que a AdTech Headquarters implementou com a integração ao Chef. “Uma das vantagens do Zabbix é sua ampla compatibilidade com versões anteriores”, diz o Sr. Hasegawa. “Também valorizamos o fato de que as estruturas criadas com a 2.2 podem ser usadas como estão na 2.4.”

O Sr. Hasegawa continua: “Apenas as partes que acessam a API precisaram ser desenvolvidas do zero e, basicamente, conseguimos concluir as tarefas simplesmente usando o pacote rpm distribuído oficialmente, então o trabalho de instalação foi simples. Fizemos ajustes como aumentar a capacidade do cache e a memória de acordo com a escala dos itens a serem monitorados, mas, basicamente, conseguimos fazer isso com bastante facilidade.” Havia inclusive “uma montanha” de documentos para consultar durante o desenvolvimento.

Ao começar a construir um sistema de monitoramento, a empresa também considerou outras ferramentas de monitoramento de código aberto, como Nagios, Munin e Cacti. Como recorda o Sr. Hasegawa: “Um dos requisitos do monitoramento do projeto era monitorar a cada 5 segundos, mas tivemos dificuldade em encontrar algo que atendesse a isso. Com o Zabbix, porém, conseguimos atender à necessidade de monitorar em detalhe, em intervalos de segundos.”

Atualmente, a AdTech Headquarters da CyberAgent realiza o monitoramento de grupos de servidores com aproximadamente 30 Zabbix servers. Cada Zabbix server monitora, em média, cerca de 20 a 30 servidores. O número médio de triggers é de cerca de 3.000 e o número médio de itens é de cerca de 5.000, mas, em casos excepcionais, esses números podem ultrapassar 20.000 e 60.000, respectivamente. Em média, 100 itens são monitorados a cada segundo, mas o Sr. Hasegawa diz que “não há nenhum problema específico com o desempenho do próprio Zabbix”, mesmo nessas circunstâncias. Em vez disso, diz ele, eles se dedicam mais ao ajuste dos servidores de banco de dados de back-end.

O Sr. Hasegawa também elogia a possibilidade de configurar de forma flexível as “ações” a serem executadas com base nos resultados do monitoramento. Quando ocorre algum tipo de anomalia, como itens de monitoramento que ultrapassam o limite, além de os alertas serem enviados por e-mail, também é possível tratar a situação de forma flexível, encaminhando informações para ferramentas de chat e executando comandos. O Sr. Hasegawa explica: “Em nossa empresa usamos ferramentas de chat como Chatwork e Slack, e direcionamos o conteúdo do monitoramento para essas ferramentas tanto quando ocorrem problemas quanto quando realizamos a recuperação.”

Outro recurso valorizado é a capacidade de integração com o “Java Management Extensions (JMX)”, que permite o monitoramento aprofundado de aplicações Java e o monitoramento geral. “Com o Zabbix”, diz o Sr. Hasegawa, “podemos obter diversos valores de aplicações Java via JMX. Provavelmente existem muito poucas ferramentas capazes de fazer isso diretamente, e para nós é um recurso extremamente útil.”

O Zabbix é uma “ferramenta que acompanha o fluxo da Infraestrutura como Código”

O Sr. Hasegawa, que usa o Zabbix dessa forma como um elo da automação, também parece gostar muito de usá-lo. Ele trabalhou em um “tema” disponível na interface de gerenciamento do Zabbix e o finalizou no estilo Ameba, com o verde como tom de cor principal. 

Daqui para a frente, a AdTech Headquarters vai trabalhar na criação de uma estrutura capaz de reunir de forma centralizada as informações do Zabbix que hoje estão espalhadas por cada projeto. “Por exemplo”, explica o Sr. Hasegawa, “queremos poder exibir em uma lista no dashboard os tempos de resposta dos diversos serviços e produtos agregados pelo Zabbix e verificar rapidamente o tempo de resposta atual, a situação dos alertas dos servidores etc.”

Eles também desenvolveram uma ferramenta própria chamada “Blackbird” para obter diversos dados do middleware sem adicionar carga aos alvos de monitoramento. Também é possível obter dados de middleware que não tem o Zabbix Agent instalado, como componentes baseados em nuvem, sem criar um número enorme de conexões de rede. O Blackbird é distribuído oficialmente como software de código aberto no GitHub (https://github.com/Vagrants/Blackbird).

Com base em sua experiência como engenheiro de infraestrutura que construiu e utilizou um grande número de servidores, o Sr. Hasegawa diz: “Dentro do fluxo da automação, a infraestrutura do futuro provavelmente assumirá a forma de ‘Infraestrutura como Código’, construída com código. À medida que mais e mais serviços novos forem criados, teremos que usar scripts para vinculá-los à infraestrutura. Por isso, os engenheiros de infraestrutura do futuro precisarão ter a capacidade de escrever e entender código.”

Visto por essa perspectiva, o Sr. Hasegawa conclui que o Zabbix “vem totalmente equipado com a API necessária para integrações e pode fazer praticamente qualquer coisa. Poderíamos descrevê-lo como uma ferramenta de monitoramento em harmonia com o fluxo da Infraestrutura como Código.”

Visão geral do sistema

Número de Zabbix servers: 30
Suporte a monitoramento multilocatário, no local e na AWS.
Número de dispositivos monitorados: média de 20 a 30 / máx. 200-250 por Zabbix server.
Número de triggers: média de 3.000 / máx. 20.000 por Zabbix server.
Número de itens: média de 5.000 / máx. 60.000 por Zabbix server.

CyberAgent Inc.

A CyberAgent está expandindo seus negócios no campo da internet, um setor de ponta do século 21. A empresa busca exercer grande influência sobre consumidores e pessoas e, ao mesmo tempo, como startup, continuar crescendo de forma significativa. Ao defender nossa visão, pretendemos criar a empresa líder do século 21, que leve as pessoas a dizer “crescemos usando o serviço da CyberAgent.”

A CyberAgent atua em cinco negócios no campo da internet: o negócio Ameba, o negócio de publicidade na internet, o negócio de jogos, o negócio de mídia e outros, e o negócio de desenvolvimento de investimentos. Como empresa de serviços de internet completa, a CyberAgent oferece serviços valiosos para empresas e usuários da internet.

Sede:
Tóquio, Japão
Funcionários:
1.498
(setembro de 2013)
Capital social:
7.203 milhões de ienes
(2014)
www.cyberagent.co.jp

Quer compartilhar seu caso de uso com Zabbix?

Preencha o questionário ou entre em contato com a equipe de Marketing para mais informações.

Comece em 10 minutos - baixe o Zabbix agora.

Download do Zabbix

O Zabbix é um software gratuito e de código aberto. Sem limites ou custos ocultos.