Sem alarde, Twitter implementa novo motor de busca

As recentes novidades do Twitter não se limitam ao seu mais novo layout: o serviço passou a contar também com um novo motor de busca. A motivação principal da mudança é a de dar conta não só das demandas atuais como também das futuras, uma vez que o número de usuários do Twitter cresce em ritmo alucinante.

O antigo sistema de busca era estruturado na tecnologia da Summize, empresa adquirida pelo Twitter em 2008. Baseado em MySQL, o mecanismo tinha uma limitação de escala que não permitia acompanhar o crescimento acelerado do Twitter.

Por conta disso, uma equipe da empresa começou a trabalhar em uma nova solução de busca, desta vez baseada no sistema de código aberto Lucene, feito em Java. Parte de arquitetura desse mecanismo teve que ser reescrita para suportar as necessidades de busca em tempo real do Twitter. O trabalho todo levou cerca de 6 meses para ser finalizado.

Tamanho empenho não é exagero: atualmente, o Twitter tem uma média de mil mensagens postadas e mais de 12 mil ações realizadas por segundo, resultando em mais de um 1 bilhão de queries (solicitações ao sistema) por dia. E esses números só tendem a crescer…

Referência: Twitter Engineering Blog.