BLOG DA SOCIEDADE
BRASILEIRA DE IMUNOLOGIA
Acompanhe-nos:

Translate

Mostrando postagens com marcador Visualização dados. Mostrar todas as postagens
Mostrando postagens com marcador Visualização dados. Mostrar todas as postagens

quinta-feira, 26 de março de 2015

Big Data, Data Science, Statistical Learning & Data Visualization

     Vivemos na era do Big Data! Com a popularização da internet e vários outros avanços tecnológicos, estamos coletando uma quantidade de dados sem precedentes. Diariamente ao acessarmos nossas redes sociais ou nossos sites de compra, estamos fornecendo uma série de informações para os provedores destes serviços, referentes a nossa localização, rede de contatos, preferências de consumo, volume de gastos, etc. Uma pergunta que vem ocupando a mente de várias pessoas, sobretudo na computação e no marketing, é como usar estes dados para fazer predições e oferecer serviços personalizados. Na área da saúde, a dramática redução no custo do sequenciamento e de outras técnicas de alto rendimento (high throughput), bem como a exigência por estudos cada vez maiores e mais abrangentes, também elevou radicalmente o volume de dados produzido. E isto e só começo, com a chamada "internet das coisas" nossas roupas e acessórios passarão a coletar, processar e transmitir uma série de dados biométricos, os quais poderão ser utilizados para monitorar nossa saúde e realizar predições. Neste contexto, outro termo que vem ganhando espaço e o Data Science, definido por Hilary Manson como uma intersecção entre ciência da computação, estatística, engenharia e "hacking". Conhecimento especifico da área de interesse, como genética ou imunologia, completa o perfil do "data scientist". Certamente existe um pouco de moda e alguns exageros, mas conforme defende o Dr. Michael Franklin da Universidade da Califórnia (Berkeley), a Data Science esta se consolidando como uma área independente, atraindo investimentos, gerando oportunidades e direcionando as Universidades para a criação de currículos orientados a esta temática.

Hans Rosling: Dados sociais e demográficos de 200 países ao longo de 200 anos, 
apresentados em 4 minutos.

   Embora usualmente definido como um "problema", Michael Franklin argumenta que o principal aspecto de se trabalhar com Big Data são justamente as oportunidades únicas que "emergem" dos dados. Padrões que não poderiam ser observados utilizando-se amostras menores. Na área da epidemiologia, por exemplo, trabalhos recentes abordaram o uso de mecanismos de busca e redes sociais para fazer predições biomédicas. Em um exemplo, buscas na Wikipedia (Figura 1) foram utilizadas para predizer surtos de gripe com quase um mês de antecedência (Generous et. al, 2014). Em outro trabalho, postagens do Twitter foram utilizadas para medir os "sentimentos" das pessoas em relação a vacina da gripe (Influenza A, H1N1), sendo então capazes de predizer quais regiões seriam mais afetadas por casos de gripe (Salathé et. al, 2014).

Figura 1. Gráficos apresentando dados epidemiológicos oficiais e o modelo (nowcast) baseado no tráfego de artigos da Wikipedia, em um período de 3 anos (Generous et. al, 2014).

Mas os dados usualmente não falam sozinhos, é preciso saber extrair as informações desejadas. Dentre as ferramentas empregadas neste processo, os métodos de aprendizado estatístico (ou machine learning) tem se demonstrado particularmente interessantes. No campo da imunologia, por exemplo, estas ferramentas já estão sendo aplicadas para identificar alvos vacinais, descrever o mapa transcricional de linfócitos T CD8+ ao longo das etapas da resposta celular e inclusive para desvendar bases imunológicas no Alzheimer.  
    Um estudo de 2012 tentou caracterizar o perfil do "analista de dados", realizando entrevistas com 35 profissionais que realizavam esta função em diferentes áreas, incluindo finanças, pesquisa/saúde, redes sociais, marketing e varejo. Desconsiderando-se as limitações do estudo (tamanho amostral e distribuição geográfica), é interessante observar que estes profissionais foram ultimamente classificados em apenas três categorias: hacker, scripter e application user. Apesar da pressuposta similaridade quanto a área de atuação, os profissionais de cada grupo se diferenciavam bastante quanto ao perfil computacional e o tipo de tarefa desempenhada.  Enquanto os hackers apresentavam maior familiaridade com diferentes linguagens de programação e manipulação dos bancos de dados, os scripters conseguiam realizar análises estatísticas mais complexas (se restringindo ao uso de pacotes como R e Matlab). Os application users, por outro lado, se limitavam à análise de planilhas e ao uso de pacotes como SAS/JMP e SPSS, contando com o apoio de uma equipe de TI para fornecer os dados já no formato adequado. Além de refletir esta diversidade de profissionais e de perfis, em um mercado que claramente vive um período de expansão, o estudo também salientou a necessidade de novas ferramentas para visualização. A visualização é essencial não apenas na apresentação dos resultados, mas também no momento de "conhecer" os dados brutos. Ela facilita a interpretação do material de estudo e valoriza aspectos em que os humanos ainda superam as máquinas, como a capacidade de estabelecer relações e formular hipóteses. Existem testes estatísticos e modelos matemáticos para todos os gostos, mas em muitos casos eles se tornam inúteis caso não haja uma pergunta objetiva a ser respondida ou uma intuição sobre o comportamento dos dados. Neste contexto, o pesquisador sueco Hans Rosling (vídeo acima) tem sido um grande advogado do poder da estatística e da importância da visualização.
    Pra quem pretende ingressar na área, uma ótima pedida é o livro An introduction to Statistical Learning with applications in R. O livro apresenta uma linguagem acessível, mesmo para quem não tem base matemática ou computacional, além de uma série de exemplos e exercícios utilizando o pacote R. Uma das vantagens deste pacote é justamente a implementação de uma série de recursos para fácil manipulação e visualização dos dados.

Debate com Hilary Manson e outros especialistas sobre as perspectivas e as oportunidades do Big Data.

Post de Dinler Amaral Antunes
Complimentary Postdoctoral Research Associate at the Kavraki Lab.
Department of Computer Science - Rice University (Houston, TX). 

quinta-feira, 3 de novembro de 2011

Os gráficos de Hans Rosling

Para quem não conhece os incríveis gráficos que Hans Rosling usa em suas apresentações, fica a dica do vídeo abaixo, publicado ontem no blog do Bill Gates.

Hans Rosling Breaks Down the Impact of Foreign Aid from The Gates Notes on Vimeo.



Rosling é professor do Instituto Karolinska e co-fundador da Fundação Gapminder.

segunda-feira, 4 de outubro de 2010

Nova coluna na Nature Methods oferece dicas de apresentação e visualização de dados científicos

Muitos pesquisadores sofrem no momento de montar gráficos, tabelas, pôsteres e apresentações atrativos. Mas também não é para menos: pensar em uma bela pergunta científica, escrever o projeto, batalhar por financiamento, realizar experimentos, analisar resultados e ainda ser afiado em design parecem muitas exigências, não?



Uma coluna lançada recentemente na Nature Methods pode ajudar. Bang Wong, diretor de criação do Broad Institute, ligado ao MIT e Harvard, é o autor da coluna que aborda mensalmente um aspecto particular da apresentação e visualização de dados, com dicas fáceis de serem colocadas em prática. Além disso, ele mostra como não cometer os erros mais comuns.

Até o momento, Wong falou sobre o uso de cores em figuras científicas (aqui), formas de decodificar dados para aumentar a “acurácia” quando leitores interpretam informações em gráficos (aqui) e saliência (aqui), tema da coluna deste mês. Segundo Wang, saliência é uma qualidade visual que separa um objeto de suas adjacências, como o uso de diferentes cores, tamanhos e orientações. Ao destacar determinado objeto, facilita-se a habilidade do público ou do leitor em processar a informação rapidamente.

Wong, que é também imunologista, vem trabalhando na interface entre arte e ciência há anos. Foi o responsável pela construção do pequeno, mas notável, museu do Broad Institute (foto). Veja um trailer de seu mais novo projeto, DataStream.

Considerando que a escolha de cores, fontes e tipos de gráfico podem influenciar a interpretação dos dados, acompanhar a coluna de Wong pode ser uma boa maneira de evitar erros e de preparar apresentações dinâmicas, interessantes, criativas e atrativas.
©SBI Sociedade Brasileira de Imunologia. Desenvolvido por: