Em um mundo cada vez mais guiado por grandes quantidades de dados, que orientam decisões de empresas e governos, a questão da privacidade ainda é um desafio. São conhecidos os muitos benefícios do big data: as organizações deixam para trás a intuição, pois agora dispõem de um volume sem precedentes de dados valiosos sobre seus clientes e sobre o mercado, podendo desenvolver produtos melhores com um uso mais eficiente de seus recursos. Os clientes já se acostumaram, por exemplo, a receber sugestões de produtos em sites de varejo e recomendações de filmes e músicas em seus aplicativos de streaming. Essa é apenas a parte mais visível das possibilidades que vêm pela frente.
Por outro lado, há inúmeras formas de uso dos dados que nem sempre são evidentes para as pessoas. O preço de um seguro ou de um plano de saúde e a concessão/recusa de crédito são exemplos de decisões que podem ser baseadas em algoritmos, ou seja, códigos criados a partir de dados dos clientes. De modo geral, são usos positivos da tecnologia, que movimentam a economia e impulsionam o desenvolvimento. Mas e se um código específico contiver algum viés ou preconceito?
A cientista de dados Cathy O'Neil, autora do livro Weapons of Math Destruction (trocadilho que significa algo como "Armas de destruição matemática"), resume bem o debate quando diz que as pessoas usualmente não sabem se algo injusto acontece com elas, pois os códigos desenvolvidos pelas empresas são proprietários e não estão abertos a escrutínio público. Um dos grandes desafios dos defensores da segurança da informação e da privacidade é conscientizar as pessoas sobre um problema que, na superfície, não parece causar qualquer dano. Até que, por exemplo, informações de aposentados que deveriam ser de uso exclusivo do INSS aparecem nos sistemas de financeiras interessadas em vender crédito a idosos, como revelou reportagem de Zero Hora.
Em artigo publicado no The Guardian em 2017, Cathy compara os algoritmos aos carros, que ficaram mais seguros com o passar do tempo. Seria necessário, segundo ela, um debate também sobre os códigos que afetam as nossas vidas.