Frases de "Cathy O'Neil" sobre "PROBLEMA"
"Há muitas maneiras diferentes que os algoritmos podem dar errado, e O que temos agora é um sistema no qual assumimos porque é uma nova tecnologia brilhante com uma aura matemática que é perfeita e não requer mais vetagem. Claro, nunca temos essa suposição com outros tipos de tecnologia."
--- Cathy O'Neil
"É uma coisa padrão que você ouve de pessoas de startup - que seu produto é de alguma forma melhorar o mundo. E se você seguir o raciocínio, você vai chegar a algum lugar, e eu vou te dizer onde você recebe: você chegará à descrição do que acontece com os vencedores sob o sistema que estão construindo."
--- Cathy O'Neil
"O Facebook Os designers de algoritmo optaram por nos deixar ver o que nossos amigos estão falando. Eles escolheram nos mostrar, em algum sentido, mais do mesmo. E essa é a decisão de design que eles poderiam ter decidido de maneira diferente. Eles poderiam ter dito: "Nós vamos mostrar coisas que você provavelmente nunca viu antes." Eu provavelmente eles provavelmente otimizaram seu algoritmo para fazer a maior quantidade de dinheiro, e isso provavelmente significava mostrar coisas que eles já se acordam, ou eram mais propensos a concordar."
--- Cathy O'Neil
"Por causa da minha experiência em ocupação, em vez de fazer a pergunta: "Quem se beneficiará deste sistema que estou implementando com os dados?" Comecei a fazer a pergunta: "O que acontecerá com o mais vulnerável?" Ou "Quem vai perder sob este sistema? Como isso afetará a pior pessoa?" Qual é uma pergunta muito diferente de "Como isso melhora a vida das pessoas?""
--- Cathy O'Neil
"Nós não deixamos uma empresa de carro apenas jogar fora um carro e começar a direcioná-lo sem verificar se as rodas estão presas. Sabemos que isso resultaria na morte; Mas por algum motivo não hesitação de jogar alguns algoritmos não testados e não monitorados mesmo quando estão fazendo decisões muito importantes de vida e morte."
--- Cathy O'Neil
"Com algoritmos de recidivismo, por exemplo, me preocupo com os resultados racistas. Com testes de personalidade [para contratar], me preocupo em filtrar pessoas com problemas de saúde mental de empregos. E com um algoritmo de modelo de valor agregado de professores [usado em Nova York para marcar professores], eu me preocupo literalmente que não é significativo. Que é quase um gerador de números aleatórios."
--- Cathy O'Neil
"Por construção, o mundo dos grandes dados é silver e segmentado e segregado para que pessoas bem sucedidas, como eu - tecnólogos, pessoas brancas bem educadas, Na maior parte - beneficiar de grandes dados, e são as pessoas do outro lado do espectro econômico, especialmente pessoas de cor, que sofrem com isso. Eles sofrem com isso individualmente, em momentos diferentes, em momentos diferentes. Eles nunca recebem uma explicação clara do que realmente aconteceu com eles porque todas essas pontuações são secretas e às vezes elas nem sabem que estão sendo pontuadas."
--- Cathy O'Neil
"Especialmente da minha experiência como uma quantidade em um fundo de hedge - eu ingenuamente fui lá pensando que eu estaria fazendo o mercado mais eficiente e depois era, oh meu Deus, eu fico parte desse sistema terrível que Espera a economia do mundo, e eu não quero fazer parte disso."
--- Cathy O'Neil
"Eu não acho que alguém nunca é notificado que eles foram condenados a Um extra de dois anos, porque sua pontuação de recidivismo tinha sido alta, ou notificada que este bateu policial estava em sua vizinhança, verificando os bolsos das pessoas por pote por causa de um algoritmo de policiamento preditivo. Isso não é como funciona."
--- Cathy O'Neil
"Muito da nossa sociedade como um todo está nos preparando para maximizar nosso salário ou bônus. Basicamente, apenas pensamos em termos de dinheiro. Ou, se não dinheiro, então, se você estiver na academia, é prestígio. É um tipo diferente de moeda. E há essa dimensão não medíocrea de todos os empregos, que é se está melhorando o mundo."
--- Cathy O'Neil
"Acho que há inerentemente um problema que os modelos literalmente poderão ser capaz de lidar, que é que quando alguém vem junto com uma nova maneira de fazer algo que é realmente excelente, os modelos não o reconhecerão. Eles só sabem reconhecer a excelência quando podem medir de alguma forma."
--- Cathy O'Neil