Preguntas difíciles: ¿Qué Estamos Haciendo para Mantenerse por Delante de los Terroristas?

Preguntas difíciles: ¿Qué Estamos Haciendo para Mantenerse por Delante de los Terroristas?

Por Monika Bickert, responsable Global de Gestión de la Política, y Brian Fishman, Jefe de Contraterrorismo de la Política de

en Línea de la propaganda terrorista es bastante un nuevo fenómeno; el terrorismo en sí no lo es. En el mundo real, los grupos terroristas han demostrado ser muy resistentes a los esfuerzos antiterroristas, por lo que no’t sorprender a nadie que la misma dinámica es cierto en las plataformas sociales como Facebook. El más podemos hacer para detectar y eliminar contenidos terroristas, el más astuto estos grupos se convierten en.

El Departamento de Justicia de EE.UU. recientemente descubre un presunto ISIS partidario de advertencia a otros a tener cuidado cuando la publicación de propaganda en Facebook, apuntando a nuestra Q1 2018 terrorismo de eliminación de métricas como evidencia de que empujar la propaganda en Facebook fue cada vez más difícil. El ISIS panadero sugirió a sus compañeros de propagandistas intentar obtener acceso a cuentas legítimas que había sido comprometida en el fin de crear una solución. Otros han tratado de evitar la detección por el cambio de sus técnicas, el abandono de viejas cuentas y la creación de otros nuevos, el desarrollo de nuevos código de idioma, y de la ruptura de los mensajes en varios componentes.

a Veces nos anticipamos a estas tácticas, y en otros casos en que reaccionamos ante ellos. Pero no hay duda de que la dinámica ha fortalecido nuestra capacidad para luchar con éxito en línea terrorismo. Tenemos cuidado de no revelar demasiado acerca de nuestras técnicas de aplicación de la causa de la confrontación de los turnos por los terroristas. Pero creemos it’s importante para dar al público un sentido de lo que estamos haciendo, lo que incluye inmediata a la aplicación de la ley en los casos raros cuando se identifica la posibilidad de un daño inminente.

Nueva Máquina Herramienta de Aprendizaje

León proporcionó información sobre nuestras técnicas de aplicación en el pasado y queremos describir en términos generales algunas de las nuevas tácticas y métodos que han demostrado ser eficaces.

ahora utilizamos la máquina de aprendizaje a evaluar Facebook puestos que puede ser una señal de apoyo a ISIS o al-Qaeda. La herramienta genera una puntuación que indica qué tan probable es que el post que infringe nuestras políticas de contraterrorismo, que, a su vez, ayuda a nuestro equipo de revisores de dar prioridad a los puestos con los más altos puntajes. De esta manera, el sistema se asegura de que nuestros revisores son capaces de centrarse en el contenido más importante en primer lugar.

En algunos casos, vamos a quitar automáticamente los posts cuando la herramienta indica que con muy alto grado de confianza que el post contiene soporte para el terrorismo. Aún dependemos de revisores especializados para evaluar la mayoría de los puestos, y sólo retirar inmediatamente puestos cuando la herramienta’s nivel de confianza es lo suficientemente alto para que su “la decisión” indica que será más preciso que el nuestro humanos de los revisores.

En Facebook’s en escala ni humanos revisores ni potente tecnología de evitar todos los errores. Que’s por qué esperamos para el lanzamiento de estos sistemas retiros hasta que hemos ampliado nuestro proceso de apelaciones para incluir derribos de contenidos terroristas.

Estamos constantemente trabajando para equilibrar la política agresiva de aplicación de las protecciones para los usuarios. Y vemos ganancias reales como resultado de este trabajo: por ejemplo, la priorización impulsado por nuestra nueva máquina herramientas de aprendizaje han sido fundamentales para reducir la cantidad de tiempo de contenidos terroristas reportados por nuestros usuarios permanece en la plataforma de 43 horas en el 1er trimestre de 2018, a las 18 horas en el 3º trimestre de 2018.

Mejoras a las Herramientas Existentes y la Asociación

también Hemos mejorado en varios de nuestros proactiva técnicas y ahora son capaces de obtener más efectiva de detectar contenidos terroristas. Por ejemplo, nuestros experimentos a través de algoritmos identificar violar los artículos de texto (lo que nos referimos como “el entendimiento del lenguaje”) ahora trabajo en 19 idiomas. Del mismo modo, a pesar de que durante mucho tiempo hemos usado la imagen y de vídeo-hash — que convierte un archivo en una única cadena de dígitos que sirve como un “de huellas dactilares” de ese archivo — ahora también el uso de audio – texto y las técnicas de hashing para la detección de terroristas de contenido.

seguimos compartiendo estas huellas digitales o “los hash” (imagen, vídeo, audio y texto) con un consorcio de tecnología socios organizado por el Mundial Foro de Internet para luchar contra el Terrorismo (GIFCT), incluyendo Microsoft, Twitter y YouTube, y están haciendo algunas de las nuevas técnicas de hashing a disposición de las empresas participantes en el consorcio.

el Progreso en la Aplicación

Las mejoras que’realizado a nuestro servicio técnico, herramientas han permitido la continuación y el progreso constante en la búsqueda y eliminación de contenidos terroristas de Facebook. En la Q2 2018, tomamos acción en 9.4 millones de piezas de contenido relacionado con ISIS, al-Qaeda y sus afiliados, la mayoría de los cuales fue el material antiguo surgido el uso de técnicas especializadas. En el 3º trimestre de 2018, en general derribos de contenidos terroristas se negó a 3 millones, de los cuales 800.000 piezas de contenido eran viejos, porque nuestros esfuerzos a la superficie y eliminar el contenido antiguo en la plataforma en el segundo trimestre había demostrado ser eficaz. En ambos Q2 y Q3, se encontró que más del 99% del ISIS y al-Qaeda contenido en última instancia quitado a nosotros mismos, antes de que se informó por parte de cualquier persona en nuestra comunidad. Estas cifras representan aumentos significativos de Q1 2018, cuando tomamos acción en 1.9 millones de piezas de contenido, 640,000 de los cuales fue identificado el uso de herramientas especializadas para encontrar el contenido antiguo.

a menudo Nos preguntan cuánto tiempo terrorista contenido quede en Facebook antes de tomar acción. Pero nuestro análisis indica que el tiempo-para-tomar-acción es una forma menos medida significativa de daño de las métricas que se centran de manera más explícita en la exposición de contenidos realmente recibe. Esto es debido a que una pieza de contenido que se puede conseguir un montón de puntos de vista a los pocos minutos de ser publicado, o puede permanecer en su mayor parte oculto por días, semanas o incluso meses antes de que sea visto o compartido por otra persona. Si damos prioridad a nuestros esfuerzos basados estrictamente en minimizar el tiempo para la acción en general, íbamos a ser menos eficiente en el contenido que causa más daño. Los terroristas están siempre buscando para eludir la detección y la necesitamos para contrarrestar esos ataques con mejoras en la tecnología, la capacitación y el proceso. Estas tecnologías mejoran y mejoran con el tiempo, pero durante sus primeros implementación de dichas mejoras pueden no funcionar tan rápidamente como se va en la madurez. Esto puede resultar en un aumento en el tiempo a la acción, a pesar del hecho de que tales mejoras son críticos para un sólido de contraterrorismo de esfuerzo. Centrándose específicamente en las métricas adecuadas puede disincentivize o nos impiden hacer nuestro trabajo más efectivo para la comunidad. Estamos trabajando en el desarrollo más significativo de métricas centrado en la exposición, en lugar de tiempo para tomar acción, y un plan para compartir más sobre esto en el futuro.

Nuestra Q2 2018 y Q3 2018 figuras ilustran los puntos anteriores. En la Q2 2018, la mediana de tiempo en la plataforma de contenido subido recientemente surgido con nuestras herramientas estándar fue de alrededor de 14 horas, un aumento significativo de Q1 2018, cuando el tiempo medio fue de menos de 1 minuto. El aumento fue impulsado por varios factores, incluyendo la fijación de un error que nos impide la eliminación de algunos de los contenidos que violan nuestras políticas, y el despliegue de las nuevas detección y sistemas de aplicación. En conjunto, las mejoras nos ayudó a tomar acción en casi dos veces más recientemente-el contenido cargado en la Q2 2018 (2,2 millones) que hemos eliminado en la Q1 2018 (1,2 millones).

En resumen, nuestra aplicación general de esfuerzo fue significativamente mejor en la Q2 2018 de lo que era antes, aunque nuestro desempeño en esta métrica en particular, fue menos impresionante. Por Q3 2018, la mediana de tiempo en la plataforma se redujo a menos de dos minutos, lo que demuestra que los nuevos sistemas de detección había madurado.

Nuestro trabajo para combatir el terrorismo no es el hecho. Los terroristas vienen en muchos ideológica rayas — y los más peligrosos, entre ellos están profundamente resistente. En Facebook, somos conscientes de nuestra responsabilidad para contrarrestar esta amenaza, y siguen comprometidos. Pero no debemos ver esto como un problema que puede ser “resuelto” y dejar de lado, incluso en los escenarios más optimistas. Podemos reducir la presencia del terrorismo en la corriente principal de las plataformas sociales, pero eliminando completamente necesario abordar a las personas y organizaciones que generan este material en el mundo real.