Brenda Dvoskin^[1]

1. Introducción

Durante los comienzos de internet, los más optimistas anticipaban que esta nueva tecnología generaría un espacio igualitario, donde los dueños de los medios tradicionales ya no tendrían el monopolio sobre el discurso público, sino que cualquiera podría participar en su producción en igualdad de condiciones. En contraste con la esfera pública habermasiana,^[2] donde solo una minoría participaba en la producción del discurso público,^[3] la esfera pública digital prometía un espacio donde todos los individuos podrían participar de ese debate sin incurrir en grandes costos y sin tener que atravesar los embudos de los grandes medios.^[4] En ese sentido, en 1996, la célebre declaración de independencia del ciberespacio de John Perry Barrow proclamaba una internet transfronteriza donde el control estatal sería imposible. Además, las identidades digitales estarían disociadas del cuerpo físico, por lo que todas las estructuras de opresión basadas en la identidad de género, raza o nacionalidad no se trasladarían al mundo digital.^[5]

En parte, internet cumple esa función aun en la actualidad. Internet y, en particular, las redes sociales han facilitado la acción colectiva en movimientos sociales como Ni Una Menos,^[6] Facebook y Twitter son espacios esenciales para el debate político y millones de usuarios se conectan entre sí en estas redes todos los días. Sin embargo, con el surgimiento de las redes sociales, aquella visión de internet como un espacio descentralizado e ingobernable quedó obsoleta. Hoy, unas pocas empresas deciden cómo circula el discurso en espacios que resultan esenciales para la comunicación pública. Facebook, Instagram (Facebook compró esta plataforma en 2012), YouTube, Twitter y, más recientemente, TikTok deciden cómo distribuir el contenido generado por millones de usuarios a diario y en qué casos eliminar contenido. La existencia de estos puntos de control en la esfera pública digital presenta grandes desafíos.^[7]

El rol de estas empresas presenta problemas sustantivos y procesales. En primer lugar, sus reglas internas son en sí mismas controversiales. Entre otras cuestiones conflictivas, las plataformas utilizan las mismas reglas para gobernar la expresión a nivel global, pese a que muchas comunidades tienen puntos de vista diferentes sobre cuál es la respuesta adecuada ante diferentes tipos de expresiones. En segundo lugar, unas pocas empresas –en su mayoría con base en Estados Unidos– concentran mucho poder para dictar los términos de cómo funciona el discurso en sus plataformas.

Por un lado, la capacidad para establecer reglas propias sobre qué tipo de contenido albergar y cómo organizarlo es una herramienta esencial para que diferentes espacios sirvan diferentes propósitos y diferentes comunidades. Por ejemplo, un espacio dedicado a compartir experiencias durante el embarazo o un foro que reúne usuarios que comparten recetas de cocina no podrían funcionar si tuviesen que tolerar cualquier contenido legal. Esto significa que las reglas de moderación son una pieza central en el diseño del producto que se ofrece.^[8] De hecho, esta moderación es lo que atrae a los individuos a estos espacios curados donde la organización del contenido facilita la experiencia del usuario. Sin embargo, por otro lado, en el caso de Facebook, Instagram, YouTube, Twitter y tal vez algún otro espacio, ese poder para elegir qué tipo de contenido albergar es problemático. Por la función que cumplen en la vida pública, el concentrado poder regulatorio de estas empresas pone en jaque el ideal del autogobierno democrático, donde se supone que son los ciudadanos quienes deciden cómo regular el discurso en la esfera pública.^[9]

Este capítulo se centra en estos dos problemas y, especialmente, en cómo se manifiestan en relación con el discurso de odio. El capítulo tiene tres partes. La primera describe a grandes rasgos cómo estas plataformas regulan el discurso de odio y cómo implementan esa regulación. La segunda describe una tensión central en los debates alrededor del discurso de odio en redes sociales: pese a un creciente consenso respecto de que debe existir una respuesta al discurso de odio en internet, no hay una autoridad con legitimidad y capacidad para diseñar esa respuesta.^[10] Tampoco existe tal consenso sobre cuál debería ser esa respuesta en términos sustantivos. Por eso, el problema tiene aristas sustantivas y procesales. En la tercera parte, analizo una propuesta específica para resolver esos (o algunos de esos) problemas que ha cobrado cierta tracción en los últimos años: que estas plataformas adopten estándares de derecho internacional de los derechos humanos (DIDH) como sus propias reglas de moderación de contenido. Aunque la propuesta tiene algunos atractivos, en este capítulo ofrezco algunas razones por las cuales creo que esta solución es muy limitada (y en algunos sentidos podría ser perjudicial) para resolver los déficits de legitimidad democrática que, en principio, podría contribuir a resolver.

El capítulo se centra en megaplataformas que tienen su sede central en Estados Unidos. Esto excluye redes sociales más pequeñas y otros espacios en internet. A su vez, una mayoría probablemente inadecuada de ejemplos y referencias provienen de acontecimientos y autores también basados en Estados Unidos. Ello se debe en parte a la gran influencia que tienen los acontecimientos y la academia estadounidenses sobre la evolución de la moderación de contenido en estas plataformas, pero también responde a la función de este capítulo en esta obra colectiva, que pone en diálogo los debates que están teniendo lugar en el norte global con las discusiones específicas en el marco del sistema interamericano.

2. Discurso de odio en redes sociales

Durante 2017, aproximadamente 700.000 musulmanes rohingyas se vieron forzados a abandonar Myanmar y huir a Bangladesh. Miles murieron o sufrieron violencia física y sexual durante los hechos que el entonces Alto Comisionado de las Naciones Unidas para los Derechos Humanos calificó como un “ejemplo de manual de limpieza étnica”.^[11] La estrategia del personal militar en Myanmar incluyó una campaña en Facebook para atacar a la minoría étnica rohingya. La campaña consistió en la publicación de discursos de odio (por ejemplo, mensajes que decían que el islam es una amenaza global al budismo) y noticias falsas (por ejemplo, una historia falsa sobre un hombre musulmán que habría violado a una mujer budista).^[12] También incluyó incitaciones a violar y asesinar miembros del grupo étnico. En octubre de 2018, un informe del Alto Comisionado determinó no solo la responsabilidad del ejército, sino que también señaló el rol de Facebook, la plataforma que usó el ejército para incitar el odio hacia los rohingyas.^[13]

En Myanmar, Facebook es la red social más utilizada por la población. A través del programa Free Basics, los usuarios obtienen acceso gratuito a este servicio, pero no a otros espacios. Por eso, para muchos usuarios, internet y Facebook son sinónimos.^[14] Pese a ese lugar central, Facebook no tenía moderadores que entendiesen el idioma o el contexto sociopolítico de las publicaciones. Tampoco tenía oficinas locales ni contacto con la sociedad civil local que le permitiese a la empresa comprender la situación. En ese marco, la plataforma dio espacio para que actores estatales incitasen a la violencia contra los rohingyas sin tomar ninguna responsabilidad por los efectos de sus productos en Myanmar.

El 15 de marzo de 2019, Facebook nuevamente tuvo un lugar preponderante en la violación de derechos humanos. Esta vez, un hombre entró a dos mezquitas y mató a 51 personas. El ataque a la primera mezquita fue transmitido por Facebook mediante una cámara que portaba él mismo y miles de usuarios compartieron el video en Facebook y otras plataformas. La transmisión violaba las reglas de Facebook, YouTube, Reddit y Twitter. Las cuatro empresas intentaron activamente suprimir el video. Según Facebook, la empresa eliminó el video 1.500.000 veces en las primeras 24 horas.^[15] Sin embargo, pequeños cambios en nuevas copias del video dificultaron que estas fuesen detectadas automáticamente antes de que los usuarios las compartiesen nuevamente.^[16] Madihha Ahussain, de la organización Muslim Advocates (una organización que defiende los derechos civiles de la población musulmana en Estados Unidos), dijo que:

Respecto de las cuestiones sobre moderación de contenido y la creciente amenaza de violencia nacionalista blanca, la empresa ha fallado en tomar acciones significativas. El asesinato de 51 musulmanes en Christchurch, transmitido a todo el mundo mediante Facebook Live, dejó en claro que se trata de una cuestión de vida o muerte. La empresa aún tiene que tomar medidas serias para proteger nuestra comunidad.^[17]

El rol de Facebook en los crímenes contra los rohingyas, la transmisión del video de Christchurch en Facebook, YouTube, Reddit y otras plataformas y la proliferación de discursos racistas son solo algunos de los acontecimientos vinculados al discurso de odio que captaron la atención del público y de la agenda regulatoria de muchos Estados en los últimos años.^[18] En esta sección, repaso brevemente las reglas que las plataformas han establecido para regular ese tipo de discurso, así como los desafíos que presenta su implementación.

El discurso de odio es un concepto difícil de definir. Las grandes plataformas no adoptan una definición proporcionada por el derecho internacional o local. En cambio, bajo esa denominación, regulan un conjunto amplio de expresiones impermisibles que incluyen no solo discursos que incitan a la violencia o la discriminación, sino también insultos y expresiones discriminatorias. Las empresas tienen reglas internas diferentes entre sí, aunque estas han ido convergiendo en los últimos años.^[19] Algunos ejemplos de estas reglas pueden ser útiles para tener una primera idea sobre qué tipo de discurso es el foco de este capítulo.

En comparación con los textos constitucionales o los estándares diseñados por las Cortes, las reglas internas de estas empresas son más específicas y granulares porque deben ser aplicadas de modo consistente en pocos segundos por miles de moderadores a una enorme cantidad de contenido. Facebook define el discurso de odio como ataques a personas sobre la base de “características protegidas” como la raza, etnicidad, origen nacional, afiliación religiosa, orientación sexual, casta, sexo, género, identidad de género, enfermedad seria o discapacidad.^[20] Los ataques se definen en tres niveles según su seriedad. El primer nivel incluye el discurso violento o deshumanizante. Por ejemplo, no están permitidas comparaciones entre grupos e insectos, animales culturalmente percibidos como física o intelectualmente inferiores, o bacterias. Tampoco está permitido decir que todas las personas que comparten una característica protegida son criminales. Este nivel incluye describir a las mujeres como objetos domésticos o referirse a personas trans o no binarias con el pronombre inglés it (equivalente a ‘esto’ en español). El segundo nivel de ataques incluye expresiones que indiquen que un grupo es inferior o que tienen una capacidad intelectual disminuida (por ejemplo, “los judíos son tarados”). Por último, el tercer nivel se refiere a llamados a la segregación de un grupo, a su exclusión política, económica y social. Además de estas normas, las reglas sobre acoso, discurso violento e información falsa se refieren a contenido que muchas veces aparece entrelazado con el discurso de odio y que pueden aplicarse a las mismas piezas de contenido.

YouTube remueve contenido que promueve el odio o la violencia hacia individuos sobre la base de los siguientes atributos: edad, casta, discapacidad, etnicidad, identidad de género, nacionalidad, raza, estatus migratorio, religión, sexo o género, orientación sexual, víctimas de un episodio violento o estatus como veterano de guerra.^[21] Al igual que en el caso de Facebook, las reglas sobre discurso de odio se complementan con reglas sobre discurso violento, discurso peligroso y acoso.

Twitter no utiliza la expresión “discurso de odio”, pero sus reglas sobre “conducta de odio” (hateful conduct) son similares.^[22] No está permitido atacar o amenazar directamente o promover la violencia contra personas sobre la base de categorías similares. Tampoco están permitidas las cuentas de usuarios cuyo propósito principal es difundir este tipo de contenido. En la imagen de perfil, nombre de usuario o la imagen del encabezado del perfil no está permitido utilizar símbolos o lenguajes que expresen odio, amenazas o acoso a grupos protegidos.^[23]

Más allá de la decisión binaria sobre si permitir o no cierto contenido, las empresas toman otras decisiones: por ejemplo, deciden en qué casos incluir etiquetas que alertan que una imagen o texto puede ser peligroso o impactante, cuándo añadir información adicional sobre el tema en cuestión o sobre qué contenido agregar publicidad. Otro elemento esencial de la moderación de contenidos es la distribución del discurso en las plataformas.^[24] Las empresas utilizan algoritmos que determinan qué contenido ve cada usuario y en qué orden, por ejemplo, en la línea de tiempo de Twitter, en la página principal de Facebook o las recomendaciones de YouTube. Esta personalización individual está basada en la recolección de datos sobre cómo los usuarios reaccionamos anteriormente a otros contenidos similares. Es decir, estos algoritmos intentan predecir con qué tipo de contenidos un usuario tendrá más interacciones como comentar o compartir, y retendrá su atención.^[25] Por eso, la vigilancia del comportamiento de los usuarios es esencial para estas empresas, que basan su modelo de negocios en ordenar el contenido con el objetivo de maximizar el tiempo durante el cual los usuarios utilizan el servicio.^[26] Los mismos principios se aplican para determinar qué tipo de publicidad mostrarle a cada usuario.^[27]

Las empresas combinan tecnología y miles de personas para implementar sus propias reglas de contenido. Respecto del discurso de odio, las plataformas usan herramientas tecnológicas para detectar contenido que potencialmente viola las reglas sobre discurso de odio. Por ejemplo, en marzo de 2019, Facebook informó que la empresa detectó el 65% del contenido que removió por violar estas reglas usando tecnología. El resto fue denunciado por usuarios de la plataforma. En marzo de 2020, la empresa informó haber detectado mediante el uso de tecnología el 89% del contenido removido.^[28] Sin embargo, estas herramientas son muy limitadas para determinar qué contenido infringe efectivamente las reglas porque no pueden evaluar el contexto del discurso.^[29] Por ejemplo, no pueden distinguir si un término es usado de modo discriminatorio o si se trata de un miembro de una comunidad que se apropia de ese mismo término y lo resignifica. Tampoco puede diferenciar los casos en los que periodistas u otros usuarios citan los discurso de otro para criticarlo. Por eso, Facebook afirma que remueve este tipo de contenido automáticamente solo cuando el contenido es idéntico o casi idéntico a contenido removido previamente.^[30] La enorme mayoría de las decisiones son tomadas por seres humanos, quienes deciden en pocos segundos si una pieza de contenido es permisible o no.^[31]

En efecto, estas empresas emplean miles de moderadores directamente o a través de empresas que tercerizan esos servicios de moderación (como oDesk y Deloitte).^[32] En algunos casos, cuando los empleados tienen dudas o los usuarios apelan una decisión, esta se eleva a un segundo nivel de empleados. En Facebook existen tres niveles de empleados que pueden revisar una decisión. El tercer nivel está conformado por un equipo ubicado en California, que decide los casos más difíciles o urgentes. En los últimos tres años, un número creciente de autores ha investigado y escrito en detalle sobre estos procesos internos que las empresas utilizan para hacer cumplir sus reglas.^[33]

Como señaló Alex Stamos, quien se desempeñó como el jefe de seguridad de Facebook hasta 2016, Facebook toma más decisiones sobre qué contenido viola sus propias reglas en un solo día que todo el sistema de Justicia de Estados Unidos en un año.^[34] En el primer cuatrimestre de 2020, Facebook tomó medidas sobre 9.600.000 piezas de contenido por violar las reglas sobre discurso de odio.^[35] En el mismo período, YouTube eliminó un total de 6.111.008 videos, lo cual implica que revisó un número aún mayor.^[36] Estos números determinan dos aspectos distintivos de la regulación del discurso en redes sociales. Por un lado, la aplicación de las reglas necesariamente genera un número alto de errores. Eso lleva a tener que decidir qué tipo de error es preferible. La regulación de la libertad de expresión en el sistema interamericano tiene como principal objetivo proteger toda expresión legal y tiende a no tolerar errores de “falsos positivos” (es decir, casos donde se sanciona expresión protegida). En la esfera digital, la intolerancia a falsos positivos puede resultar en demasiados casos en los que no se elimina contenido que tiene potencialmente efectos peligrosos, por ejemplo para la salud pública (como la información falsa sobre vacunas) y el funcionamiento de la democracia (como la información falsa sobre las fechas de elecciones). Más allá del balance ideal, este aspecto del discurso digital puede ayudar a entender el momento en el que estamos, donde acuerdos que parecían estables han entrado en crisis. Voy a volver a este punto en la próxima sección.

Por otro lado, el tamaño de las plataformas implica que las empresas cumplen funciones regulatorias que son difíciles de reasignar a los Estados u otros actores. Cualesquiera sean los valores normativos que deberían orientar las reglas de moderación de contenido, la implementación de esos valores requiere de un trabajo interpretativo esencial por parte de las empresas. Para obtener resultados consistentes es necesario adoptar reglas muy granulares y precisas. Y para moderar miles de piezas de contenido por día, se necesitan recursos que hoy dependen del sector privado. Estos elementos empíricos propios del medio digital son esenciales para entender cómo diferentes actores participan en la regulación del discurso en redes sociales. Este es el foco de la siguiente sección.

3. Discurso de odio y crisis de legitimidad

La etapa de enamoramiento con las plataformas de internet como espacios para ampliar el ejercicio de la libertad de expresión ha ido dando lugar a cierta urgencia por regular el discurso nocivo que se amplifica en estos mismos espacios. Sin embargo, ante esta nueva urgencia, existe poca claridad sobre cómo regular el discurso y, en particular, sobre quién tiene legitimidad para hacerlo. Los Estados, por varias razones que enumero a continuación, pueden cumplir un rol, pero ese rol es necesariamente limitado. Por otra parte, las plataformas no tienen los incentivos correctos para regular en pos del interés público. De este modo, en relación con el discurso de odio, es posible conceptualizar tres fuentes de amenazas a la libertad de expresión: la desigualdad estructural, el Estado y el poder privado. Estas tres amenazas no son nuevas ni propias de la era digital, aunque en el contexto digital adoptan formas específicas.^[37] La desigualdad estructural ha sido siempre un enemigo de la libertad de expresión, en tanto los grupos más vulnerables han enfrentado más obstáculos para expresarse o su expresión ha tenido menos peso en el debate público.^[38] El Estado es la amenaza tradicional a la que responde la libertad de expresión. Y el poder privado concentrado en las plataformas no es novedoso, sino que es sucesor del poder de los grandes diarios, radios y canales de televisión,^[39] medios que probablemente continúen siendo hoy más relevantes que las redes sociales en términos de influencia en el debate público.^[40] En esta sección, intento delinear sucintamente las formas que cada una de estas amenazas cobra en la era digital haciendo especial hincapié en cómo se relacionan con el discurso de odio y cómo las soluciones para hacer frente a cada una de ellas pueden reforzar otra fuente de conflicto.

3.1. Desigualdad estructural: libertad de expresión vs. libertad de expresión

En Free Speech and Social Structure, Owen Fiss caracteriza a la estructura social como el enemigo de la libertad de expresión.^[41] En pocas palabras y sin hacerle justicia al trabajo de Fiss, el argumento es que, cuando el poder se distribuye en la sociedad de modo desigual, el discurso de unos puede tener efectos silenciadores sobre el discurso de otros. El ejemplo clásico es el discurso de odio contra grupos socialmente desaventajados, donde la expresión de un grupo dominante silencia a los miembros de un grupo vulnerable.^[42] En este sentido, la libertad de expresión de unos atenta contra la libertad de expresión de otros. Según Fiss, en una sociedad democrática la prioridad es que todos los puntos de vista puedan ser expresados para que las políticas públicas estén informadas por todas las opiniones disponibles en la sociedad. Por lo tanto, es necesario regular el discurso que impide que otros puntos de vista sean escuchados “con igual volumen”.

En Estados Unidos, en los últimos años ha habido un cambio cultural grande en la forma de pensar esta amenaza. En el caso “Buckley vs. Valeo”, donde se discutía la constitucionalidad de ciertas regulaciones sobre el financiamiento de campañas políticas, la Corte Suprema de Estados Unidos dijo que la idea de suprimir el discurso de uno para potenciar el discurso de otro era completamente ajena a la tradición jurídica estadounidense.^[43] Hoy, el hecho de que cierto discurso disuade la participación de otros grupos es presentado como un argumento válido y casi obvio para que las plataformas eliminen ese discurso silenciador.^[44] Si bien es muy improbable que la regulación a nivel estatal cambie en el contexto de Estados Unidos, sí ha cambiado la legitimidad de la supresión privada de este tipo de discurso.

Si el objetivo es responder a esta amenaza (es decir, regular el discurso de odio), es necesaria una institución con legitimidad y capacidad para ello. Ningún actor puede gobernar una internet horizontal o descentralizada.^[45] Es necesario encontrar puntos de control sobre los cuales el Estado o las plataformas (u otros actores) pueden operar. Por eso, la concentración del poder privado podría ser una oportunidad para suprimir discursos de odio u otro tipo de discurso que produzca daños. Vuelvo sobre este punto en la última parte de esta sección.

En el caso del Estado, su rol podría ser prohibir más discursos, cambiar el régimen de responsabilidad para que las empresas respondan por el discurso ilegal, pero también podría estar vinculado a regulaciones no directamente dirigidas a la expresión. El discurso es el blanco más fácil para regular, pero la regulación también puede estar dirigida a cambiar las condiciones sociales estructurales que explican muchos de los efectos dañinos del discurso de odio. También, la regulación estatal en áreas como la privacidad, la neutralidad de la red y el derecho societario puede intervenir en los elementos del modelo de negocios que amplifican los efectos negativos de la información falsa, el discurso de odio y la organización de hechos violentos.^[46]

A su vez, exigirles a los Estados o a las plataformas que ejerzan mayores poderes regulatorios sobre el contenido digital se opone a los proyectos que, o bien aún ven al poder estatal como una amenaza que debe ser especialmente contenida, o bien entienden que el principal objetivo consiste en disminuir el poder regulatorio que ejercen de hecho las plataformas.

3.2. El Estado: aliado y enemigo

Pese a la existencia de reglas contra el discurso de odio y discriminatorio en todas las plataformas principales, cada vez más Estados consideran que esa autorregulación resulta insuficiente para hacer frente a la proliferación del discurso violento y de odio, que en muchas ocasiones ha acompañado o anticipado situaciones de violencia más allá del mundo digital. En los últimos años ha habido una ola regulatoria entre los países del norte global. El Reino Unido publicó una propuesta con bases para una futura regulación en 2019, que incluía varias categorías de discurso legal pero con efectos dañinos que las empresas tendrían que remover.^[47] Alemania sancionó una ley en 2017 que impone multas a las plataformas si no remueven contenido “manifiestamente ilegal” en 24 horas.^[48] Francia sancionó una ley en 2020 similar a la ley alemana, que pronto fue declarada inconstitucional casi en su totalidad.^[49] Australia se sumó a esta tendencia después del ataque en Christchurch.^[50] En Estados Unidos, se han presentado propuestas legislativas en los últimos dos años para reformar el actual régimen de responsabilidad de intermediarios (la ley que regula en qué casos estas plataformas pueden ser responsables por el contenido generado por usuarios).^[51]

Si el problema primordial es que la regulación del discurso está crecientemente en manos de empresas privadas no sujetas al control ciudadano, los Estados tienen un lugar central para ocupar. Ante la ausencia de otros mecanismos que puedan introducir procesos democráticos para la toma de decisiones dentro de las empresas, los Estados son quienes podrían cumplir un rol en ese proyecto. Pero la regulación estatal puede ser problemática para la libertad de expresión y, en algunos casos, contraproducente.

Los Estados tienen dos herramientas para regular el discurso en internet. En primer lugar, cada país tiene sus propias leyes y estándares que indican qué discurso tiene protección jurídica y qué discurso es ilegal. En segundo lugar, los Estados regulan la responsabilidad de las plataformas por el contenido ilegal creado por sus usuarios. En principio, las redes sociales no suelen generar contenido propio, sino que albergan contenido generado por sus usuarios. Dada la inmensa cantidad de contenido, tradicionalmente se entiende que estas empresas no pueden monitorear todo el contenido que albergan. Diferentes sistemas tratan de lidiar con esa complejidad y regulan de modos diversos en qué casos las empresas son responsables por mostrar contenido ilegal. Este tipo de regulación, entonces, opera únicamente sobre el contenido que los Estados prohíben.

Respecto de la legalidad del contenido, es importante destacar que gran parte del contenido que las plataformas prohíben es el discurso discriminatorio que no incita a la violencia. Las plataformas también deshabilitan cuentas de usuarios que incluyen una mezcla de contenido permitido y contenido no permitido.^[52] En el contexto de las redes sociales donde ese contenido se amplifica tal vez es razonable tomar medidas tan restrictivas. Sin embargo, esas mismas medidas no consistirían en una regulación adecuada de la libertad de expresión si fuesen sancionadas por Estados para implementar en todos los espacios.

Cuando los Estados hacen responsables a los intermediarios por el contenido ilegal generado por sus usuarios, suelen crear incentivos que alientan la supresión de contenido legal. Las plataformas o intermediarios tienen incentivos a no incurrir en responsabilidad legal. A su vez, el valor que agrega a la plataforma cada pieza individual de contenido es generalmente pequeño. Por eso, los regímenes que responsabilizan a las plataformas por el contenido generado por usuarios aun cuando su ilegalidad no haya sido determinada previamente por una autoridad estatal generan incentivos para que las plataformas eliminen contenido cuya legalidad es debatible.^[53] De acuerdo con Daphne Keller, el resultado de la implementación de diferentes modelos de responsabilidad de intermediarios alrededor del mundo ha sido que las plataformas han eliminado mayor cantidad de contenido legal.^[54]

Más aún, las leyes que imponen responsabilidad a los intermediarios por el contenido de terceros pueden aumentar, en lugar de restringir, el poder de las plataformas. En particular, las leyes que exigen que los intermediarios tomen decisiones sobre la legalidad del contenido generado por usuarios delegan en estos actores privados la evaluación del contexto y la adjudicación de la legalidad del discurso. También, dado que las leyes estatales no tienen la granularidad que requieren las plataformas para tomar decisiones rápidas de modo consistente, las plataformas deben interpretar la regulación estatal y transformarla en reglas precisas que posibiliten su aplicación en poco tiempo.^[55]

En el mundo de las redes sociales, la intervención de los gobiernos ha sido problemática también en otros aspectos. A través de lo que Niva Elkin-Koren ha denominado “censura delegada” (censorship by proxy), los gobiernos solicitan a las plataformas que eliminen contenido que no es necesariamente ilegal. A través de estos mecanismos informales, hacen uso del poder concentrado en pocas plataformas para suprimir contenido indeseable sorteando los canales institucionales.^[56] En el Reino Unido, parte de esos procesos están institucionalizados a través de unidades (Counter-Terrorism Internet Referral Units) cuyo mandato consiste en reportar a las plataformas contenido no necesariamente ilegal pero que según el Estado viola las reglas internas de esos servicios.^[57]

Más allá de la regulación sobre libertad de expresión y responsabilidad de intermediarios, los Estados pueden diseñar otros proyectos regulatorios que, sin referirse explícitamente a la expresión, impactarían en cómo el discurso de odio funciona y se amplifica en redes sociales. Un primer paso sería legislar la obligación de las empresas de producir informes de transparencia que permitan una mejor comprensión de la severidad de los problemas. Legislación sobre la recolección y uso de datos personales para manipular la distribución de contenido también podría tener un gran impacto en la circulación del discurso. El derecho de la defensa de la competencia también es una fuente de proyectos regulatorios. La división de estas empresas es difícil de pensar desde una perspectiva latinoamericana, pero la idea tiene cierta tracción en Estados Unidos.^[58] Otras posibilidades dentro del área de la defensa de la competencia son las regulaciones sobre neutralidad en la red y, especialmente, la prohibición de ofrecer servicios de redes sociales de modo gratuito. Este tipo de leyes pueden prevenir situaciones graves donde estas redes se vuelven el único espacio disponible para la participación en internet, tal como en el caso de Myanmar.

3.3. Reguladores privados: los problemas procesales y sustantivos de la autorregulación

Una amenaza central a la libertad de expresión en internet es el poder que tienen unas pocas empresas para decidir qué puede comunicarse en el mundo digital. Sin embargo, existe una tensión entre algunos proyectos enfocados en descentralizar el poder de las empresas y otros proyectos, que buscan regular el discurso de odio. Algunas soluciones técnicas a ese primer problema proponen construir nuevos espacios alternativos sin nodos centrales de control donde cada usuario individual tiene facultades para decidir qué contenido es apropiado. Como dicen Jillian York y Ethan Zuckerman, estas plataformas incipientes reemplazan el inmenso poder de las plataformas con otro problema: la imposibilidad de regular el discurso, incluso contenido particularmente dañino, como la distribución de imágenes íntimas sin consentimiento.^[59]

En efecto, la concentración de poder en algunas pocas empresas puede ser positiva si el objetivo es establecer estándares uniformes para suprimir contenido, por ejemplo, discursos de odio. De hecho, para combatir contenido terrorista, las empresas tomaron la iniciativa de asociarse para concentrar aún más poder para eliminar este tipo de discurso. El Global Internet Forum to Counter Terrorism (GIFCT) es un buen ejemplo de cómo la concentración de poder podría asistir en la lucha contra el discurso peligroso o con efectos dañinos, así como de los riesgos de estas asociaciones.^[60] Este consorcio de empresas fue fundado por Facebook, Microsoft, Twitter y YouTube en 2017 y otras empresas se sumaron luego. Su actividad principal es compartir entre las plataformas contenido que viola sus reglas internas sobre terrorismo para agilizar su identificación y remoción en otros sitios. Cuando una empresa localiza una imagen o video que viola sus reglas, produce una “huella digital” de ese contenido y la comparte con el resto de las empresas. Esta huella permite a las demás empresas localizar el mismo contenido en sus propias plataformas rápidamente y de modo automático. A su vez, cada empresa puede revisar esa huella y el contenido correspondiente para hacer su propia determinación respecto de si ese contenido viola sus propias reglas. En general este contenido no es ilegal, por lo que cada empresa puede tomar una decisión diferente: las reglas pueden ser diferentes o la empresa podría tener otro criterio sobre la adjudicación de una pieza en particular.

Una ventaja es que empresas pequeñas que pueden no tener los recursos para moderar grandes volúmenes de contenido pueden utilizar esta biblioteca de huellas proporcionada por las empresas más grandes. Una desventaja es que, si las empresas pequeñas no tienen capacidad y recursos para hacer su propia determinación en cada caso, quedan sujetas a las determinaciones hechas por las megaplataformas sobre qué contenido puede circular en internet. Por lo tanto, ese mayor grado de centralización en la moderación de contenido puede aumentar la eficiencia en la eliminación de contenido terrorista, a la vez que otorga aún más poder a las plataformas centrales para determinar qué contenido es admisible en internet.

Es importante destacar que el contenido alojado en el repositorio de GIFCT no es contenido cuya legalidad haya sido determinada por una autoridad judicial. Por el contrario, es contenido que viola reglas internas de las compañías y cuya legalidad es discutible. Por ejemplo, el video de los atentados en Christchurch, que ilustra el tipo de contenido que el consorcio se propone combatir, es un video que también tiene valor histórico y que podría ser adecuado conservar en determinados contextos, de modo análogo a si existiese un video que documentase el uso de las cámaras de gas durante el nazismo. Sin embargo, este repositorio (cuyo contenido nadie ha auditado) promueve una internet homogénea donde el mismo contenido es eliminado de todos los sitios.^[61]

Aunque el foco de este capítulo son las redes sociales, otros servicios que conforman la infraestructura de internet también ilustran cómo la existencia de puntos de control permite que algunos actores intervengan en la remoción de contenido. En agosto de 2017, Cloudflare, una empresa que protege a sitios de ciberataques y cumple un rol esencial en el funcionamiento de internet, decidió dejar de proveer sus servicios a The Daily Stormer, una plataforma donde sus usuarios solían abogar por el genocidio del pueblo judío. En 2019, la misma empresa decidió dejar de proveer sus servicios a 8chan, otro foro con normas de moderación muy permisivas, donde los usuarios solían discutir y promocionar la supremacía blanca, el neonazismo y el antisemitismo. El sitio también era usado para distribuir pornografía infantil, por lo que Google dejó de mostrarlo en sus resultados de búsqueda. Después de la masacre que tuvo lugar el 3 y 4 de agosto en El Paso, Texas, y en Dayton, Ohio, quien se sospecha que fue el autor del atentado publicó un mensaje justificando los atentados en 8chan. El 5 de agosto, después de que Cloudflare y otras empresas equivalentes dejasen de proveer sus servicios a esta empresa, el sitio dejó de funcionar.^[62] Tras la primera decisión en 2017, el CEO de Cloudflare, Matthew Prince, reconocía que:

Fue una decisión que pude tomar porque soy el CEO de una de las principales empresas en la infraestructura de internet. Habiendo tomado la decisión, ahora necesitamos hablar sobre por qué esto es peligroso. […] Literalmente, me desperté de mal humor y decidí que alguien no debería tener acceso a internet. Nadie debería tener ese poder.^[63]

Además de la concentración de poder en algunos puntos de control, el modo en que las empresas ejercen su poder también es problemático en términos sustantivos. En 2017, un informe de ProPublica (un portal de periodismo de investigación) reveló algunos resultados por lo menos antiintuitivos sobre cómo Facebook aplicaba sus reglas contra el discurso de odio.^[64] El informe revelaba que el legislador estadounidense Clay Higgins había publicado en Facebook un llamado a matar a los “musulmanes radicalizados”. Su publicación decía, en inglés: “Persíganlos, identifíquelos y mátenlos. Mátenlos a todos. Por todo lo que es bueno y justo. Mátenlos a todos”.^[65] Los moderadores de Facebook no eliminaron la publicación. Por otra parte, una activista del movimiento antirracista Black Lives Matter, Didi Delgado, escribió también en Facebook: “Toda la gente blanca es racista. Comienza por ese punto de referencia o ya habrás fallado”.^[66] Facebook eliminó la publicación e inhabilitó la cuenta de Delgado por siete días.

Hasta ese momento, las reglas de Facebook prohibían ataques a un grupo en términos generales, pero permitían ataques a un subgrupo. En consecuencia, un ataque a “toda la gente blanca” era impermisible, pero un ataque a un subgrupo de musulmanes estaba permitido. En el mismo informe, ProPublica mostraba que los materiales que Facebook usaba para capacitar a sus moderadores indicaban que ataques dirigidos a niños negros estaban permitidos, pero ataques dirigidos a hombres blancos estaban prohibidos. El resultado, que cualquiera consideraría injusto y antiintuitivo, se explicaba porque género y raza son categorías protegidas, pero edad no lo es. Por lo tanto, hombres blancos son un grupo protegido porque las dos características son protegidas, mientras que niños negros son un subgrupo porque los niños no pertenecen a una categoría protegida.

Con el uso masivo de algunas plataformas, su lugar central en el discurso público,^[67] y la constante secuencia de escándalos,^[68] la idea de otorgarle completa deferencia a cada plataforma para decidir cómo moderar contenido ha perdido parte de su atractivo. Resultados como los publicados por ProPublica, la fragmentación del discurso público^[69] y los riesgos al funcionamiento de la democracia^[70] generaron cambios sobre ciertos consensos sociales en relación con la forma adecuada de moderar contenidos y la responsabilidad de las plataformas. Dos cambios centrales tienen que ver con (1) qué contenido debe ser restringido y (2) cuál es el balance adecuado entre falsos positivos (es decir, contenido permisible que se elimina) y falsos negativos (contenido impermisible que se distribuye).

Sobre el primer punto, me referí anteriormente a un cambio de paradigma en Estados Unidos sobre la permisibilidad de suprimir el discurso de odio. Twitter pasó de definirse a sí mismo como “el ala de la libre expresión del partido de la libre expresión” a asumir mayor responsabilidad en la moderación del discurso en general.^[71] Sobre el segundo punto, tradicionalmente en la libertad de expresión rige una suerte de “principio de inocencia” donde la prioridad es no restringir contenido legal. Eso es cierto en los Estados Unidos y en el sistema interamericano. Por ejemplo, el célebre caso “New York Times vs. Sullivan” explicaba la importancia de aceptar errores en esta dirección: permitir que subsistan algunas instancias de contenido que violan el derecho a la reputación para asegurar que no habrá instancias de falsos positivos, es decir, casos donde el discurso legal se ve sometido a restricciones ulteriores. Ese balance tal vez deba ser evaluado nuevamente en la era digital. En este contexto, los errores son inevitables y la protección de todo el discurso legal podría implicar tolerar demasiado contenido ilegal o que, por su forma de circulación de las redes sociales, genera costos sociales tal vez demasiado altos.

En la siguiente sección, evalúo una propuesta para enfrentar estos desafíos que ha cobrado popularidad en los últimos dos años: exigir a las plataformas que adopten estándares de derechos humanos como sus propias normas de moderación de contenido.

4. Derechos humanos: costos y beneficios

David Kaye, el antiguo relator para la libertad de expresión para Naciones Unidas, propuso en un informe de 2018 que estas plataformas adoptasen los estándares del derecho internacional de los derechos humanos (DIDH) como sus propias reglas de moderación de contenido.^[72] A partir de entonces, la propuesta fue ganando cierto consenso entre académicos, organizaciones de la sociedad civil^[73] e incluso empresas. Su atractivo radica en que podría ser una respuesta tanto a las preocupaciones procesales como sustantivas: asumiendo que los estándares elaborados al nivel de Naciones Unidas nos parecen buenos, las reglas de las empresas serían buenas reglas. Y al adoptar reglas elaboradas a través de un proceso que consideramos legítimo, las preocupaciones procesales disminuirían (no necesariamente desaparecerían porque se trataría de una adopción voluntaria).

Esta sección tiene tres partes. En la primera, desarrollo cómo David Kaye y luego académicos y organizaciones de la sociedad civil han imaginado cómo las empresas podrían adoptar el DIDH. La segunda parte muestra diversas virtudes de la propuesta, y la tercera se enfoca en sus limitaciones. En particular, argumento que la propuesta tiene dos déficits en términos de legitimidad. En primer lugar, la elección por el DIDH como marco normativo no es neutra, sino que implica priorizar algunas preferencias sobre la regulación del discurso. Por eso, esa elección normativa en sí misma debería estar sometida al escrutinio público. En segundo lugar, los estándares de derechos humanos son insuficientes para resolver los problemas fundamentales del discurso digital y, por ello, utilizar ese marco para justificar decisiones presenta el riesgo de recubrir de legitimidad decisiones que no responden al interés público. Por último, sugiero que, en lugar de usar el marco de derechos humanos para construir soluciones, podríamos usarlo para exponer aquellos interrogantes para los cuales la comunidad internacional aún no tiene respuestas. Esta opción también presenta dificultades, pero puede contribuir a fomentar la deliberación entre diferentes actores.

4.1. La propuesta

En su informe de 2018, David Kaye proponía que las plataformas adoptasen el DIDH como sus propias bases para moderar contenido.^[74] En 2019, un nuevo informe se centró específicamente en los estándares sobre el discurso de odio y su aplicación a espacios digitales.^[75] El instrumento internacional principal de donde surgen los estándares que las plataformas podrían adoptar es el Pacto Internacional de Derechos Civiles y Políticos. Su artículo 19 establece que las restricciones a la libertad de expresión deben cumplir con los requisitos de legalidad, necesidad y legitimidad. El artículo 20 obliga a los Estados a prohibir por ley toda apología del odio nacional, racial o religioso que constituya incitación a la discriminación, la hostilidad o la violencia.

El informe de Kaye ofrece dos razones para que las plataformas adopten estos estándares.^[76] El argumento jurídico se basa en los Principios Rectores sobre las Empresas y los Derechos Humanos de las Naciones Unidas.^[77] Si bien los Principios Rectores no son vinculantes, establecen la expectativa de Naciones Unidas respecto de que el sector privado respete el DIDH. El segundo argumento refiere a la conveniencia de la propuesta: las reglas internas de las empresas estarían basadas en principios que representan consensos globales. Ello es conveniente no solo para los usuarios, sino también para las empresas porque tener un conjunto único de reglas facilita el manejo de la plataforma y coincide con el ideal de que internet sea un proyecto transfronterizo.^[78] Pese a ello, las empresas abordan el discurso de odio en sus plataformas sin hacer uso de la guía del sistema de derechos humanos.^[79] Algunos ejemplos puntuales ilustran esta divergencia.

Respecto del principio de legalidad, según el cual las restricciones a la libertad de expresión deben ser claras y transparentes, las tres empresas estadounidenses dominantes (YouTube, Twitter y Facebook) no respetan este estándar en al menos dos sentidos. Por un lado, sus definiciones “densas y detalladas” en algunas áreas pueden paradójicamente “crear confusión y falta de claridad”. Por otra parte, estas reglas “no aclaran cómo definen la promoción, la incitación, los grupos destinatarios y otros factores. Entre otras cuestiones, es difícil encontrar en las políticas temas como la intención y los resultados”.^[80]

Kaye también señala divergencias en la aplicación de las reglas a funcionarios públicos. Según él, los funcionarios gubernamentales

deberían estar sujetos a las mismas normas sobre el discurso de odio que se aplican en virtud de las normas internacionales. En el contexto de las políticas sobre el discurso de odio, las personalidades públicas deben respetar las mismas normas que los demás usuarios.^[81]

En el mismo sentido, algunas organizaciones de la sociedad civil hace años exigen que el discurso de Trump sea sujeto a las mismas reglas de moderación a las que se ven sometidos los demás usuarios.^[82] Twitter y Facebook, sin embargo, tienen otra perspectiva. En algunos casos donde el contenido reviste interés público, Facebook y Twitter no aplican sus reglas a algunas figuras.^[83] Durante la pandemia de 2020, Twitter por primera vez incluyó una etiqueta en un tweet de Donald Trump aclarando que ese contenido violaba las reglas en contra de la glorificación de la violencia, pero que permanecería disponible por revestir interés público.^[84] Facebook tomó una decisión similar.^[85] Aun en esos casos, el contenido no fue eliminado como habría ocurrido si hubiese sido publicado por otro usuario.^[86]

Otro punto de divergencia se refiere al respeto por el debido proceso. Las empresas deberían tener un proceso para apelar sus decisiones.^[87] Kaye señala que:

El artículo 2 del Pacto Internacional de Derechos Civiles y Políticos y el artículo 6 de la Convención Internacional sobre la Eliminación de todas las Formas de Discriminación Racial exigen que se disponga de recursos en caso de violación de las disposiciones contenidas en ellos, y los Principios Rectores sobre las Empresas y los Derechos Humanos también requieren acceso a los recursos.

La creación de sistemas de apelación y garantías procesales constituye una de las demandas usuales de la sociedad civil.^[88] Las empresas han avanzado en esta dirección. Sin embargo, no es claro cómo las plataformas podrían garantizar procesos de apelación transparentes y significativos para las millones de decisiones que toman a diario. Tampoco es claro si el Pacto Internacional de Derechos Civiles y Políticos (PIDCP) exigiría ese mismo proceso de apelación para decisiones que no se refieran a eliminar o no eliminar contenido, sino a su difusión y organización.

En el último tiempo, la propuesta ganó tracción entre académicos, grupos de la sociedad civil e incluso entre las plataformas. Richard Allen (Facebook) escribía en 2018 que, aunque Facebook no está obligado a cumplir con normas de derecho internacional, la empresa toma instrumentos internacionales como el artículo 19 del PIDCP de guía para escribir sus propias reglas.^[89] En 2018, en respuesta al primer informe de David Kaye, Jack Dorsey, CEO de Twitter, escribió: “Estoy de acuerdo con todo esto. […] Debemos basar nuestros valores en derechos humanos”.^[90]

Entre los académicos que mostraron entusiasmo, se encuentran Nicolas Suzor y Evelyn Aswad. Suzor argumenta que hoy no hay ningún sistema para gobernar estos espacios digitales ni sistemas para limitar el poder de las plataformas. Por eso, propone que las empresas adopten estándares de derechos humanos, que define como un conjunto de valores universales.^[91] Aswad contrasta los artículos 19 y 20 con las reglas de moderación del discurso de odio de Twitter para mostrar cómo deberían cambiar esas reglas para ser compatibles con el Pacto.^[92] Aswad considera que “solo citando estándares universales incorporados en el derecho internacional de los derechos humanos, Twitter puede afirmar que basa sus reglas globales de una manera justa”.^[93] Respecto del principio de legalidad, las reglas de Twitter son vagas: no definen con precisión qué tipo de discurso “expresa odio” o “degrada” a una persona. En relación con el principio de proporcionalidad, Aswad considera que Twitter no ha mostrado que tome la medida que infringe lo menos posible en la libertad de expresión. En lugar de suprimir contenido, Twitter podría, por ejemplo, “educar a los usuarios y promover el diálogo sobre asuntos controversiales”.^[94] Twitter también debería evaluar cuantitativamente si sus medidas funcionan para alcanzar sus objetivos. Finalmente, Aswad reconoce que no es claro cómo evaluar el requisito de legitimidad: ¿es un objetivo legítimo maximizar la ganancia de la empresa o Twitter debería sujetar sus reglas a alcanzar únicamente objetivos de interés público?

Organizaciones de la sociedad civil como Artículo 19 y un conjunto de organizaciones de América Latina han desarrollado proyectos similares, donde se proponen traducir estándares de derechos humanos a reglas de moderación de contenido. Un informe de Artículo 19 evalúa las reglas de Facebook, Twitter, YouTube y Google en las áreas más problemáticas: discursos de odio, noticias falsas y contenido terrorista, así como reglas de privacidad.^[95] Respecto de las reglas sobre discurso de odio, este informe concluye que las reglas de todas las empresas son vagas y cubren contenido protegido por el derecho internacional. Un informe más reciente elaborado por organizaciones de América Latina también esboza qué reglas de moderación de contenido, requisitos de transparencia y debido proceso serían consistentes con el derecho internacional.^[96]

La propuesta tiene posibilidades de ser efectivamente implementada gracias a la creación reciente de una nueva institución. La Junta de Supervisión de Facebook (en inglés, Oversight Board) es una suerte de tribunal financiado por la empresa, pero independiente de ella. Tiene la facultad de decidir apelaciones presentadas por los usuarios o por Facebook sobre decisiones tomadas por la empresa respecto de piezas individuales de contenido. Además de decidir en casos puntuales, tiene la posibilidad de recomendar cambios en las reglas internas de moderación de contenido. Facebook deberá responder públicamente si adopta o no los cambios sugeridos y justificar su decisión. Dada la ínfima cantidad de casos que la Junta tendrá capacidad de resolver en relación con la enorme cantidad de decisiones que la empresa toma a diario, la iniciativa no representa una expansión significativa de los derechos individuales procesales de los usuarios. Sin embargo, el diálogo público entre la Junta y la empresa puede tener efectos considerables en las reglas y los principios que las guían.

En particular, la Carta de la Junta de Supervisión de Facebook indica que la Junta tomará decisiones prestando especial atención al impacto de la remoción de contenidos sobre las normas de derechos humanos.^[97] Además de ese mandato formal, la Junta de Supervisión requiere de un marco normativo socialmente aceptado como legítimo que pueda a su vez ayudar a construir la legitimidad del nuevo órgano. Ese marco podría ser el DIDH.

4.2. ¿Qué pueden aportar los derechos humanos?

La gran promesa de la propuesta es proporcionar reglas sustantivas que respondan a un consenso global y representen el interés público. La propuesta también podría suplir parcialmente las falencias procesales de la moderación de contenido en dos sentidos: el proceso para desarrollar esos estándares en sí mismo tiene cierta legitimidad y un marco común podría permitir el diálogo entre más actores. Kaye advierte que “siempre habrá preguntas difíciles”^[98] sobre cómo aplicar los tratados de derechos humanos en el contexto de la moderación de contenidos. De hecho, eso puede ser una virtud: ofrecerles a los Estados flexibilidad para poder definir sus propios intereses y objetivos.^[99] Por ello, si bien el DIDH no siempre proveerá respuestas concretas, estos estándares pueden ofrecer un marco común, un lenguaje en el cual discutir la validez de las normas con las cuales las plataformas organizan el contenido generado por usuarios.^[100]

Otros atractivos de la propuesta son dar instrumentos a las plataformas para responder a pedidos de los Estados para que las empresas eliminen contenido protegido por el DIDH, ofrecer una herramienta a la sociedad civil para articular sus propias demandas, en particular a la sociedad civil que no está ubicada en los países centrales (es decir, Estados Unidos, Europa occidental y Australia) e introducir algunos cambios en las reglas y procedimientos que serían positivos.

Ante las solicitudes de los Estados hacia las plataformas para que estas remuevan contenido, Kaye propone que las empresas deberían “velar por que las solicitudes se formulen por escrito, contengan bases jurídicas concretas y válidas para las restricciones solicitadas y estén expedidas por una autoridad gubernamental facultada al efecto en un formato apropiado”.^[101] En las recomendaciones de su informe de 2018, sugiere que “[l]as empresas deberían reconocer que el marco autorizado a nivel mundial para garantizar la libertad de expresión en sus plataformas es el derecho de los derechos humanos, no las diversas leyes de los Estados”.^[102] En este sentido, el principio 23 de los Principios Rectores indica que las empresas deben respetar las leyes locales, pero también deben buscar fórmulas de cumplimiento que “les permitan respetar los principios de derechos humanos” y “considerar el riesgo de provocar o contribuir a provocar violaciones graves de los derechos humanos” como resultado del cumplimiento con la ley local.

Por otra parte, si se consolidase un acuerdo global respecto de que las plataformas deben moderar contenido conforme el derecho internacional, la sociedad civil y los usuarios tendrían un marco disponible para exigir a las empresas la incorporación de esos estándares.^[103] En particular, el reconocimiento de este lenguaje común podría ser una herramienta para otorgarle mayor influencia a América Latina en la discusión global sobre moderación de contenidos. Tanto los Estados como las organizaciones de la sociedad civil y la academia en nuestra región han tenido poco protagonismo en la gobernanza del contenido digital. Un proyecto posible es explorar las obligaciones que el sistema interamericano de derechos humanos podría exigir a las empresas. El consenso regional, la participación de la Comisión y la Corte Interamericana y la formulación en términos de derecho internacional podrían darle más fuerza persuasiva a algunas exigencias que puedan surgir desde la región.

Por último, aun cuando el derecho internacional sea indeterminado, ofrece estándares y casuística que permiten determinar que ciertas reglas son incompatibles con el PIDCP. Como concluyen Evelyn Aswad, Artículo 19, Observacom y otras organizaciones de la sociedad civil, algunas normas de moderación de contenido son opuestas a las obligaciones que surgen de este tratado. Específicamente respecto del discurso de odio, las reglas que prohíben insultos y discursos ofensivos (como comparar a un grupo vulnerable con un animal generalmente percibido como inferior), pese a estar enmarcadas dentro de lo que algunas plataformas llaman discurso de odio, se refieren a discursos ofensivos que el derecho internacional no prohíbe o, al menos, no en todos los contextos.^[104] Otros autores destacan que el derecho internacional exigiría remedios procesales para los usuarios que ven restringida su expresión, así como transparencia en las reglas y decisiones de moderación.^[105]

4.3. Dos problemas de legitimidad

Esta propuesta presenta dos limitaciones para cumplir su propio objetivo de responder parcialmente a los déficits de legitimidad de la moderación de contenidos.^[106] Una limitación surge de las respuestas que impondría el sistema de derechos humanos a la regulación de contenido. Otra limitación se debe a la indeterminación de ese mismo sistema, es decir, las áreas en donde el marco de derechos humanos no impone respuestas claras.

Respecto de la primera limitación, regular de acuerdo con el DIDH, y en particular de acuerdo con el PIDCP, no es una elección normativamente neutra, sino que significa priorizar un determinado conjunto de reglas sobre otras posibles. Específicamente respecto del discurso de odio, varios sectores de la sociedad civil insisten desde hace años con que se restrinja más contenido que el que prohíbe el artículo 20 del Pacto. La campaña Stop Hate for Profit (‘detener el odio por ganancias’, en inglés), que tuvo lugar en julio de 2020, nucleó a decenas de organizaciones de la sociedad civil. Entre las demandas, exigían que Facebook encuentre y elimine grupos dedicados a la supremacía blanca, el antisemitismo y la negación de la Shoá.^[107] Aunque las demandas son entendibles, no necesariamente son compatibles con el DIDH. Las prohibiciones contra el negacionismo en Alemania han sido condenadas por el Comité de Derechos Humanos^[108] y el informe de Kaye de 2019 se refiere a ese tipo de prohibición como violatorias del PDCyP.^[109]

Otra controversia donde las preferencias de un sector importante de la población en Estados Unidos no están alineadas con el DIDH es respecto del discurso de las figuras públicas. Como señalé antes, en su informe, Kaye subraya que, de acuerdo con el DIDH, las mismas reglas deberían aplicar al discurso emitido por funcionarios públicos y al discurso emitido por otras personas. Sin embargo, tanto Facebook como Twitter tratan el discurso de (algunos) funcionarios públicos de modo excepcional. En Estados Unidos, algunas organizaciones de la sociedad civil exigen que estas plataformas apliquen sus reglas a todos sus usuarios y eliminen el contenido no permitido. Por otro lado, tener acceso al discurso de las figuras políticas de alto rango es necesario para que los ciudadanos conozcan qué piensan sus representantes y cuenten con esa información para votar y participar en la vida cívica.^[110]

La propuesta que aquí analizo parece tomar la posición de que estas preguntas ya han sido resueltas al nivel de las Naciones Unidas y que las plataformas deberían adoptar esas respuestas. Quienes se pronuncian a favor de esta solución la presentan como una elección neutra que representa un consenso global ya alcanzado. Esto es aún más marcado en autores como Evelyn Aswad, quien propone como solución para resolver las contradicciones entre diferentes sistemas de derechos humanos priorizar siempre los estándares que surgen del PIDCyP, que representaría un acuerdo universal, y dejar de lado tratados regionales, que no conformarían parte de ese acuerdo global.^[111] Sin embargo, el carácter de “internacional” del derecho internacional es controvertido.^[112] De hecho, si hubiese normas universales alrededor de las cuales la población mundial acordase, probablemente las grandes plataformas las adoptarían con gusto: estas empresas tratan de generar normas con las cuales los usuarios y los gobiernos estén de acuerdo para proporcionar el contenido que los usuarios prefieren ver y evitar regulación estatal. Sin embargo, las discusiones entre diferentes sectores de la población y la sociedad civil permiten ver que el DIDH prioriza una de varias posiciones razonables. La elección por el DIDH es en sí misma una elección normativa que debería estar sujeta a los mismos procesos deliberativos y democráticos de toma de decisiones que la propuesta pretende suplir.

En otras áreas, el DIDH es indeterminado y generalmente más impreciso que el derecho local. Por ello, exigir a las empresas que justifiquen sus decisiones en el lenguaje de los derechos humanos puede resultar en que las empresas articulen sus decisiones comerciales en términos que solo toman prestada la legitimidad de ese discurso sin verse sometidas a restricciones significativas.

El llamado a que las plataformas regulen en los mismos términos en que deben hacerlo los Estados asume que estas empresas desempeñan funciones regulatorias análogas. Sin embargo, tomarse el DIDH en serio tendría probablemente el efecto de volver las plataformas inusables o de poco valor para una gran mayoría de usuarios que buscan un espacio sin spam, sin pornografía y sin contenido ofensivo (el término es vago intencionalmente). Dos ejemplos claros son la pornografía y los videos como el que mostró los atentados a las mezquitas en Christchurch. El derecho internacional no prohíbe la pornografía. A la vez, parece haber cierto acuerdo respecto de que, si las plataformas no moderasen ese contenido, este se volvería predominante en una mayoría de espacios.^[113] Según esta visión, tener sitios sin pornografía facilita la difusión de otros tipos de contenido e intercambios. Al mismo tiempo, el video de Christchurch al que me referí en el punto 2 de este capítulo fue rápidamente eliminado por todas las plataformas. Casi todas las críticas provenientes de los gobiernos, la prensa y la sociedad civil apuntaron a que las plataformas deberían tener capacidad para eliminar ese tipo de contenido con aún mayor rapidez y eficacia. Sin embargo, no es claro que la difusión del video viole normas de DIDH. A más de un año del atentado, podría ser adecuado que el video estuviese disponible en algunos contextos como material que muestra un hecho de relevancia histórica.

Una posible respuesta es permitir que en algunos casos las plataformas supriman contenido que sería permisible en otros contextos. Como señala Aswad, es difícil decidir cómo el requisito de legitimidad del artículo 19, según el cual las restricciones a la libertad de expresión deben responder a un fin legítimo, debería aplicarse a las plataformas. En primer lugar, ¿los intereses comerciales son un fin legítimo en este contexto? En segundo lugar, aun si decidiéramos que los intereses comerciales más explícitos como aquellos que responden directamente a las preferencias de los auspiciantes no son un fin legítimo, otros intereses comerciales se relacionan con el tipo de servicio que la plataforma decide proveer. Por ejemplo, las plataformas hacen cada vez más hincapié en promocionar un espacio “seguro”. En general, eso implica eliminar una gran cantidad de contenido impactante u ofensivo que está protegido por el DIDH. Otro ejemplo proviene de la decisión de Facebook de no permitir imágenes de desnudos. La empresa puede argumentar que prohíbe todas las instancias de desnudez en la plataforma para evitar que se compartan imágenes íntimas sin consentimiento. Ese parece ser un fin legítimo (aunque aún habría que discutir si la medida es proporcional y si no hay otros métodos de combatir la distribución de imágenes íntimas sin consentimiento de la víctima). Una primera pregunta esencial, entonces, es qué objetivos serían legítimos en este contexto. Sin una respuesta a este primer interrogante, casi todas las reglas serían fáciles de justificar articulando algún fin de utilidad pública.

El DIDH deja abiertas otras preguntas. Una de ellas es cómo resolver diferencias entre diversos sistemas regionales y locales, en particular respecto de la censura previa. La Convención Americana prohíbe la censura previa con excepciones muy limitadas. El artículo 13 de la Convención prevé solo una excepción: “los espectáculos públicos pueden ser sometidos por la ley a censura previa con el exclusivo objeto de regular el acceso a ellos para la protección moral de la infancia y la adolescencia”. Podría tal vez argumentarse que el discurso descripto en el inciso 5 del artículo 13 (“propaganda en favor de la guerra y toda apología del odio nacional, racial o religioso que constituyan incitaciones a la violencia o cualquier otra acción ilegal similar contra cualquier persona o grupo de personas, por ningún motivo, inclusive los de raza, color, religión, idioma u origen nacional”) es un discurso no alcanzado por las protecciones del artículo 13 y que, por lo tanto, también puede ser sometido a censura previa.^[114]

Sin embargo, muchas instancias de moderación de contenido ocurren a través de la censura previa (por ejemplo, en el caso de la base de datos elaborada por el GIFCT a la que me referí anteriormente). El filtrado automático de contenidos y la suspensión de cuentas son medidas que deberían catalogarse como censura previa. Aunque en tensión con el DIDH, son herramientas útiles para la construcción de plataformas funcionales.^[115] En este sentido, el sistema interamericano aún no ha desarrollado estándares que guíen cómo las empresas podrían implementar la prohibición de censura previa en el contexto digital. Además, la regulación de la censura previa es la diferencia más importante con el sistema de derechos humanos europeo, que somete a la censura previa y las restricciones ulteriores al mismo tipo de balance entre derechos.^[116] A la vez, el artículo 19 del PIDCyP parece ser compatible con ambos regímenes. Este interrogante abierto no es menor en la esfera digital, donde cada vez más contenido es restringido automáticamente y antes de ser publicado.

Otra área de indeterminación existe alrededor de las decisiones que exceden la opción binaria entre eliminar y no eliminar cada pieza individual de contenido. Los Estados generalmente toman medidas binarias respecto del discurso: sus leyes reglamentan qué expresión es legal o ilegal. Las plataformas, sin embargo, tienen múltiples opciones para gobernar contenido. Pueden priorizar contenido, mostrar una pieza de contenido a más o menos usuarios, agregar hipervínculos que desmientan la información proporcionada en una publicación u ofrezcan otros puntos de vista o agregar etiquetas, por ejemplo, que indiquen que un contenido puede ser ofensivo e impactante.

Una posibilidad es analizar todas estas opciones bajo el requisito de proporcionalidad del artículo 19. La pregunta rectora sería qué medida es suficiente para alcanzar determinado objetivo. El análisis cuantitativo que es posible en el contexto digital y que es mucho más difícil en otros contextos podría ser una contribución interesante para evaluar el requisito de necesidad. Es posible pensar esta cuestión dentro del marco propuesto por el PDCyP, pero ello no significa que el pacto predetermine cómo evaluar cada uno de esos casos.

El discurso en la era digital no exige volver a pensar todas las áreas de la libertad de expresión, pero estos ejemplos ilustran que hay nuevos interrogantes. Ante estos, la propuesta en estudio es una propuesta de traducción: consiste en usar los parámetros disponibles para construir respuestas. Esta propuesta tampoco es nueva. En cierta medida, es lo que hacen frecuentemente los tribunales de justicia cuando articulan en términos jurídicos preexistentes respuestas a nuevas situaciones. En particular, en uno de los libros fundacionales sobre la intersección entre democracia e internet, Larry Lessig se refería a las situaciones novedosas que crea el desarrollo de tecnología.^[117] En algunos casos, es sencillo trasladar conclusiones jurídicas: por ejemplo, aplicar la protección diseñada para la correspondencia física a la correspondencia digital. En otros casos, la tecnología crea una situación en la que hay que volver a elegir cómo regular. Para estas situaciones, Lessig proponía usar el derecho constitucional para identificar áreas de ambigüedad donde más de un camino era posible. El rol de quienes toman decisiones no debería ser presentar sus decisiones como una traducción perfecta de soluciones previas, sino identificar esas áreas, mostrar los caminos posibles y explicar por qué el camino elegido es preferible antes que otros. En lugar de esconder el ejercicio de poder, ese método de decisión presenta una elección y la abre a críticas.

En este nuevo contexto, quienes toman decisiones también podrían identificar preguntas para las cuales el DIDH no ofrece respuestas, y luego esgrimir qué respuestas hay disponibles y cómo cada una de ellas avanzaría los valores que defiende el DIDH. En particular, la Junta de Supervisión de Facebook, por su mandato e incentivos a enmarcar sus decisiones en el DIDH, podría cumplir este rol. Ello contribuiría al diálogo entre actores sobre diferentes posibilidades regulatorias. Sin embargo, una diferencia importante es que en la gobernanza global de contenido digital no es claro qué instituciones que representen la voluntad popular podrían continuar ese diálogo. El razonamiento público y transparente que propone el método de identificación de áreas de ambigüedad supone que los jueces fomentan y facilitan el diálogo con otras autoridades, en particular con el Poder Legislativo. Ese mismo tipo de razonamiento podría darle herramientas de participación a la sociedad civil, a la prensa y a otros actores. Pero no existe un órgano equivalente a un Poder Legislativo que tenga la misma autoridad para continuar el diálogo y decidir cómo resolver esa ambigüedad. Por eso, la propuesta de usar un marco común podría ser un paso en la decisión correcta, pero no suple la inexistencia de procesos legítimos de toma de decisiones.

En la era actual, que Jonathan Zittrain denomina como la etapa procesal de la moderación de contenidos, vale la pena experimentar con diferentes propuestas que incluyan más actores en la toma de decisiones, y que creen más oportunidades de auditoría pública, control ciudadano y participación de la sociedad civil. Darles voz a más actores y encontrar un lenguaje común son propuestas en esa dirección. Este capítulo trata de iluminar qué voces perderán fuerza en ese diálogo y subrayar la necesidad de que ese diálogo efectivamente inicie, en lugar de concluir; un diálogo que deberá ser continuado en espacios que aún deben ser construidos.

---