Go back

PodcastPGE: Inteligencia Artificial desde la perspectiva de la Protección de Datos

25m 40s

PodcastPGE: Inteligencia Artificial desde la perspectiva de la Protección de Datos

La entrevista destaca los riesgos que la inteligencia artificial impone en la protección de datos personales, especialmente al utilizar datos sin consentimiento en el entrenamiento de modelos. Christian Espinoza Velarde explica que estos modelos pueden perpetuar sesgos históricos, afectando injustamente decisiones en sectores clave como salud, educación y empleo. Se enfatiza la necesidad de transparencia algorítmica, donde los usuarios deben conocer cómo se procesan sus datos y qué decisiones se toman. Además, se propone que la privacidad debe implementarse desde el diseño y por defecto, evitando costos elevados y daños reputacionales por decisiones posteriores. La responsabilidad legal recae en la empresa que contrata, pero también en el proveedor, y ambos deben cumplir con contratos claros de protección de datos. Se recomienda crear mapas de herramientas en uso, especialmente las gratuitas que alimentan modelos sin control, y establecer procesos de supervisión humana para evitar decisiones automatizadas. Finalmente, se apela a una normativa que evalúe los efectos reales sobre las personas, no solo los riesgos previos, y que exija evidencia de cumplimiento en todos los procesos de implementación. La Procuraduría General del Estado destaca su compromiso con la formación en estos temas, destacando la importancia de prepararse ante la transformación tecnológica.

Transcription

5182 Words, 31694 Characters

Spanish
La Procuraduría General del Estado presenta su podcast PGE en el cual difundimos temas de interés sobre la defensa jurídica del estado ecuatoriano. Bienvenidos. Bienvenidos a un nuevo episodio del podcast PGE. Hoy tendremos convivitado al abogado Christian Espinoza Velarde. En este episodio hablaremos sobre inteligencia artificial desde la perspectiva de la protección de datos. Soy Yeni Ferrodas y junto con Alexander Sangucho los acompañaremos hoy en esta edición de nuestro podcast PGE. Muchas gracias Jennifer. Le saluda a Alexander Sangucho Cueva. Christian impulsa la transformación digital en organizaciones públicas y privadas. Es experto en TMT, que significa tecnologías, medios y telecomunicaciones. Protección de datos, ciberseguridad y tecnologías emergentes. Además, el socio-director del área de TMT privacidad y protección de datos personales de esija ecuador. Cuenta con una destacada trayectoria en asesoramiento legal en presas, desectores estratégicos, liderando proyectos en derecho tecnológico, protección de datos personales, ciberseguridad y tecnologías emergentes. Además, en blockchain e internet de las cosas. Desde la promulgación de la ley orgánica de protección de datos personales en ecuador, al liderado la implementación en más de 100 organizaciones, además, ha participado en el diseño del reglamento de dicha ley y en el desarrollo de herramientas tecnológicas aplicadas a la protección de datos en entidades públicas y privadas. Christian también ejerce como profesor titular en programas de maestría y diplomado en universidades como la San Francisco, la universidad de las Américas, ha sido potente en conferencias nacionales y internacionales y es reconocido por su capacidad para integrar la innovación tecnológica en la práctica legal. Bienvenidos, Christian, gracias por acompañarnos. Muchas gracias, ambos por la oportunidad y a la progresión por la invitación, que estén liderando este tema de conversación es súper importante para prepararnos un poco para lo que se viene, ¿no? Sí, muchísimas gracias, mi querido Cristian. Para ir adentro, no es un poco dentro de la conversación. Nosotros tenemos claro que la inteligencia artificial permite procesar grandes cantidades de información de manera rápida y automatizada. Sin embargo, su utilización también genera nuevos retos relacionados con la privacidad, la seguridad y el control que las personas tienen sobre sus datos personales. En este sentido, Christian, ¿cuáles son los principales desafíos que plantea la inteligencia artificial para la protección de datos personales? Yo creo que uno de los principales desafíos, y de pronto lo puedes ver un poco desde la perspectiva pública y privada, uno de los principales desafíos que tienen es la adecuada gestión de los riesgos. Aquí hay que pensar un poco respecto de, ok, voy a utilizar una herramienta de inteligencia artificial, voy a utilizar un agente de inteligencia artificial, ¿qué riesgos voy a enfrentar frente a esto? Los grandes modelos de inteligencia artificial se nutren o se entrenan con datos, y muchos de esos datos tenemos datos personales. Una de las mayores problemáticas es que durante el proceso de entrenamiento utilizan nuestros datos y nosotros no nos enteramos que nos están utilizando, no nos han pedido utilización para hacerlo, y eso limita bastante la capacidad de las personas de realmente hacer efectivo su derecho a la protección de datos personales, considerando que la protección de datos personales se basa como un principio fundamental que es la autodeterminación y informativa de esa capacidad que yo tengo de decidir quién usa mis datos para que los usa por cuanto tiempo, con qué finalidad, etcétera, etcétera, etcétera. Entonces cuando se entrenaron estos grandes modelos que hoy utilizamos en el día a día, puede ser que ya se haya utilizado nuestros datos y eso va a ir limitando significativamente nuestro derecho a la protección de datos personales y otros derechos que la protección de datos personales protege como tal. Pensemos un tanto en el sector privado. Y es un ejemplo que se puede materializar también el sector público. El seco en la preparación de este tipo de herramientas. En el sector privado, un herramienta que ha sido entrenada con datos que de alguna u otra manera llevan algún seco por detrás va a ser que efectivamente se genera algún tipo de discriminación absolutamente negativa contra sus clientes. Ahora pensemos si estoy utilizando la misma herramienta en el sector público cuando esa herramienta decide por ejemplo quién recibe un bueno, quién recibe un beneficio, quién accede a un servicio prestado por el estado. Y si ese seco permanece en el algoritmo, permanece en la herramienta, se va a perpetuar en el tiempo ese seco. Si nadie se da cuenta, se va a dar cuenta que probablemente en 10 años personas que tenían toda la necesidad o toda la capacidad legal por acceder a un servicio, un beneficio no lo estaban haciendo porque el seco efectivamente lo estaba limitando. Sentrándonos un ejemplo súper básico en lo que tiene que ver del sector privado porque hay mucha más información del sector privado que del público, pero igual tenemos ejemplos. Una gran empresa, una de estas Big Tech empezó a utilizar un modelo de inteligencia artificial para o dentro de su flujo de selección de personal. La herramienta había sido entrenada con datos históricos de contratación de la organización. Se dieron cuenta en algún momento del proceso que la herramienta estaba eliminando de entrada todas las hojas de vida de mujeres porque históricamente la organización había preferido contratar nombres. Entonces lo encontró más edificiente, lo encontró dentro de su programa de entrenamiento, dentro su base de entrenamiento y lo comenzó a perpetuar, lo comenzó a hacer como un proceso regular. La herramienta, la tecnología es básicamente neutral, pero la forma en que entrenamos estos modelos lleva por detrás historia y lleva por detrás las prácticas de la misma organización. Entonces imaginemos que eso ocurre efectivamente en el sector público frente a cosas de pronto se me ocurre decidir a qué colegio va a ir a nuestros hijos, decidir el cupo que se le va a asignar, decidir cupos en universidades, la carrera que va a estudiar la persona, decidir si accede, si se le da o no financiamiento para una atención médica, si se consigo, no così, hay médicos para contratar, etcétera, etcétera. Cuando la herramienta tiene cejos de estras y cejos que se pueden ver en la base de información sobre los cuales si no tomamos medidas compensatorias, van a seguir perpetuándolos, vamos a empezar a ver mucho impacto en los ciudadanos y ahí donde el sector público también puede empezar a pensar los riesgos que va a tener que gestionar de manera adecuada. Christian, para enfrentar estos riesgos, estos riesgos, qué aspectos debería considerar una organización sea pública o privada para implementar una inteligencia artificial que efectivamente haga tratamientos de datos personales? El punto de partida es entender para qué la queremos utilizar y entender mucho la historia de esa finalidad en particular. Si queremos implementar un modelo de inteligencia artificial para atención en el Instituto Cultural de Seguridad Social, por ejemplo, ver efectivamente dentro de la data que vamos a utilizar para entrenar este modelo, cómo esta data ha mostrado en la historia que este tipo de cosas han ido sucediendo, para que eventualmente el modelo sí me ayuda a solucionar la problemática que busco solucionar. Finalmente estas herramientas se buscan como soluciones, se buscan como herramientas de ayuda, pero la manera en que lo entren en la manera en que lo empiece a utilizar la manera para lo que pretende utilizarlo y cómo lo voy controlando en el camino es importantísimo, pero yo creo que el punto de partida es identificar para qué lo quiero utilizar. El segundo elemento es entender el impacto que va a tener en las personas, ya, porque ahí es donde empezamos a ver los riesgos de protección de datos personales. Voy a empezar a utilizar la data adecuada, está hecho el ejercicio de minimización, solo voy a utilizar la data extrictamente necesaria que medidas de seguridad voy a implementar, entiendo el algoritmo, entiendo el modelo de inteligencia artificial como funciona la operación, en muchos casos y esto ya está empezando a ocurrir cada vez con más frecuencia, por eso incluso algunas normas empiezan a cambiar su enfoque. Las normas de inteligencia artificial como las de protección de datos personales han estado históricamente basadas en un enfoque de riesgos, mide los riesgos establece las medidas. El nuevo enfoque que están tomando las nuevas normas de inteligencia artificiales sobre los efectos, ya no sobre la medición de riesgos previos, sino vamos a pensar esto sobre los efectos que puede causar sobre las personas en estricto sentido. Incluso hay una norma, sin embargo recuerdo que la norma californiana de inteligencia artificial, o alguna de las normas californianas que tocan, tema de inteligencia artificial, ya ha parametrizado o cuantificado cuántos el riesgo que pueden tolerar o no pueden tolerar. Si va a haber un efecto negativo o puede poner en riesgo la vida de más de 50 personas, ese herramienta tiene ciertos elementos que cumplir. Nosotros es básicamente empezar a entender el riesgo como tal, y ahí donde los abogados especialistas en esto hemos cambiado un poco la capa de trabajo. Nos ponemos solo la capa de abogador, ahora también tenemos que poner la capa de analista de riesgos, la capa de ingenieros de sistemas, la capa de especialistas en analítica de datos. Claro, entonces es mucho más amplio. Entonces hay que entender el impacto que va a tener a las personas. También hay un tema súper importante, y esto es un tema que en el sector privado es una auto gestión, en el sector público puede tener impacto incluso en los procesos de contratación pública. Es la contratación de proveedores que presten este tipo de servicios, porque yo puedo contratar el desarrollo de herramienta, puedo contratar la herramienta ya funcional, y eso me puede generar obligaciones diferentes, depende de cómo lo quiero operar. Este Cristian mencionaste sobre el tema de la transparencia y los algoritmos, y ahorita acabás mencionado sobre el tema de los proveedores, y ahí me pareció un tema que me gustaría saber tu criterio como abogado en estos casos. Sabemos que los algoritmos de las empresas proveedores son unas cajas negras, sobre cómo comienzan a tomar decisiones, cómo funcionan, dentro ya para provocar una decisión, en qué medida nosotros tenemos esas herramientas, cómo usuarios sea como personas naturales o jurídicas, para saber o hasta dónde podemos saber cómo estos proveedores están tomando lección, o cómo funciona estos algoritmos, estas cajas negras que ya no. La norma de protección de datos personales exige transparencia, es uno de los principios que construyen la norma de protección de datos personales, y de pronto es el principio más esencial para cumplir con la auto determinación informativa. Saber qué es lo que propone hacer con los datos para que yo pueda tomar una decisión si lo vas a poder usar o lo va a poder ser uno. Pero el proceso de transparencias cada vez más complejo, tal como lo menciona, la opacidad de los modelos algoritmos cada vez resulta más complejo. Hoy podemos hablar que incluso los desarrolladores, los arquitectos de estos modelos, en muchos casos ya no logran siquiera ellos mismos entender cómo su modelo funciona, pero la norma en estricto sentido pide que haya una transparencia sobre varios elementos. El primer elemento es tengo que decirle a la persona que detrás de este uso de sus datos, Hay un modelo de inteligencia artificial o un agente de inteligencia artificial procesándonos. De pronto yo llego un chatbot y voy a pensar que el chatbot es una persona. Y en algunos casos ya no es una persona. El chatbot está 24/7 y me responde a las consultas en tiempo real. Yo puedo presumir que es una inteligencia artificial, pero la norma me exige a mí que les diga a la persona, al usuario, el momento que interactúan. El momento que interactúan que eso es una inteligencia artificial. Luego entender qué es lo que va a ser, va a tomar una decisión, solo va a interactuar conmigo, está recogiendo data, etcétera, etcétera. Ya, y ahí comienza el proceso de transparencia, ya vimos, ya me dicen, hay una herramienta, luego, ok, que va a ser herramienta y luego viene la parte compleja. Explicar la herramienta, explicar el modelo cómo está funcionando, que es lo que mencionamos es lo que saca a negra realidad. No me tienen que decir en estricto de tario línea, línea por línea de código, cómo le herramienta opera, pero sí tienen que decirme, su data va a ser procesada, va a ser contrastada contra equipactores, que sumamos en un análisis de crédito, va a ser contrastada contra su historia, el creaticio, contra la información que usted indica, nos va a estar proveiendo, etcétera, etcétera. Y eso va a determinar la decisión, luego viene el factor de participación humana. Hay un derecho en la norma de protección de datos personales, que es el derecho no ser objeto de decisiones totalo parcialmente automatizadas. Para poder ejercer ese derecho, debo haber tenido el proceso de transparencia previo, entender que estoy actuando con un modelo de inteligencia artificial o una herramienta automatizada para saber, efectivamente, si lo puedo no lo puedo ejercer. En Ecuador hay una problemática con ese derecho, porque básicamente la construcción es total o parcialmente automatizada. Si no puede ser ninguna de las dos cosas, lo único que te quedes es que sea manual, cuando todo es o totalmente automatizado o parcialmente automatizado. Y eso es una problemática que se refleja en la forma en que la ley ecuatoriana de protección de datos personales se construyó. Pero ese derecho me permite a mí decir, en esencia, quiero que participe un humano de esta decisión, que un humano, quiero que un humano lo revise. Ya, las empresas de manera proactiva deberían tener un modelo de supervisión humana. Hay varios modelos, humanón de loop, humanón de loop, humanón en command, dependiendo del modelo, la participación humana es mayor o determina el momento en que el humano participa. Pero ese modelo controla la decisión del algoritmo, verifica que el algoritmo no haya aplicado un césgo, verifica que el algoritmo haya tomado una decisión basada en los elementos adecuados, que no sea una verificación de papel donde la herramienta tomó la decisión y la de personas simplemente dio clic a lo que hay, sino que hay una revisión real. Pues, con mi derecho, si puedo decir que hay una revisión real y que me expliquen cómo se está haciendo esa revisión, estengo esa capacidad a través de las normas de protección de datos personales. Estas son las herramientas que yo como titular, frente a público, frente a privado, pueden empezar a utilizar para contra las herramientas que se están implementando o que se han buscado implementar. Y me venémonos, por ejemplo, que algunos organizaciones del sector público de estas que tienen un impacto mayor en la vida diaria de las personas, empieza a utilizar una herramienta de inteligencia artificial y me comienza a perjudicar, entonces yo tranquilamente podría efectivamente ejercer mi derecho, es decir, explícame cómo lo están haciendo. Hay un caso famoso en Estados Unidos, el caso Lumis, un herramienta llamada Compass, determinaba los años de la pena. Eso es lo que determinaba. No determinaba la sentencia determinada los años de la pena. Que hacía básicamente un cálculo detrás de la herramienta de inteligencia artificial que hacía un cálculo detrás basado en información con la que había sido alimentada, de sentencia anteriores, histórico, etcétera, etcétera, etcétera. Una persona que este señor Lumis fue sentenciada, sin más no recuerdo, no puedo estar fellando en los números, pero en contexto es más o menos esto. Hay años de expresión y él trató de apelar la pena impuesta. El problema es que cuando él trata de apelar, no puedo apelarla porque no entiendo cuáles formos factores contra los cuales se calculó esta pena. El juez que utilizaba la herramienta reveló en algún momento del proceso, yo tampoco entiendo como la herramienta toma o calcula la pena. Una investigación de una ONG, si más no recuerdo fue propública, identificó que el cejo estaba en la información con la que se había entrenado la herramienta. Si una persona era afro, había mucha más posibilidad a reinsidencia y limponía penas más altas. La diferencia era una persona, con las mismas condiciones, una persona anglosajona, te es blanca, etcétera, etcétera, seis meses, una persona afro, seis años. Entonces, si el juez no le entendía, si yo no puedo apelar porque tampoco entiendo que estoy apelando. Y después viene la empresa detrás del revienta que me dice, yo no voy a revelar como funciona el gorismo porque eso es secreto de la propia empresa, ¿saben qué criterio empieza a utilizar? ¿Cómo combate ese tipo de cosas? Se deja en jaque, inclusive, ya las personas. Claro, te puedes generar interfesión, te puedes generar un poco de propicios a tus propios derechos. Entonces, entender ese tipo de cosas hace que esa caja negra sea cada vez más complicado. Y por eso empezamos a medir sobre los efectos y no tanto sobre los ríos iniciales. Cristian, en este contexto entendemos que es efectivamente necesario determinar previamente cuál es la base jurídica que permite utilizar esos datos y comprobar que los tratamientos cumplen con las normas de protección de datos. En ese sentido, ¿qué importancia tiene también la privacidad desde el diseño y por defecto en el desarrollo y implementación de soluciones de inteligencia artificial? La privacidad desde el diseño y por defecto es un principio fundamental en protección de datos personales. Qué es lo que busca la privacidad desde el diseño? Vamos primero con una parte desde el diseño. Emplica que desde que yo esté conceptualizando un tratamiento de datos personales, tengo que pensarlo ya en la perspectiva de "tengo que implementar los controles de protección de datos personales". Si voy a hacer algo, tengo que saber que tengo que tener este tipo de elementos considerados. Un especialista te da las recomendaciones, normalmente el delegado de protección de datos o parte del equipo de desarrollador, pero tienen que considerarlo y documentarlo. Y luego, la herramienta se va desarrollando basado en que siempre estuve considerando privacidad. Y luego por defecto, implica que los controles de la herramienta siempre tienen que tender primero a la privacidad, es decir, los checks tienen que estar desabilitados, los botones tienen que estar apalados y yo he decidido si los encendiendo a los encendiendo. En inteligencia artificial, pensar en esto, primero hay una perspectiva económica que me va a generar un ahorro significativa, hay una relación de uno a mil. Lo hago desde el principio, me cuesta un dólar. Cuando me toca corregirlo, cuando ya está empezando a causar efectos, cuando ya está empezando a causar prejuicios, me cuesta mil. Mil veces más. Entonces, desde la perspectiva económica me va a resultar mucho más rentable hacer lo mejor desde el inicio que tener que corregir después de salto. Y luego, la otra problemática es, imaginémonos que es una entidad del sector público la que está utilizando la herramienta y que no estaba utilizando la herramienta las prácticas de privacidades del diseño desde el principio. ¿Cuántas personas se puedan haber visto ya perjudicadas hasta el momento en que empieza a tomar los controles específicos? En su moda, vamos a dar un herramienta de uso diario que tiene un flujo de mil personas por día, se dan cuenta al año. ¿Cuántas personas ya fueron perjudicadas al momento en que empiezan a tomar medidas correctivas? Y eso, obviamente, pues, reputacionalmente contra el Estado es tremendo y, obviamente, contra una empresa privada va a ser igual de grande. Pero el Estado tiene que generar el Estado y la empresa tienen que generar esta perspectiva de confianza. Y la única forma de generar esta perspectiva de confianza, esta visión o este entendimiento de confianza, es haciendo bien las cosas de del inicio, o sea, es cumpliendo con los preceptos. Y esto es una obligación es más, en la norma de cuatoriano de protección de datos personales es sancionable, no haber implementado a medidas de privacidades del diseño por defecto en su desarrollo. Entonces, ¿cuándo una organización del Estado o una organización privada dice? Voy a utilizar inteligencia artificial para esto. ¿Y por cómo pruebas también que desde el inicio se utilizaste esas herramientas de privacidad? Ahí es donde entero, para evitar o para imponer la sensación. Hay dos flujos principales. El primer flujo principal o el primer elemento principal es el delegado de protección de datos personales. Ya, las empresas del sector públicas están obligadas todas a tener un delegado de protección de datos personales. En el sector privado, cuando los riesgos son muy altos y bajo ciertas condiciones particular tienen que tener delegado de protección de datos. En el sector público, por ejemplo, el delegado tiene que hacer ir acompañando el proceso en los dos lados. No he dicho, tiene que ir acompañando el proceso. Desde el inicio, tiene que ser invitado a la reunión donde se empieza a tener la idea. Ya, porque siendo participa de esa reunión, él no va a poder decir, ok, esto es lo que había que hacer. Si ya lo invitan cuando la herramienta está saliendo de producción, oye, pero aquí no hay controles. ¿Qué hago? O sea, esto es lo que tienes que hacer y te van a regresar 20 pasos hacia atrás. Te van a hacer que ejecutes un rollback y la herramienta se va a retrasar 6 meses más antes de salir. En costos, cuánto te significa. Y luego, obviamente, pues, una empresa o una entidad y una urgencia en sacar este tipo de herramienta. Estino en un cronograma, tiene necesidad de escribir, etcétera, etcétera. Va a ser una decisión de negocio o de operación, en lanzar la herramienta como está y corregir o hacerlo bien desde el principio. La primera opción es a salir y corregir después es sancionable. El DPO documenta, porque el DPO es un oficial de cumplimiento, así que él tiene una responsabilidad civil, penal, administrativa propia. Él tiene que ir documentando sus recomendaciones, él tiene que ir diciendo yo recomende esto, yo recomende lo acá, yo recomende lo acá, yo recomende lo acá, yo recomende lo acá. Y después, cuando se haga una auditoría, porque la herramienta ya empezó a tenernos problemas o haya un proceso judicial, porque ya empezó a tenernos problemas, el DPO mostrará aquí están todas las recomendaciones que yo hice. Y lo que el empresa tiene que hacer, si lo hace bien, es momento en que sale una recomendación de TPO, la implementa, documenta la implementación, levanta la evidencia, la muestra al DPO y el DPO marca el cheque. Las auditorías, que son obligatorias cuando tienes herramientas de inteligencia artificial, también van a empezar a demostrar ese tipo de evidencias. Si lo hiciste un resiste de manera adecuada desde el principio, y eso van a ser cargas, que eventualmente vamos a tener que responder o van a tener que responder las organizaciones en procesos judiciales, en contra de la auditoría, en todos los órganos de control, que corresponde. O sea, debe haber siempre una trazabilidad desde el inicio del proyecto, siempre debe haber trazabilidad y evidencia suficiente, que eso se suporta, yo sé que estoy hablando mucho de principios, pero se suporta en otro principio de protección de datos personales que es el de responsable a proactivas, donde privacidades del diseño por defecto es una práctica de responsable a proactivas, y luego la otra alimenta de responsable a proactivas que debe estar en capacidad de demostrar que estoy compriendo, no solo decir que compro sino tener la evidencia suficiente, que soporte, que estoy compriendo. Y esta tema de responsabilidad cristiana, ¿cómo funciona cuando una empresa utiliza los servicios de inteligencia artificial y comparte datos con proveedores? ¿Quién tiene la responsabilidad en el caso de que suceda algo? Hay dos niveles de responsabilidad. La responsabilidad más grande la tiene la empresa que contrató, y esa no se va a liberar nunca. Yo que soy el retail, o soy el banco, o soy la aseguradora, o soy la aerolínea, lo que sea, que contrató a una empresa proveedora de inteligencia artificial. Se va para el desarrollo, se va para usar un herramienta que ellos ya proveen desarrollada, yo asumo la responsabilidad de los datos que ellos van a utilizar. Y es donde tengo que implementar controles adecuados. Un contrato de protección de datos personales, adecuado conforme la normativa vigente, que y me diga. todos los riesgos posibles que no puedan utilizar la data para entrenar su modelo, que no puedan utilizar la data para fines diferentes, cosas por el destino. Y por el otro lado, un contrato de servicios también robusto que implique todas las medidas que tiene que considerar. Cosas que, por ejemplo, mucha de nuestra normativa no estaba preparada para eso. Hablamos de ley de comercio electrónico, etcétera, hablamos de ley de defensa de derecho al consumidor, hablamos de la ley de protección de datos. Hoy la ley de fortalecimiento y la ciberseguridad se que se presentó un proyecto de inteligencia que existiera en la assemblea, no he tenido oportunidad de leerlo todavía, pero eso hablará a su pongo esto, porque el nombre del proyecto es ética de la inteligencia artificial. Pero ahí está, el responsable assume ese trán, y luego el encargado o el promedor, él tiene que cumplir esas obligaciones, porque también asume su responsabilidad frente a lo que no cumplió de lo que el responsable dijo. Incluso, si el responsable le da una instrucción, que él sabe absolutamente que es illegal, él tiene que levantar su voz y decir, no lo voy a hacer porque es illegal. Entonces, los dos bajan a compartir la responsabilidad y en el proceso de un sancionador, eventualmente, históricamente, porque en cuando tenemos mucho precedente todavía, pero históricamente se sanciona a los dos, siempre más al uno que al otro, para entendiendo en la carga de la responsabilidad, pero siempre terminan siendo sancionados a los dos, y luego vienen las responsabilidades civiles y luego vienen gas de mandas de daños y luego vienen a ver si no se cometió algún delito, la exposición a nivel constitucional, o sea, no me voy a quedar solo en el entorno administrativo, sino que esto se va o se puede ir expandiendo cada vez más. Christian, y un poco avanzando ya hacia el final de esta interesante entrevista, nos podrías ayudar a entender un poco qué medidas debería adoptar las urbanizaciones, bueno, en este caso, el sector privado y el sector público para nosotros, la Procuraduría General del Estado, para reducir estos riesgos de seguridad, filtración, o uso individuo de datos personales, al utilizar esta inteligencia artificial. Hay una cosa que todos tenemos que tener en mente, que es que lo más probable es que ya estén utilizando inteligencia artificial en siquiera lo sepamos. El primer ejercicio que tenemos que hacer hoy en día es tener un mapa claro de las herramientas que estamos utilizando y generar un buen modelo de gobierno, un buen modelo de gobernantes. Porque, a ver, puede ser que haya lo que se llama la Shadow AI, que son personas que están utilizando herramientas de inteligencia artificial en versiones gratuitas o contratadas por ellos, que no son herramientas que yo controlo como organización, y puede que esté encargando la nómina de los trabajadores porque quieren hacer un forme, puede que esté encargando datos de un proceso judicial, por ejemplo, sólo por poner ejemplo la parroría, ya que puede pasar construcción, pero puede estar sucediendo, cargan los datos y eso puede pasar en una firma, cargan los datos en una versión gratuita, y esa información ya sirvió para alimentar el modelo. Y si es un proceso absolutamente laboroso. En las versiones gratuitas especialmente y en las versiones particulares, hay que tener muy claro los avisos de privacidad de cada una de estas versiones, las versiones corporativas, las versiones Teams, las versiones más robustas, para operación corporativa y empresarial, u organizacional, tienen otras condiciones de privacidad, esa normalmente me da un cajón cerrado donde toda mi información permanece en ese caón y no alimenta el modelo. Sandbox. Sandbox, ya, pero en las versiones gratuitas, o en las versiones más económicas, como la Pro de Cloud, incluso la Max de Cloud o la Plus de Chat Dpt o versiones de Gemini, etcétera, van a utilizar esa información para alimentar el modelo y eso puede hacer que incluso haya una posibilidad de reidentificación de la persona. Si alguien consulta en algún otra parte, el modelo puede ser que, dependiendo de las consultas que les voy haciendo, les empieza a revelar información. Entonces, lo primero es tener un mapa claro de que se está utilizando, establecer reglas claras, y luego efectivamente tener capacidad de entender cómo operan estas herramientas, que el proveedor nos explica que el desarrollo sea lo suficientemente claro para empezar a implementar las medidas de seguridad adecuadas, analizar mi riesgo y implementar medidas de seguridad. Si tengo el riesgo de que la data sea reutilizada, pues busca una versión que no utilice la data o me cambio del parador. Las medidas de seguridad varían mucho dependiendo de lo que hagan y lo que voy a hacer, el volumen de la data, la finalidad que voy a perseguir, pero siempre parten de un análisis previo. De hecho, la Procuratoria también está comprometida con estos procesos hace poco de dos meses, un grupo de funcionarios y videos públicos, recibieron una capacitación relacionada precisamente con la inteligencia artificial legal y la protección de datos personales. Más de encantado haberlo recibido y las veces que ustedes consideren necesario, porque en realidad, uno de los compromisos que nosotros tenemos como firma y un compromiso personal es difundir este tipo de cosas, porque es tras pasar el conocimiento para que todos estemos preparados. Y un aplauso enorme a la Procuratoria por tomar interés en estos temas, porque en realidad muy pocas organizaciones lo han visto con una visión de tal interés, especialmente una organización como la Procuría, que finalmente tiene otras obligaciones que se extienden hacia todo el entorno público, es importante que estén preparados en este tipo de cosas. Muchas gracias Cristiano, muchas gracias Jennifer. La manera de conclusión podemos señalar que en el tema de protección de datos tener un esquema de gobernación de datos es fundamental que es a partir de donde se gobiernan los datos para principalmente proteger los derechos. Luego mencionamos sobre la transparencia algoritmica, que las personas que usan tanto personas públicas o privadas deberían tener acceso a esta transparencia algoritmica, la minimización de datos para que las organizaciones utilicen los mínimos datos posibles para tomar sus visiones, mencionaste también que vea que tiene una responsabilidad por activa, no reactiva, frente a la protección de datos, y que todo ya se evalué bajo el parámetro del impacto. Te agradecemos mucho Cristiano, agradecemos a la Universidad de Andina Simón Bolívar por este espacio para la generación del podcast, e invitamos a nuestros oyentes para que nos escucha en el siguiente capítulo. Esto fue un podcast patrocinado por la Procuraduría General del Estado. Le agradecemos sus comentarios, gracias y hasta pronto.

Podcast Summary

Key Points:

  1. La inteligencia artificial plantea desafíos significativos en la protección de datos personales, especialmente por el uso no consciente de información personal en el entrenamiento de modelos.
  2. Los algoritmos pueden perpetuar sesgos históricos y discriminatorios, lo que afecta injustamente decisiones en sectores clave como el público, la salud o la educación.
  3. Es fundamental implementar un enfoque de transparencia algorítmica, que incluya explicar claramente cómo se usan los datos y qué decisiones se toman con ellos.
  4. La privacidad desde el diseño y por defecto debe ser un principio obligatorio en el desarrollo de tecnologías, ya que previene daños graves y reduce costos a largo plazo.
  5. Las organizaciones, tanto públicas como privadas, deben establecer mecanismos de supervisión humana y control para evitar decisiones completamente automatizadas.
  6. La responsabilidad legal recae en la empresa que contrata el servicio, pero también en el proveedor, y ambos deben cumplir con obligaciones de protección de datos.
  7. Es crucial tener un mapa claro de todas las herramientas de inteligencia artificial en uso, especialmente las gratuitas o de bajo costo, que pueden alimentar modelos sin control.
  8. La normativa debe evolucionar para centrarse en los efectos reales sobre las personas, no solo en riesgos previos, y para exigir evidencia de cumplimiento en todos los procesos.

Summary:

La entrevista destaca los riesgos que la inteligencia artificial impone en la protección de datos personales, especialmente al utilizar datos sin consentimiento en el entrenamiento de modelos. Christian Espinoza Velarde explica que estos modelos pueden perpetuar sesgos históricos, afectando injustamente decisiones en sectores clave como salud, educación y empleo. Se enfatiza la necesidad de transparencia algorítmica, donde los usuarios deben conocer cómo se procesan sus datos y qué decisiones se toman.

Además, se propone que la privacidad debe implementarse desde el diseño y por defecto, evitando costos elevados y daños reputacionales por decisiones posteriores. La responsabilidad legal recae en la empresa que contrata, pero también en el proveedor, y ambos deben cumplir con contratos claros de protección de datos. Se recomienda crear mapas de herramientas en uso, especialmente las gratuitas que alimentan modelos sin control, y establecer procesos de supervisión humana para evitar decisiones automatizadas.

Finalmente, se apela a una normativa que evalúe los efectos reales sobre las personas, no solo los riesgos previos, y que exija evidencia de cumplimiento en todos los procesos de implementación. La Procuraduría General del Estado destaca su compromiso con la formación en estos temas, destacando la importancia de prepararse ante la transformación tecnológica.

FAQs

Uno de los principales desafíos es la falta de control sobre los datos personales que se utilizan para entrenar los modelos, ya que muchas veces las personas no saben que sus datos son utilizados. Además, estos modelos pueden perpetuar sesgos históricos en decisiones automatizadas, afectando negativamente a grupos vulnerables.

Debe analizar cuidadosamente los datos históricos utilizados para entrenar los modelos, identificar sesgos previos y implementar medidas correctivas. También es esencial incluir una revisión humana en las decisiones automatizadas para detectar y corregir sesgos.

La transparencia permite que las personas entiendan cómo se toman las decisiones que afectan sus derechos, como el acceso a servicios o beneficios. Esto es clave para ejercer el derecho a la autodeterminación y a no ser objeto de decisiones totalmente automatizadas.

Implica incorporar controles de protección de datos desde el inicio del desarrollo de una herramienta de inteligencia artificial, asegurando que los datos personales sean protegidos por defecto, sin necesidad de activar controles adicionales.

La empresa que contrata el servicio asume la responsabilidad principal por el uso y tratamiento de los datos personales, incluso si los proveedores desarrollan los modelos. Debe implementar controles adecuados y cumplir con las obligaciones establecidas en los contratos.

Deben tener un mapa claro de las herramientas en uso, aplicar la minimización de datos, evaluar el riesgo de reutilización, verificar los avisos de privacidad, y establecer controles de seguridad que varíen según el volumen y finalidad de los datos.

Chat with AI

Loading...

Pro features

Go deeper with this episode

Unlock creator-grade tools that turn any transcript into show notes and subtitle files.