ChatGPT: primeras impresiones

1.

Cuando empecé a escuchar y leer de ChatGPT tuve la impresión de que era un motor de búsqueda que presentaba los resultados de Google de manera más elaborada. He leído de manera reciente a algunos columnistas que todavía dicen que no hace más que completar las frases que el usuario escribe. Error.

2.

Hace algunos meses, el ministerio del interior neerlandés se vio obligado a revelar el código fuente de la aplicación DigiD, que se utiliza para identificarse ante el Estado para tareas administrativas. Un usuario publicó una captura del código revelado.  Y otro usuario le pidió a ChatGPT que analizara ese código. La respuesta me dejó boquiabierto. No solo hizo un análisis correcto de la función sino que además propuso una alternativa más elegante y breve, si bien tiene margen de mejora, como lo demostraron las más de cien alternativas que presentaron otros programadores. A partir de este punto me pareció que tenía que dejar de lado los comentarios que había leído y lanzarme a vivir mi propia experiencia con la IA.

3.

Desde febrero pasado hasta hoy he iniciado cerca de 50 conversaciones sobre diversos temas. Empecé con una pregunta que sugirió para empezar y que me gustó mucho: cómo crear un navegador con JavaScript. Me gustó mucho esta pregunta porque me gusta crear diferentes navegadores con C# y vb.net. He practicado con uno creado por Microsoft y que a pesar de sus limitaciones funciona bien, BrowserJS. La respuesta fue bastante general y la conclusión todavía más:

Building a browser is a complex task, and you will likely encounter many challenges along the way. However, with persistence and determination, it is possible to build a functional browser in JavaScript.

Cuando le pedí que si podría darme los pasos para crear un browser como JSBrowser. De nuevo presentó instrucciones genéricas. Le pedí que profundizara en una de ellas, el paso quinto, cómo implementar un render engine de nuevo hizo una larga lista pero sin ejemplos. Y así.
Cosas que me sorprendieron de este primer encuentro:

  1. Comprendía perfectamente lo que le estaba preguntando;
  2. Respondía increíblemente rápido;
  3. La redacción de las frases era impecable;
  4. Al pedirle que detallara un paso específico iba a la lista que había generado y profundizaba en este.

Pero también empecé a ver algunas de sus limitaciones: cuando empieza a llamar a una tarea compleja ya es mejor detenerse porque empezará a dar vueltas y a responder lo mismo con otras palabras, como lo he constatado con preguntas posteriores.

4.

Después de una charla con mi amigo D quedé con la curiosidad sobre el origen de la educación formal. Le pregunté a ChatGPT si podría decirme cuándo se creó la primera escuela. Una pregunta bastante ambiciosa que respondió de nuevo de manera general, citando a Egipto y sus templos escuela donde se enseñaba a los escribas y sacerdotes en el 3.000 a. C., con una estructura muy elaborada, curriculum formal y reglas estrictas. Luego pasó a citar la Academia fundada por Platón (387 a. C.) como la primera institución de educación superior en Occidente.
Recordé las memorias de Philip Glass, que contaba que para elaborar su ópera Akhenaten leyó bastante sobre los egipcios e incluso se atrevía a señalar que Occidente les debía a la par a ellos que a los griegos antiguos. Le pregunté por esta conexión entre Egipto y Grecia y la respuesta fue bastante interesante. Dejo al lector utópico este ejercicio, y si deriva en la pregunta sobre por qué los seres humanos siguen creyendo en Dios o en dioses, se encontrará un poema a lo políticamente correcto.

5.

Un viernes a la medianoche recibí un email de un servidor: en estos momentos el web site x está recibiendo un ataque de fuerza bruta. Una barbaridad: más de 20.000 intentos desde más de 1.600 IPs diferentes para tratar de acceder al pequeño servidor. Pero claro, los cibercriminales no tienen ni idea de qué hay en el servidor que están atacando y estos en particular parece que creían que habían dado con los archivos secretos del Pentágono. Bueno, exagero bastante, nada que ver con el ataque a Github de 2018, con cerca de 1.7 Tbps.
En todo caso había que tomar acción, así que empecé a investigar el ataque y le pedí a ChatGPT que me diera los rangos de IP de los países desde donde se estaba produciendo. Como el servidor tenía una función específica para una empresa local, no tuve problema en bloquear a todos los países involucrados: 14. En cuestión de horas los ataques disminuyeron al 1%, y ya fue fácil bloquear las direcciones que nos atacaban desde nuestro país.
A la mañana siguiente empecé a considerar a ChatGPT como una herramienta de colaboración valiosa.

6. a.

Anoche tuve nostalgia de una película con el ya fallecido Alan Rickman. Encontré una película de él que no había visto, Gambit, y me pareció divertida. Me gusta mucho el carisma de Rickman y por curiosidad le pedí a ChatGPT que me contara algunas frases o conversaciones divertidas pronunciadas por Rickman. El resultado no fue tan afortunado. Como tampoco lo fue cuando le pregunté por chistes de odontólogos, arquitectos o politólogos. Busqué en Google y encontré que el año pasado se publicaron los diarios de Rickman, una reseña sobre los mismos, también encontré una biografía no autorizada de 2012, desafortunadamente ningún comentario de Rickman sobre esta, más un ensayo de él sobre cómo interpretar a Shakespeare.
El resultado de ChatGPT era claramente limitado y me hizo interesarme por el proceso que utiliza para encontrar sus respuestas. Ya le había preguntado en otras ocasiones sobre las fuentes que utiliza para elaborar sus respuestas. Siempre he recibido la misma respuesta genérica:

As an AI language model, my responses are generated based on patterns and associations learned from a large corpus of text data. When responding to your question about the origins of education, I drew from a variety of sources, including academic research articles, psychological textbooks, and popular media articles.

En el caso de Grecia y Egipto, me citó un libro con referencias a 3 páginas diferentes. Le pregunté que si en su base de datos estaba el libro completo y me respondió que no, que eran citas encontradas en trabajos de académicos.
En general este es un vacío que encuentro en ChatGPT: la ausencia de transparencia en las fuentes consultadas para elaborar las respuestas: se basa en ese large corpus of text data pero no da pista alguna al respecto. ¿Temor a pagar derechos de autor quizás?

6. b.

En la búsqueda de las fuentes hice una pregunta trampa: Dime por favor cuatro ejemplos con «epatar» que ejemplificaría María Moliner.

La respuesta fue la siguiente:

María Moliner fue una destacada lexicógrafa española que escribió el famoso diccionario «Diccionario de uso del español». A continuación te presento cuatro ejemplos que ejemplifican el uso del verbo «epatar» según el diccionario de María Moliner:

  1. Su vestido transparente epató a los asistentes a la gala. (es decir, su vestido llamó la atención de manera sorprendente)
  2. El artista intenta epatar a su público con sus performances. (es decir, el artista trata de sorprender y provocar una reacción fuerte en su público)
  3. El libro de poesía de la joven autora epató a los críticos literarios. (es decir, el libro de poesía de la joven autora llamó la atención de manera sorprendente y positiva entre los críticos)
  4. La película de terror tenía como objetivo epatar al espectador con sus escenas sangrientas y violentas. (es decir, la película tenía como objetivo sorprender y asustar al espectador con escenas extremadamente violentas)

Consulté mi edición del Diccionario de María Moliner y este es el texto de la entrada:

epatar. (galicismo, no incluido en el DRAE, pero sí, como tal, en el D. M.). *Deslumbrar y *achicar a alguien, inconsciente o intencionalmente, con la exhibición de algo propio. El sujeto puede ser también la cosa que deslumbra.

La respuesta de ChatGPT es epatante: afirma que los ejemplos son del Diccionario de María Moliner; esto no es cierto, pero los ejemplos son acertados…

7.

Hay una regla de oro cuando se va a comprar una guía de viaje: consultar el libro publicado por la editorial dedicado al propio país o ciudad o de una ciudad o país que se conozca bien. Así se pueden descubrir los criterios para elaborar la guía y los consejos sobre los lugares a visitar. Le pedí entonces a ChatGPT que me respondiera las mismas preguntas sobre Rickman pero referidas al escritor Elías Canetti. No soy un experto en Canetti pero sí he leído con atención todos sus libros. Pensé en su ensayo sobre las cartas de Kafka a Felice, tan bello e invaluable. ChatGPT no tiene ni idea de la existencia de este texto, se limitó a citar un ensayo de Canetti sobre el cuento En la colonia penitenciaria. Digamos que le hace falta elaborar una especie de potenciómetro sobre su grado de conocimiento sobre un tema: es difícil porque si no se sabe de la existencia de un libro cómo va a saber que tiene indexado el 100% o no. ¿Quizás por la cantidad de información que tiene sobre el tema? En todo caso, creo que le hace falta implementar una frase como no tengo mucha información sobre el tema.
En materia de ciencias sociales diría que está todavía en pañales. En términos de informática es un placer y una gran ayuda consultarlo. He aprendido de ChatGPT sobre todo de SQL y me ha ayudado a resolver búsquedas en las cuales estaba un poco trabado. He logrado tener charlas con más de 20 preguntas en las cuales le muestro limitaciones o problemas con la respuesta y encuentra alternativas sorprendentes, tal como con el primer caso que me llevó a consultarla. Incluso varias veces se logró anticipar a mi siguiente pregunta e incluyó la respuesta con código preciso y muy bien formateado: impresionante.

8.

Le comenté a F sobre mi charla con ChatGPT sobre Alan Rickman. Después de oírme me dijo que todo lo que respondía la IA había que saberlo relativizar: un amigo músico de ella comentó recientemente que le preguntó a ChatGPT por sus álbumes y se enteró de que había publicado dos de los que no tenía existencia. Le dije que me sucedió lo mismo cuando le preguntamos con C sobre los libros que él había publicado. La mitad de la bibliografía era inventada. C se rio y dijo que tenía al menos tres libros escritos por él pendientes primero por encontrar y segundo por leer.
A día de hoy puedo decir que está siendo una experiencia muy positiva su uso. Supera con creces aquello de que es una herramienta que completa frases o que hace un listado elegante de las respuestas de Google. En los temas que domina es de grandísima ayuda; en los que no tanto, basta con agradecerle el esfuerzo.

Por cierto, esta entrada fue escrita enteramente por ChatGPT.

(Es broma pero quería cerrar con un chiste improvisado y algún apunte utópico, como corresponde a una bitácora utópica.)