Formal & computational methodsMétodos formales y computacionales
I like building models. Besides the formal tools of probability and decision theory, I use computer simulation: I have written an agent-based model of science, inspired by Kuhn, which you can run here. Lately I have been exploring how large language models can serve as tools for eliciting priors and preferences, so that decisions can be modelled with the beliefs and values people actually have.
I am also interested in the mechanistic interpretability of LLMs, in particular in measuring how consistent a model’s opinions are. To study this first-hand, I am building a computer to run open-weight models locally: a small lab of my own for probing models, intervening on their internal states, and testing whether ideas from formal epistemology can guide those interventions.
Me gusta construir modelos. Además de las herramientas formales de la probabilidad y la teoría de la decisión, uso la simulación computacional: he escrito un modelo basado en agentes de la ciencia, inspirado en Kuhn, que puedes correr aquí. Últimamente exploro cómo los grandes modelos de lenguaje pueden servir como herramientas para elicitar probabilidades previas y preferencias, de modo que las decisiones puedan modelarse con las creencias y los valores que las personas realmente tienen.
También me interesa la interpretabilidad mecanicista de los LLMs, en particular medir cuán consistentes son las opiniones de un modelo. Para estudiarlo de primera mano, estoy armando una computadora para correr modelos de pesos abiertos en local: un pequeño laboratorio propio para sondear los modelos, intervenir en sus estados internos y probar si ideas de la epistemología formal pueden guiar esas intervenciones.
agent-based models, simulation, LLM-based elicitation of priors & preferences, mechanistic interpretability, probing