Durante seis semanas, el ejecutable nativo de Protos funcionó en modo intérprete. La investigación empezó con un error que parecía de unboxing, pasó por un caso abierto en GraalVM y acabó con un cambio de método. Dejé de perseguir el último error del compilador y empecé a leer las rutas completas que lo llevaban hasta allí.
El 17 de noviembre volví a ver opt done y Tier 2 en el registro del ejecutable nativo de Protos. Cuatro compilaciones correctas, ningún fallo y un 1 en la salida. Ese 1 era exactamente lo que esperaba. También era lo que podía devolver el intérprete cuando fallaba el compilador. La diferencia estaba en las cuatro líneas anteriores.
Octubre. El error que parecía de unboxing
Protos está implementado sobre Truffle. Con GraalVM Native Image puedo compilar el runtime y el intérprete por adelantado y distribuirlos como un ejecutable. Una vez en marcha, ese ejecutable también puede usar el compilador de Truffle para optimizar los programas escritos en Protos. Son dos momentos distintos. Native Image construye el ejecutable y el JIT compila el programa que este ejecuta.
El problema apareció en ese segundo momento. Truffle intentaba compilar una raíz de Bytecode DSL en Tier 2 y Graal abortaba con este mensaje:
Object of type Lcom/oracle/truffle/api/impl/FrameWithoutBoxing;
should not be materialized
Mi primera sospecha fue el unboxing. El nombre FrameWithoutBoxing apuntaba a la zona en la que estaba trabajando, donde Protos intenta conservar valores primitivos como long sin envolverlos en objetos Java. La pregunta era si alguna de nuestras especializaciones obligaba a convertir el frame virtual de Truffle en un objeto real durante la compilación. Para comprobarlo, fui quitando piezas hasta quedarme con una raíz de Bytecode DSL independiente de Protos. Su cuerpo solo devolvía la constante 1L.
b.beginRoot();
b.beginReturn();
b.emitLoadConstant(1L);
b.endReturn();
b.endRoot();
Sin variables locales, sin continuaciones, sin operaciones de Protos y sin activar la eliminación de boxing en el reproductor, el error seguía apareciendo. La misma raíz compilaba en Tier 2 sobre la JVM. El 1 de octubre abrí el caso oracle/graal#14579 con el proyecto mínimo, las trazas y las instrucciones para repetirlo.
Mientras tanto, necesitaba que Protos siguiera teniendo un ejecutable nativo utilizable. El 2 de octubre opté por construirlo con el runtime de respaldo de Truffle:
-Dtruffle.UseFallbackRuntime=true
El binario seguía construido con Native Image y podía ejecutar Protos en el intérprete. La edición sobre la JVM conservó su JIT. El coste de aquella decisión era explícito. La edición nativa perdía la optimización de los programas que ejecutaba. Decisión PLAT045
Noviembre. GraalVM cierra el caso y la investigación vuelve a Protos
El 12 de noviembre llegó la respuesta de GraalVM. La clase generada MiniPlainRootGen estaba configurada para inicializarse en tiempo de ejecución. Eso dejaba su método execute fuera del soporte de compilación en tiempo de ejecución. Durante la evaluación parcial, Graal veía una llamada cuyo interior no podía analizar. El frame escapaba por esa llamada y el compilador acababa intentando materializarlo. Para el reproductor, la corrección era inicializar el paquete repro al construir la imagen. GraalVM cerró el caso con esa explicación.
--initialize-at-build-time=repro
Ahí cambió mi lectura del mensaje original. FrameWithoutBoxing era el objeto que terminaba escapando. La explicación estaba en la llamada por la que escapaba. Y resolver esa llamada en un proyecto mínimo dejaba abierta la pregunta que me importaba: qué rutas estaba haciendo alcanzables el propio Protos cuando activaba su compilador.
La primera prueba con Protos devolvió Blocklisted methods are reachable for runtime compilation y señaló BigInteger.valueOf(long) a través del despacho genérico de interop. Probé también a inicializar un paquete entero durante la construcción de la imagen. El error se desplazó al image heap, primero con ProtosRegexSemanticTransferFamily y después con ProtosClosureValue. La opción que resolvía el proyecto mínimo tenía un alcance mucho mayor al aplicarla a un paquete real del intérprete. Registro de la investigación del 13 de noviembre
La zanahoria. Un método más y seguro que compila
Durante un tiempo fui detrás de cada método que aparecía. Cambiaba una frontera, ajustaba la inicialización de una clase o revisaba un camino de despacho. Volvía a construir la imagen y el siguiente fallo me daba otro nombre. Cada iteración parecía acercarme al final. En realidad, el compilador me estaba enseñando rutas distintas de un mismo grafo.
En esa revisión también tuve que mirar con otros ojos las «libertades» que se había tomado la IA al implementar partes del runtime. Yo había aceptado soluciones Java porque encajaban con la semántica de Protos y pasaban las pruebas. Algunas conectaban caminos que Truffle intenta mantener separados. Una operación que debía poder especializarse acababa arrastrando lógica de ciclo de vida del host, como la finalización de un actor y la limpieza de sus recursos de E/S.
Un ejemplo fue la ruta que pasaba por ProtosActor.markTerminated(). El método que aparecía al final de la traza podía pertenecer a una biblioteca Java. Sin embargo, la decisión que debía revisar estaba varios pasos antes, en Protos, donde la ruta del código guest entraba en la limpieza del actor. Acabé poniendo una frontera @TruffleBoundary en terminalActorIoLifecycleCleanupForRuntime para que la evaluación parcial dejara esa limpieza como una llamada. El actor seguía ejecutando su limpieza cuando correspondía. Lo que cambiaba era hasta dónde se metía el compilador al especializar el programa guest.
A partir de ahí empecé a contrastar esas decisiones con GraalPy y con otros lenguajes de Truffle. En Protos, operaciones como while o + tienen sintaxis y semántica de mensajes. En el camino habitual, quiero que Truffle pueda ejecutarlas como operaciones internas especializadas. Una implementación Java puede respetar lo que devuelve el programa y, al mismo tiempo, llevar al compilador por rutas que nunca debió tener que analizar.
La herramienta ya estaba dejando las pistas
El cambio de ritmo llegó cuando dejé de leer el último método del error y empecé a procesar los informes completos svm_err*.md de Native Image. Los informes de alcanzabilidad incluían rutas que podía extraer y agrupar. También usé javap para comprobar qué clase declaraba realmente ciertos métodos del bytecode generado. Eso me permitió comparar el conjunto de hallazgos entre construcciones y ver qué se había resuelto y qué seguía allí.
El ejemplo más claro llegó en un análisis que señalaba 227 métodos. De ellos, 224 pasaban por ProtosActor.markTerminated() y otros dos por ProtosBufferedByteIo.pump() y doFlush(). Leídos uno a uno, parecían centenares de reparaciones. Agrupados por la ruta que los hacía alcanzables, mostraban dónde concentrar el trabajo.
También aprendí a desconfiar de un cero. En una prueba intermedia desaparecieron los 137 hallazgos de una categoría, pero Native Image seguía fallando por otro motivo. El cero describía lo que había podido extraer de ese informe. Para dar por recuperado el JIT todavía tenía que construir el binario, ejecutarlo y ver una compilación real de Truffle.
La prueba final. Un 1 con cuatro compilaciones detrás
La sonda que usé en el ejecutable nativo arrancaba con este código Protos:
x: 1
f: () => { x }
g: () => { (() => false).whileTrue(() => { null }) }
El generador añadía 500 pares de llamadas a f() y g(), seguidos de print(f()). Así ejercitaba una clausura que captura una variable y un camino que pasa por el control de bucle. Ejecuté la sonda con trazas de compilación, compilación inmediata y compilación en segundo plano desactivada. Este es el registro abreviado:
[engine] opt done ... ProtosBytecodeRootNodeGen ... |Tier 2|
[engine] opt done ... ProtosBytecodeRootNodeGen ... |Tier 2|
[engine] opt done ... ProtosBuiltinCallRootNode ... |Tier 2|
[engine] opt done ... ProtosBuiltinCallRootNode ... |Tier 2|
1
La validación registró cuatro compilaciones Tier 2, dos de raíces generadas por Bytecode DSL y dos de raíces de llamadas a operaciones internas. Hubo cero fallos de compilación, cero fallos de FrameWithoutBoxing y cero señales del runtime de respaldo. También pasó la suite de regresión nativa. En la imagen separada de JUnit, el contexto Polyglot compartido de las pruebas pasó a inicializarse al ejecutar la imagen, y las 38 pruebas de TLS pasaron. Evidencia de aceptación de I115
El cambio quedó publicado en el repositorio de Protos como 0.4.155-SNAPSHOT, con una prueba que exige evidencia positiva de Tier 2 en el ejecutable nativo. La transcripción completa corresponde a la ejecución local previa, sobre 0.4.154-SNAPSHOT. Después de publicar el cambio volví a pasar los tests en local y cerré el seguimiento de la incidencia en Protos. Commit de recuperación · Cierre de UPSTREAM004
Lo que más me habría ahorrado tiempo en octubre era saber leer una traza de alcanzabilidad como un mapa de decisiones del runtime. El último método decía dónde se había detenido Graal. La ruta completa decía qué decisión de Protos lo había llevado hasta allí. Y el 1 que había salido por pantalla desde el principio solo me sirvió para dar el trabajo por acabado cuando pude ver, justo encima, quién lo había compilado.