點擊下方“JavaEdge”，選擇“設為星標”

第一時間關注技術干貨！

本文已收錄在Github，關注我，緊跟本系列專欄文章，咱們下篇再續(xù)！

• 魔都架構師 | 全網(wǎng)30W技術追隨者

• 大廠分布式系統(tǒng)/數(shù)據(jù)中臺實戰(zhàn)專家

• 主導交易系統(tǒng)百萬級流量調優(yōu) & 車聯(lián)網(wǎng)平臺架構

• AIGC應用開發(fā)先行者 | 區(qū)塊鏈落地實踐者

• 以技術驅動創(chuàng)新，我們的征途是改變世界！

• 實戰(zhàn)干貨：編程嚴選網(wǎng)

0 前言

曼徹斯特大學 Beehive Lab 發(fā)布 GPULlama3.java，這是首個支持 GPU 自動加速的 Java 原生 Llama3 實現(xiàn)。該項目基于 TornadoVM，讓開發(fā)者無需編寫 CUDA 或原生代碼，即可在 Java 中實現(xiàn)LLM的 GPU 推理。這有望徹底改變 Javaer 在企業(yè)環(huán)境中構建 AI 應用的方式。

1 GPULlama3.java 的核心

TornadoVM —— 一款創(chuàng)新的異構編程框架，它擴展了 OpenJDK 和 GraalVM，使 Java 程序能自動在 GPU、FPGA 以及多核 CPU 加速運行。與傳統(tǒng) GPU 編程方式不同，TornadoVM 無需手動重寫 CUDA 或 OpenCL 代碼，開發(fā)者可完全用 Java 編寫邏輯，TornadoVM 負責底層加速。

根據(jù) TornadoVM 官方文檔 的介紹，該系統(tǒng)通過擴展 Graal JIT 編譯器，添加專用后端，在運行時將 Java 字節(jié)碼轉換為 GPU 可執(zhí)行代碼。只需用@Parallel注解標記方法，TornadoVM 就能將普通 Java 字節(jié)碼轉換為 Graal 中間表示（IR），應用 GPU 優(yōu)化策略，并生成目標平臺代碼，如 OpenCL C（跨平臺）、PTX（NVIDIA）或 SPIR-V（二進制格式，支持 Intel 顯卡）。

// 來自 TornadoVM 文檔的 TaskGraph 示例 TaskGraph taskGraph = new TaskGraph("computation")     .transferToDevice(DataTransferMode.FIRST_EXECUTION, data)     .task("process", MyClass::compute, input, output)     .transferToHost(DataTransferMode.EVERY_EXECUTION, output); TornadoExecutionPlan executor = new TornadoExecutionPlan(taskGraph.snapshot()); executor.execute();

根據(jù) TornadoVM 編程指南，開發(fā)者可用與硬件無關的 API，在不同硬件平臺上運行相同的 Java 代碼。TornadoVM 運行時會自動處理所有設備相關的優(yōu)化、內存管理和數(shù)據(jù)傳輸。

2 支持后端

GPULlama3.java 支持三種主要后端，可運行在多種硬件：

• NVIDIA 顯卡：支持 OpenCL 和 PTX 兩種后端

• Intel 顯卡：包括 Arc 獨顯和集成的 HD Graphics，支持 OpenCL

• Apple Silicon：M1/M2/M3 可通過 OpenCL 運行（但由于 Apple 已棄用 OpenCL，未來將轉向 Metal）

項目運行時可通過命令行參數(shù)配置：

# 使用 GPU 加速運行（項目 README 示例） ./llama-tornado --gpu --verbose-init --opencl --model beehive-llama-3.2-1b-instruct-fp16.gguf --prompt "Explain the benefits of GPU acceleration."

該項目依賴 Java 的現(xiàn)代功能，具體包括：

• 要求Java 21 及以上版本，以使用 Vector API 和 Foreign Memory API

• 支持GGUF 模型格式，方便模型打包與部署

• 支持量化格式（Q4_0 和 Q8_0），以降低內存占用

GPULlama3.java 基于 Alfonso Peterssen 的原始 LLama3.java 實現(xiàn) 開發(fā)，并在此基礎引入 TornadoVM GPU 加速功能。正如 Peterssen 在 Devoxx 2024 大會 展示，他的工作首次實現(xiàn)無需原生依賴即可運行 Llama 模型。TornadoVM 團隊進一步將其適配為異構加速架構。

3 Java LLM 項目

GPULlama3.java 的發(fā)布也使其成為 Java LLM 項目的一員，其他相關項目還包括：

• JLama：一個現(xiàn)代 Java LLM 推理引擎，支持分布式部署

• Llama3.java：專注 CPU 優(yōu)化的純 Java 實現(xiàn)

正如 Quarkus 官方博客關于 Java LLM 的文章 所指出的，Java 生態(tài)系統(tǒng)正不斷拓展其 AI/機器學習能力，使開發(fā)者能夠無需離開 Java 平臺就能構建 LLM 驅動的應用程序。

TornadoVM 起源于曼徹斯特大學的研究項目，自 2013 年以來持續(xù)發(fā)展，目標是讓 Java 開發(fā)者更容易使用異構計算。該框架目前仍在不斷增加后端支持并進行性能優(yōu)化。

4 當前進度

GPULlama3.java 目前處于測試階段，團隊正在持續(xù)優(yōu)化性能并收集基準測試數(shù)據(jù)。由于 Apple 棄用 OpenCL，當前在 Apple Silicon 上的性能不佳，TornadoVM 團隊正在開發(fā) Metal 后端，以提升兼容性并優(yōu)化 Transformer 操作。

5 總結

總的來說，GPULlama3.java 的發(fā)布標志著 Java 生態(tài)在 GPU 加速 LLM 推理方面邁出了重要一步。得益于 TornadoVM 的加持，Java 開發(fā)者無需跳出熟悉的開發(fā)環(huán)境，就能享受到 GPU 加速的強大計算能力。盡管目前仍在開發(fā)中，但該項目已展示出 Java 在 AI 應用中無限的可能性，特別是在對安全性、可擴展性與可維護性有高要求的企業(yè)級場景下。

對想要在 Java 中嘗試 GPU 加速 LLM 推理的開發(fā)者而言，該項目已經(jīng) 開源發(fā)布于 GitHub，并配有文檔和示例，方便快速上手。

加我好友，一起AI探索交流！