-
Exécutez une IA agentique locale sur le Mac à l’aide de MLX
Exécutez des agents d'IA localement pour bénéficier de la confidentialité, d'une faible latence et d'un accès hors ligne. Découvrez comment les améliorations de MLX et le matériel Mac permettent de disposer de processus agentiques puissants entièrement sur l'appareil. Vous explorez des agents de codage tels qu'OpenCode. Vous voyez comment ils s'intègrent dans Xcode, apprenez des techniques de mise à l'échelle multi-Mac, et découvrez comment intégrer des outils de manière transparente, sans jamais quitter votre Mac.
Chapitres
- 0:00 - Introduction
- 0:32 - Le chat et la boucle agentique
- 2:42 - Pile d’IA agentique locale
- 4:36 - Configurer votre propre agent
- 5:39 - Accélérer les agents
- 6:53 - Concurrence et inférence distribuée
- 9:20 - Plus d’exemples
- 13:01 - Étapes suivantes
Ressources
- MLX Swift LM on GitHub
- MLX Swift Examples
- MLX Examples
- MLX Swift
- MLX LM - Python API
- MLX Explore - Python API
- MLX Framework
- MLX
Vidéos connexes
WWDC26
- Explorez l’inférence et l’entraînement distribués avec MLX
- Explorez le calcul numérique en Swift avec MLX
WWDC25
-
Rechercher dans cette vidéo…
-
-
4:40 - Set up MLX-LM and start the local server
# Step 1: Install MLX-LM pip install mlx-lm # Step 2: Start the server mlx_lm.server --model mlx-community/Qwen-3.5-4B-8bit # Step 3: Point your agent to the server curl -X POST \ http://127.0.0.1:8080/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{"model":"default_model","messages":[{"role":"user","content":"Hello!"}]}' -
5:18 - Configure an agent to use your local MLX server
{ "$schema": "https://opencode.ai/config.json", "model": "mlx/default_model", "small_model": "mlx/default_model", "provider": { "mlx": { "npm": "@ai-sdk/openai-compatible", "name": "MLX (local)", "options": { "baseURL": "http://127.0.0.1:8080/v1" }, "models": { "default_model": { "name": "Default MLX Model" } } } } } -
8:33 - Launch distributed inference with MLX
mlx.launch --hostfile hosts.json \ --backend jaccl \ /remote/path/to/mlx_lm.server \ --model mlx-community/Qwen-3.5-122B-A3B-8bit
-