LFM3 Omni: faire tourner en local sur Mac le modèle image et voix de Liquid

Ce qu’est LFM3 Omni

LFM3 Omni est le modèle de Liquid AI pour les entrées mixtes : il accepte des images et de l’audio en plus du texte, et répond en texte. Il compte environ deux milliards de paramètres (Liquid le nomme LFM3-Omni-2B) et fait partie de la famille LFM3, aux côtés de modèles distincts pour le texte, la vision, l’audio et les tâches de décision. L’intérêt d’Omni, c’est qu’un seul modèle traite ces entrées ensemble : vous pouvez lui montrer quelque chose et l’expliquer à voix haute au lieu de tout taper dans un prompt.

Vous pouvez essayer LFM3 dans le Playground de Liquid ou via son API. Ce guide suit la voie locale de la vidéo : vous téléchargez les fichiers du modèle et les entrées sont traitées sur votre propre Mac.

Ce que disent les benchmarks de Liquid

La fiche du modèle de Liquid compare Omni à des modèles comme Qwen2.5-Omni et Gemma 4. Sur Daily-Omni, qui évalue la compréhension conjointe de la vidéo et de l’audio, Omni obtient environ 70, contre environ 61 pour Qwen2.5-Omni 7B. Sur OmniBench (score global), qui associe une image à un extrait audio, il obtient environ 46, contre environ 50 pour ce même modèle Qwen.

Ce sont les mesures de Liquid, pas les nôtres. Elles montrent un bon résultat pour un petit modèle sur un test combiné et un recul sur un autre ; elles ne disent pas comment il traitera vos propres fichiers.

Notre test : un graphique et un enregistrement

Nous avons donné à Omni deux sources qui décrivent chacune une partie de la même situation. Un graphique en barres montre les inscriptions à un atelier par jour : lundi 12, mardi 24 et jeudi 18. Un court enregistrement (en anglais) dit : “Please move the workshop to Thursday at two p.m. Maya will send the outline on Tuesday. We still have not chosen a room. Do not book one yet.” (« Merci de déplacer l’atelier à jeudi 14 h. Maya enverra le plan mardi. Nous n’avons toujours pas choisi de salle. N’en réservez pas encore. ») L’enregistrement est une voix de synthèse macOS enregistrée dans un fichier, pas une entrée micro en direct.

Le prompt demandait le jour le plus populaire, le nouvel horaire de l’atelier et s’il fallait réserver une salle. Omni a répondu : “Tuesday has the most sign-ups (24). The workshop has been moved to Thursday at 2 PM. We should not book a room yet.” (« Mardi a le plus d’inscriptions (24). L’atelier a été déplacé à jeudi 14 h. Il ne faut pas encore réserver de salle. ») Il a pris en compte le changement de l’enregistrement sans écraser ce que dit le graphique, et c’est tout l’objet du test : le jour le plus populaire et le jour réellement choisi restent distincts.

Lancer le même test sur votre Mac

Nous l’avons lancé le 2 novembre 2026 avec la version b11960 de llama.cpp sur un MacBook Pro M5 Pro avec 48 Go de RAM. C’est la machine que nous avons utilisée, pas une configuration minimale. Il tournera probablement aussi sur votre portable ; attendez-vous simplement à ce que l’ordinateur soit occupé pendant une minute environ après avoir appuyé sur Entrée.

1. Téléchargez la version Mac ARM64 de llama.cpp (release b11960) et décompressez-la. Les versions plus anciennes peuvent ne pas prendre en charge LFM3.
2. Depuis le dépôt LFM3-Omni-2B-GGUF de Liquid sur Hugging Face, téléchargez LFM3-Omni-2B-Q4_K_M.gguf (le modèle) et mmproj-LFM3-Omni-2B-Q8_0.gguf (le projecteur assorti). L’entrée image et audio a besoin des deux fichiers. Ensemble, ils pèsent environ 1,6 Go, et les faire tourner demande de la mémoire en plus.
3. Téléchargez les fichiers de départ gratuits ci-dessus et placez workshop-chart.png, instruction.wav et omni-mixed-prompt.txt dans le même dossier que les deux fichiers du modèle.
4. Ouvrez le Terminal dans ce dossier et lancez : ./llama cli -m LFM3-Omni-2B-Q4_K_M.gguf --mmproj mmproj-LFM3-Omni-2B-Q8_0.gguf -c 4096 -n 500 --reasoning off --temp 0 --seed 42 --single-turn --image workshop-chart.png --audio instruction.wav -sys 'Answer from the supplied image and audio only.' -f omni-mixed-prompt.txt Remplacez ./llama par le chemin de l’exécutable llama que vous avez décompressé.
5. Le modèle et le projecteur se chargent, puis la réponse s’affiche dans le Terminal. Comparez-la avec le graphique et l’enregistrement.
6. Pour essayer vos propres contenus, remplacez l’image et l’enregistrement dans la commande et modifiez les questions dans le fichier de prompt. Commencez par des sources que vous pouvez vérifier vous-même.

L’erreur d’échelle sur le graphique

Nous avons aussi demandé le nombre total d’inscriptions à partir du graphique seul. Omni a lu 12, 24 et 18 et les a correctement additionnés pour obtenir 54, puis a affirmé que cela faisait 27 personnes. Chaque case colorée représente deux personnes, mais les étiquettes comptent déjà des personnes : il a donc appliqué l’échelle une deuxième fois.

Quand nous le lui avons signalé en lui demandant de revérifier, il a corrigé la réponse en 54 personnes. C’est une correction obtenue grâce à un retour, pas le modèle qui repère seul son erreur. Gardez l’image source à côté de la réponse, surtout pour les chiffres.

Petit modèle, modèles plus gros et prochaines pistes

Ce genre d’erreur simple est plus probable avec un modèle aussi petit. Les modèles téléchargés plus gros demandent en général un ordinateur plus puissant : un modèle d’environ 2 Go peut tourner sur la plupart des ordinateurs, tandis que Luke a fait tourner sur ce MacBook des modèles allant jusqu’à environ 30 Go et les trouve plus fiables. C’est son expérience, pas un benchmark.

La fiche du modèle Omni mentionne aussi l’entrée vidéo et la sortie vocale avec des runners compatibles. Nous n’avons testé ni l’une ni l’autre ; dites-le en commentaire sous la vidéo si vous voulez qu’on les aborde.

Ce guide est gratuit, sans adresse e-mail à fournir. Suivez les étapes vous-même, ou collez le guide dans ChatGPT, Codex, Claude ou un autre assistant et demandez-lui de vous aider à l’installer. Lisez chaque commande avant de la lancer.

À retenir

Omni peut combiner ce qu’il voit sur une image et ce qu’il entend dans un enregistrement, en local sur un Mac, et notre question combinée a obtenu la bonne réponse. Son calcul sur le graphique a dérapé une fois : vérifiez les chiffres par rapport à la source et corrigez-le quand quelque chose ne tombe pas juste.