Эксперимент: как локальные LLM справляются с задачами Hermes Agent
На Habr проведён эксперимент по использованию локальных больших языковых моделей (LLM) для выполнения задач Hermes Agent на домашнем ПК, чтобы сравнить их производительность и эффективность с облачными решениями.
Пользователь Habr протестировал, насколько домашний компьютер с видеокартой RTX 3080 и 32 ГБ оперативной памяти способен заменить облачные сервисы для задач, которые обычно выполняет Hermes Agent. Цель — снизить зависимость от лимитов облачных LLM и оценить качество работы локальных моделей.
В рамках исследования были сравнены две популярные локальные LLM: Qwen и GLM. Модели оценивались по их способности справляться с архитектурными задачами, редактированием текстов и извлечением данных. Также изучались различные методы квантования и проверялось подключение Hermes Agent с macOS к локальной модели на Windows.


Комментарии (0)
Без регистрации. Комментарии проверяются автоматически перед публикацией.
Пока нет комментариев. Будьте первым!