Простые радости парней могут выглядеть так
Залип в Reddit за чтением обсуждений домашнего сервера в подвале одного из пользователей. Сейчас там уже 14 карт 3090 на 336 GB видеопамяти и 512 GB оперативной.
В записях своего блога владелец красоты с фото рассказывает для чего ему это вообще. Нет, не майнить крипту. Хостить открытые большие языковые модели уровня Llama-3.1 405b, собирать ИИ-агентов и делать это всё приватно.
Возможно, будь в этом подвале красная комната с тематическими качелями это было бы проще объяснить. Заботливые люди из Интернета уже подсказали ему первый промпт:
Explain why I have a home AI rig to my wife
Или, например, вы на неделе прозрели как уже сегодня иметь в своей квартире виртуальную подругу в духе Блейд Раннера 2049. Но рабочей машины c RTX 3060 не хватит одновременно давать картинку на очки дополненной реальности и хостить дообученную языковую модельку с «мозгами» собеседницы без цензурных ограничений, ведь подходящая для ролплея Mistral NeMo съест 2/3 ресурсов видеокарты. Значит надо арендовать сервер с GPU в облаке или заводить в чулане. Накидайте темнолуний и я расскажу какие имеющиеся технологии нужны для описанного в этом абзаце.
t.me/staniverse/384* · 11 янв 2025*