Nvidia, erken sürümü yayınlanan Chat with RTX ile kişisel bilgisayarlar üzerinde çalışan bir yapay zeka sohbet botu uygulamasını sunuyor. Kullanıcılar, belgeleri ve YouTube videolarını besleyerek özetler çıkarıyor ve kendi verilerine dayalı alakalı yanıtlar alıyorlar. Uygulama, en az 8 GB VRAM’e sahip GeForce RTX 30 veya RTX 40 serisi GPU gerektiriyor ve yerel olarak çalışıyor.
Chat with RTX, yapay zeka girişimi Mistral’in açık kaynak modeli ile birlikte varsayılan ayarlarda çalışırken, Meta’nın Llama 2 ve diğer metin tabanlı modelleri de destekliyor. Nvidia’nın belirttiğine göre, indirilen dosyaların boyutu seçilen modele bağlı olarak 50GB ila 100GB arasında değişiyor.
Uygulama metin, PDF, .doc, .docx ve .xml formatlarıyla çalışıyor ancak bağlamı hatırlamadığı için devam sorularını yanıtlarken önceki soruları dikkate almıyor. Yanıt kalitesi, kullanılan modelin performansı ve veri kümesi boyutuna bağlı olarak değişiyor.
Chat with RTX, şu anda piyasadaki büyük oyuncularla rekabet etmekten uzak olsa da, yerel olarak çalışabilmesi ve düşük maliyetli olmasıyla dikkat çekiyor. Gelecekte uygulamanın nasıl konumlanacağını görmek için bekliyoruz.
