Microsoft Build sonrası manzara netleşti: Büyük modelleri (LLM) bulutta çalıştırmanın maliyeti o kadar yüksek ki, teknoloji devleri hesabı "edge"e, yani bizim cihazlara kitlemeye çalışıyor. Copilot+ PC ve NPU furyasının teknik sebebi hız veya gizlilik gibi dursa da, asıl ticari sebebi tamamen inference maliyetini dağıtmak. Eskiden "client-side rendering" ile sunucuyu rahatlatırdık, şimdi aynısını AI modelleri için yapıyoruz. Donanım üreticileri bayram ediyor tabii, yine RAM ve işlemci darboğazına mahkumuz.
15 görüntülenme