Google Dokümanlar'ı nasıl geliştirirsiniz? Temel metrikler nelerdir?

Soru iki ayrı şekilde okunabiliyor. Google Dokümanlar'ı bir ürün olarak geliştirmekten bahsediyorsanız, sizin metrikleriniz Google'ın içindeki ürün analitiğidir ve bunlar kamuya açık değil. Dokümanlar'ı bir ekip veya sınıf için daha iyi kullanmak istiyorsanız, ölçeceğiniz şey iş birliğinin kalitesi ve dengesidir. İkinci okumayı varsayarak cevaplıyorum, çünkü yayımlanmış kanıt orada.

Önce ürün tarafı. Dışarıdan bakan biri için makul bir metrik seti şöyle olur, ama bunlar Google'ın resmi listesi değil, genel ürün analitiği pratiğidir:

• Aktif kullanıcı sayısı (DAU/WAU) ve tutundurma (retention)
• Doküman başına eşzamanlı editör sayısı
• Yorum ve öneri (suggesting) kullanım oranı
• Bir dokümanın ilk paylaşımdan tamamlanmaya kadar geçen süresi
• Çevrimdışı ve gecikme kaynaklı hata oranları

Ama dikkat, bu metriklerin hiçbiri tek başına "daha iyi doküman" demek değil. Eşzamanlı editör sayısı artıyor diye iş birliği kaliteli olmuyor. Korelasyon nedensellik değildir, burada da geçerli. Gerçekten bir şey iddia edecekseniz A/B test gerekir.

Kullanım tarafında ise literatür epey net. Olson ve arkadaşlarının (2017) öğrenci ekiplerinin Docs izlerini inceleyen çalışması, ekiplerin yazma stillerinin çeşitlendiğini ve katılım dengesinin önemli olduğunu gösteriyor. Yim ve arkadaşları (2017) senkron yazımı sınıflandırmış: işi bölüp yazan (divide and conquer) ekipler daha kaliteli metin üretmiş, tek kişinin yazdığı "main writer" stili ise en düşük skorları almış. Dengeli katılım ve karşılıklı düzenleme de daha uzun, kanıtı daha güçlü metinlerle ilişkili çıkmış.

Buradan pratik metrikler çıkarabilirsiniz:

1. Katkı dağılımı: Sürüm geçmişinden kişi başı eklenen karakter oranı. Bir kişi %80'in üzerindeyse main writer paterni var demektir.
2. Karşılıklı düzenleme: Birinin yazdığı kısmı başkasının değiştirme oranı.
3. Yorum ve öneri yoğunluğu: Etkileşimin göstergesi.
4. Çıktı kalitesi: Rubrik veya hakem puanı. Bu olmadan yukarıdakiler sadece aktivite ölçer.

Bir uyarı da şu: bu çalışmalar çoğunlukla küçük öğrenci örneklemlerine dayanıyor (Dehghanzadeh ve arkadaşlarında 35 öğrenci). Sonuçlar ekiplere genellenebilir ama nedensel ve kesin sayılmamalı. Aktivite metrikleri kaliteyi doğrudan ölçmez, onu bir vekil (proxy) olarak okuyun.