นับคำไม่ซ้ำในข้อความ

คำไม่ซ้ำ คือคำที่ต่างกันในข้อความ ไม่ว่าแต่ละคำจะใช้กี่ครั้ง ประโยค “วันละก้าว ทุกวันมีค่า” ถูกตัดเป็น 7 คำ (วัน ละ ก้าว ทุก วัน มี ค่า) แต่ “วัน” ซ้ำ จึงมีคำไม่ซ้ำ 6 คำ

ภาษาไทยไม่มีการผันคำ คำไม่เปลี่ยนรูปตามพจน์ กาล หรือเพศ จำนวนคำไม่ซ้ำจึงตรงกับจำนวนคำศัพท์ที่ใช้จริง สิ่งที่ต้องรู้คือ ขอบเขตคำมาจากการตัดคำด้วยพจนานุกรม คำประสมบางคำนับเป็นคำเดียว บางคำถูกแยกเป็นคำย่อย และไม้ยมก (ๆ) ถูกนับเป็นหน่วยแยก

เครื่องมือแยกคำไม่ซ้ำออกเป็นสองกลุ่ม:

• คำที่ใช้ครั้งเดียว (hapax legomena): คำที่ปรากฏเพียงครั้งเดียว ในข้อความตัวอย่างมี 18 คำ ในข้อความยาว คำกลุ่มนี้มักเป็นครึ่งหนึ่งของคำไม่ซ้ำทั้งหมด
• คำที่ใช้มากกว่าหนึ่งครั้ง: ในข้อความตัวอย่างมี 11 คำ เรียงตามจำนวนครั้งเพื่อดูว่าคำไหนวนกลับมา

จำนวนครั้งเฉลี่ยต่อคำ คือจำนวนคำทั้งหมดหารด้วยคำไม่ซ้ำ ข้อความตัวอย่างได้ 1.59 แปลว่าแต่ละคำถูกใช้โดยเฉลี่ยราวหนึ่งครั้งครึ่ง