หาวลีซ้ำในข้อความ

เพราะภาษาไทยตัดคำด้วยพจนานุกรม คำประสมที่ไม่อยู่ในพจนานุกรมจึงถูกแยกเป็นคำย่อย เช่น คำสั่งซื้อ กลายเป็น คำ + สั่ง + ซื้อ รายการวลีช่วยเติมช่องว่างนี้: วลีสองหรือสามคำที่ซ้ำหลายครั้งมักเป็นคำประสมหรือคีย์เวิร์ดที่สำคัญที่สุดของข้อความ ในข้อความเรื่องข้าวในหน้าความถี่คำ “ข้าวผัด” “ข้าวสวย” และ “ข้าวเหนียว” จะแสดงเป็นวลีสองคำเมื่อเลือกแสดงวลีที่ใช้ “กี่ครั้งก็ได้”

วลีถูกนับเฉพาะเมื่อคำอยู่ติดกันในวลีเดียวกัน เครื่องมือแบ่งข้อความที่ จุด เครื่องหมายคำถาม อัศเจรีย์ จุลภาค อัฒภาค ทวิภาค วงเล็บ อัญประกาศ ขีด และการขึ้นบรรทัดใหม่ และสำหรับภาษาไทย ที่ เว้นวรรคระหว่างอักษรไทยสองตัว ด้วย เพราะภาษาไทยใช้เว้นวรรคแบ่งวลีและประโยค เว้นวรรครอบตัวเลข คำภาษาอังกฤษ และไม้ยมกไม่ตัดวลี “ภายใน 30 วัน” จึงยังเป็นวลีเดียว

สามตัวเลือกช่วยให้รายการมีประโยชน์ขึ้น:

• ข้ามวลีที่มีแต่คำที่ใช้บ่อยมาก วลีอย่าง “ที่ของ” หรือ “และที่” พบได้ในทุกข้อความ จึงถูกข้าม วลีที่ มี คำที่ใช้บ่อยปนอยู่ เช่น “ภายใน 30 วัน” ยังถูกนับ
• ซ่อนวลีสั้นที่อยู่ในวลียาวกว่า หากวลีสั้นปรากฏเฉพาะในวลียาว จะแสดงเฉพาะวลียาว หากวลีสั้นปรากฏแยกด้วย ก็ยังอยู่ในรายการ
• แยกตัวพิมพ์ใหญ่และเล็ก ปิดโดยค่าเริ่มต้น มีผลเฉพาะกับคำภาษาอังกฤษในข้อความ