Tần suất từ trong văn bản

Công cụ tách văn bản thành từ giống công cụ đếm từ: mỗi tiếng nằm giữa hai dấu cách là một từ. Đây cũng là cách Microsoft Word và Google Tài liệu đếm, nên con số khớp với các chương trình bạn quen dùng.

Điều này rất quan trọng với tiếng Việt: từ ghép bị tách thành từng tiếng. Cà phê, học sinh hay Hà Nội được đếm thành hai từ riêng, và “cà” với “phê” hiện thành hai dòng trong danh sách. Ngược lại, tiếng Việt không biến đổi hình thái: học sinh luôn viết như nhau, không có số nhiều hay chia động từ, nên số lần đếm được rất sạch. Để đếm các từ ghép, hãy dùng công cụ cụm từ lặp lại: cụm hai từ thường chính là một từ ghép.

Dấu thanh tạo ra từ khác: ma, má, mà, mả, mã và mạ là sáu từ khác nhau. Văn bản gõ theo kiểu Unicode tổ hợp được chuẩn hóa trước khi đếm, nên “Việt” gõ bằng hai cách vẫn là một từ.

Tần suất là số lần một từ xuất hiện. Mật độ là số lần đó chia cho tổng số từ, nhân 100:

• “cà” xuất hiện 8 lần trong đoạn văn 90 từ = 8 ÷ 90 × 100 = 8,89%.
• Mật độ luôn tính trên tổng số từ kể cả từ phổ biến; bỏ qua “và” hay “của” trong danh sách không làm thay đổi tỉ lệ của các từ khác.

Khi Phân biệt chữ hoa, chữ thường đang tắt, Nam và nam được đếm chung. Bật tùy chọn này để tách tên riêng khỏi từ thông thường, như Nam trong Việt Nam và nam trong nam giới.

Tần suất từ tuân theo một quy luật gọi là định luật Zipf: từ dùng nhiều nhất xuất hiện nhiều gấp khoảng hai lần từ đứng thứ hai, ba lần từ đứng thứ ba, và cứ thế. Quy luật này xuất hiện trong tiếng Việt, tiếng Anh và gần như mọi ngôn ngữ khác.

Danh sách của bạn cũng có đường cong đó: vài từ rất phổ biến ở trên cùng, rồi một đuôi dài các từ chỉ dùng một hai lần. Nếu giữa các hư từ ở đầu danh sách xuất hiện một từ mang nghĩa (danh từ, động từ hay tính từ), đó chính là chủ đề thật của văn bản, hoặc là một từ bạn dùng quá nhiều.

Công cụ cho biết một từ khóa xuất hiện bao nhiêu lần, nhưng không có mật độ nào là “chuẩn”. Chính sách về nội dung rác của Google gọi việc nhồi nhét từ khóa (keyword stuffing) là lấp đầy trang bằng từ khóa để thao túng thứ hạng, chẳng hạn lặp lại cùng một từ hay cụm từ một cách thiếu tự nhiên.

Hãy dùng danh sách theo chiều ngược lại: viết cho người đọc trước, rồi kiểm tra xem các từ quan trọng có ở đúng chỗ không, và có từ nào lặp lại nhiều đến mức nghe lạ tai không. Lưu ý rằng từ khóa tiếng Việt thường là từ ghép: danh sách tần suất cho thấy “cà” và “phê” riêng, còn để đếm “cà phê” bạn cần công cụ đếm số lần xuất hiện của từ hoặc công cụ cụm từ lặp lại.