Đếm từ khác nhau trong văn bản

Đếm số từ khác nhau (từ duy nhất) trong văn bản và xem mỗi từ đúng một lần. Công cụ cho biết bạn dùng bao nhiêu từ khác nhau, bao nhiêu từ chỉ xuất hiện một lần và tỉ lệ type–token, một thước đo nhanh về độ phong phú của vốn từ.

Danh sách từ khác nhau
Tỉ lệ type–token
Ở lại trên thiết bị

Văn bản của bạn 0 từ · 0 ký tự

Phân biệt chữ hoa (Hà và hà là khác nhau)Tính cả sốBỏ qua các từ phổ biến Thứ tự

Mở tệp

Chỉ lưu trên thiết bị này

Danh sách từ khác nhau

Mỗi từ khác nhau một lần, kèm số lần bạn dùng và vị trí đầu tiên.

Các từ khác nhau của bạn sẽ hiện ở đây.

Cách đếm từ khác nhau trong văn bản

Đếm số từ khác nhau trong văn bản với ba bước.

Dán văn bản

Từ một đoạn văn đến cả một chương. Kết quả cập nhật ngay.
Chọn tùy chọn

Chọn xem Hà và hà có phải hai từ khác nhau không, có tính số không và có bỏ qua từ phổ biến như “và”, “của” không.
Dùng danh sách

Mỗi từ khác nhau hiện một lần kèm số lần dùng. Sắp xếp A–Z, theo tần suất hoặc độ dài, hay chỉ hiện các từ dùng một lần, rồi sao chép hoặc tải danh sách.

Ví dụ

Văn bản mẫu có 55 từ nhưng chỉ 36 từ khác nhau; tỉ lệ là 65,5%. “Ngày” và “bước” mỗi từ xuất hiện 4 lần.

Đếm từ khác nhau trong văn bản mẫu

Từ khác nhau và tổng số từ

Tổng số từ đếm mọi từ; số từ khác nhau đếm mỗi từ khác nhau đúng một lần.

Văn bản	Tổng số từ	Từ khác nhau
“Mèo và chó và chuột”	5	4 (mèo, và, chó, chuột)
“Đi, đi, đi!”	3	1 (đi)
“ma, má, mà”	3	3 (dấu thanh tạo ra từ khác)
“học sinh, sinh viên”	4	3 (học, sinh, viên)
Đoạn văn mẫu trên trang này	55	36

Văn bản càng dài, khoảng cách giữa tổng số từ và số từ khác nhau càng lớn, vì các từ phổ biến cứ quay lại. Trong tiếng Việt, mỗi tiếng là một từ, nên một tiếng xuất hiện trong nhiều từ ghép (như “sinh” trong “học sinh” và “sinh viên”) chỉ được đếm một lần.

Phương pháp

Tỉ lệ type–token: vốn từ phong phú đến đâu?

Tỉ lệ giữa số từ khác nhau và tổng số từ được ngôn ngữ học gọi là tỉ lệ type–token (TTR). Nó so sánh số từ khác nhau (type) với tất cả các từ (token).

TTR = số từ khác nhau ÷ tổng số từ × 100

Số từ khác nhau: Các từ khác nhau trong văn bản (type)
Tổng số từ: Tất cả các từ, kể cả lặp lại (token)

Đoạn văn mẫu

36 từ khác nhau ÷ 55 từ × 100

65,5%

Một câu cảm thán lặp lại

1 từ khác nhau ÷ 3 từ × 100

33,3%

TTR giảm khi văn bản dài ra, vì các từ phổ biến chắc chắn quay lại. Chỉ so sánh tỉ lệ giữa các văn bản có độ dài gần nhau, và chỉ giữa các văn bản cùng ngôn ngữ: vì từ ghép tiếng Việt được tách thành tiếng, TTR tiếng Việt không so trực tiếp được với tiếng Anh.

Công cụ đếm từ khác nhau cho biết gì

Ngoài số từ khác nhau, công cụ còn cho bạn những con số mô tả vốn từ của bạn.

#
Từ khác nhau

Mỗi từ khác nhau, chỉ đếm một lần.
1×
Chỉ dùng một lần

Những từ chỉ xuất hiện một lần; ngôn ngữ học gọi là hapax legomena.
x̄
Số lần dùng trung bình

Tổng số từ chia cho số từ khác nhau: trung bình mỗi từ xuất hiện bao nhiêu lần.
A–Z
Danh sách sắp xếp được

Theo lần xuất hiện đầu tiên, A–Z, theo tần suất, theo độ dài hoặc chỉ các từ dùng một lần.

Danh sách từ khác nhau dùng để làm gì

Một danh sách các từ khác nhau hữu ích cho việc viết, dạy học và xử lý dữ liệu.

Mục đích	Danh sách giúp gì
Danh sách từ vựng	Giáo viên và học sinh biến một bài đọc thành danh sách từ cần học theo thứ tự A–Z.
Sự đa dạng trong bài văn	Tỉ lệ thấp so với độ dài có thể có nghĩa là bạn dùng đi dùng lại cùng một số từ.
Lời bài hát và thơ	Xem một bài hát thực sự dùng bao nhiêu từ khác nhau so với độ dài của nó.
Lọc trùng lặp	Sao chép các từ khác nhau để có một danh sách sạch, không lặp lại.
Xử lý dữ liệu	Tìm mọi giá trị, nhãn hay từ khóa khác nhau trong một danh sách được dán vào.
Báo giá dịch thuật	Số từ khác nhau cho biết tài liệu thực sự chứa bao nhiêu từ mới.

Thế nào được tính là một từ khác nhau

Công cụ dùng cùng quy tắc với công cụ đếm từ:

Mỗi tiếng là một từ: học sinh gồm hai từ học và sinh. Nếu sinh còn xuất hiện trong sinh viên, nó vẫn chỉ được đếm một lần.
Dấu thanh tạo ra từ khác: ma, má và mà là ba từ khác nhau. Văn bản gõ theo kiểu Unicode tổ hợp được chuẩn hóa, nên cùng một từ gõ theo hai cách vẫn là một từ.
Dấu gạch nối giữ nguyên từ: ki-lô-mét là một từ.
Số được tính là từ, trừ khi bạn tắt “Tính cả số”.
Chữ hoa được bỏ qua, trừ khi bạn bật tùy chọn. Khi đó Hà và hà là hai từ.

Nếu muốn xem những từ bạn lặp lại nhiều nhất, hãy sắp xếp danh sách theo tần suất hoặc dùng công cụ tần suất từ, cho một danh sách xếp hạng kèm mật độ.

Câu hỏi thường gặp về từ khác nhau

Từ khác nhau là gì?

Là các từ được đếm đúng một lần, dù xuất hiện bao nhiêu lần đi nữa. “Mèo và chó và chuột” có 5 từ nhưng chỉ 4 từ khác nhau, vì “và” xuất hiện hai lần.

Tỉ lệ type–token bao nhiêu là tốt?

Không có giá trị lý tưởng, vì tỉ lệ giảm khi văn bản dài ra. Hãy so sánh các văn bản có độ dài gần nhau: văn bản có tỉ lệ cao hơn có vốn từ phong phú hơn.

Làm sao xóa các từ trùng lặp trong một danh sách?

Dán danh sách và nhấn “Sao chép các từ khác nhau”. Bạn nhận được mỗi từ một lần, theo thứ tự xuất hiện đầu tiên, sẵn sàng để dán.

Từ ghép như “học sinh” có được tính là một từ khác nhau không?

Không. Mỗi tiếng là một từ, nên “học sinh” đóng góp hai từ: “học” và “sinh”. Để đếm từ ghép, hãy dùng công cụ cụm từ lặp lại.

Từ viết hoa có được đếm riêng không?

Chỉ khi bạn bật “Phân biệt chữ hoa”. Theo mặc định, Hà và hà là cùng một từ.

Hapax legomenon là gì?

Là một từ chỉ xuất hiện một lần trong văn bản. Công cụ cho biết có bao nhiêu từ như vậy, và cách sắp xếp “Chỉ các từ dùng một lần” đưa chúng lên đầu.

Văn bản của tôi có được giữ riêng tư không?

Có. Việc đếm diễn ra trong trình duyệt và không có gì được gửi đi.

Nguồn và tài liệu tham khảo

Lexical diversity, Wikipedia
Zipf’s law, Wikipedia