Xoá dòng trùng lặp từng bước: làm sạch danh sách ngay trong trình duyệt
Công cụ miễn phí Remove Duplicate Lines trên trang này loại bỏ các dòng lặp lại trong danh sách đã dán, giữ lại bản sao đầu tiên của mỗi dòng và không động đến phần còn lại của thứ tự. Hướng dẫn này đi qua các bước chính xác và giải thích điều gì được coi là trùng lặp.
freetoolonline.com Editorial TeamCách xoá các dòng trùng lặp
- Mở công cụ Remove Duplicate Lines.
- Dán hoặc gõ văn bản vào ô nhập, giữ mỗi dòng một mục - công cụ coi mỗi lần xuống dòng là ranh giới giữa hai mục.
- Bấm Run. Công cụ đọc danh sách từ trên xuống dưới, giữ lại lần đầu tiên nó thấy mỗi dòng chính xác và bỏ qua mỗi lần lặp lại sau đó.
- Sao chép danh sách đã làm sạch từ ô kết quả. Sửa ô nhập và bấm Run lại bất cứ lúc nào - ô này không được lưu giữa các lần sửa.
Điều gì được coi là trùng lặp
Điều gì được coi là trùng lặp trong Remove Duplicate Lines: bản sao văn bản giống hệt bị bỏ sau lần xuất hiện đầu; dòng khác hoá thường vẫn giữ; dòng trống lặp lại cũng bị loại trùng - so sánh chuỗi chính xác không chuẩn hoá.
| Dòng đầu vào | So sánh với | Được coi là trùng lặp? | Vì sao |
|---|---|---|---|
| apple | apple | Có | Văn bản giống nhau |
| Apple | apple | Không | Việc so sánh phân biệt chữ hoa/thường; A hoa khác a thường |
| apple | apple | Không | Khoảng trắng ở cuối làm hai dòng thành hai chuỗi khác nhau |
| (dòng trống) | (dòng trống) | Có | Hai dòng trống giống nhau, nên chỉ dòng trống đầu tiên tồn tại |
Vì việc kiểm tra phân biệt chữ hoa/thường và khoảng trắng, hãy dùng bộ chuyển đổi chữ hoa/thường hoặc xoá khoảng trắng dư trước nếu danh sách của bạn lẫn lộn chữ hoa/thường hoặc có khoảng trắng không đều và bạn muốn các biến thể đó được gộp lại.
Cách dùng phổ biến
Cách dùng phổ biến của Remove Duplicate Lines: dọn email trước khi nhập, rút tag hoặc ID sản phẩm thành tập duy nhất, loại trùng dòng log hoặc cột bảng tính, và chỉnh danh sách từ khoá trước khi dán.
Remove Duplicate Lines so với bảng tính hoặc dòng lệnh
| Cách làm | Bước để làm sạch | Giữ nguyên thứ tự ban đầu? | Chạy offline / không tải lên |
|---|---|---|---|
| Remove Duplicate Lines (công cụ này) | 2 (dán, bấm Run) | Có | Có |
| Tính năng "Xoá giá trị trùng lặp" của bảng tính | 4 (dán, chọn vùng, mở menu, xác nhận) | Có | Không (bảng tính trên máy chủ tải dữ liệu lên) |
Dòng lệnh (sort -u) | 3 (lưu file, chạy lệnh, đọc kết quả) | Không - sort -u cũng sắp xếp theo bảng chữ cái | Có |
Dòng lệnh (awk '!seen[$0]++') | 3 (lưu file, viết lệnh, đọc kết quả) | Có | Có |
Cách dùng bảng tính hoạt động tốt khi danh sách đã nằm trong một bảng tính, nhưng nghĩa là phải tải dữ liệu lên một dịch vụ trên máy chủ, trừ khi bạn dùng một ứng dụng trên máy. Cách dùng dòng lệnh nhanh cho ai đã quen với terminal, nhưng sort -u sắp xếp lại danh sách theo bảng chữ cái như một tác dụng phụ, điều không phải lúc nào cũng là điều bạn muốn. Remove Duplicate Lines tránh cả hai nhược điểm: dán, bấm một lần, và thứ tự bạn dán vào chính là thứ tự bạn nhận lại, trừ các lần lặp.
Quyền riêng tư
Quyền riêng tư của Remove Duplicate Lines: loại trùng chạy trong tab trình duyệt bằng JavaScript. Không tải lên hay gửi analytics - tải lại trang sẽ xoá hộp nhập.
Hướng dẫn liên quan
- Sắp xếp dòng văn bản từng bước - một công cụ văn bản khác chạy chỉ trong trình duyệt, để sắp xếp thay vì xoá trùng lặp.
- Đếm từ từng bước - để đếm từ và ký tự thay vì xoá lần lặp.
- Công cụ Remove Duplicate Lines - chính công cụ đó.
- Trung tâm công cụ cho lập trình viên - toàn bộ bộ công cụ, mỗi công cụ đều chạy trong trình duyệt mà không tải lên.
Câu hỏi thường gặp
Công cụ giữ lại bản sao nào của một dòng bị lặp lại?
Bản sao đầu tiên. Công cụ đọc danh sách của bạn từ trên xuống dưới và giữ lại lần xuất hiện sớm nhất của mỗi dòng chính xác, bỏ qua mỗi lần lặp lại sau đó.
Tại sao "Apple" và "apple" không được gộp thành một dòng?
Việc so sánh phân biệt chữ hoa/thường, nên viết hoa khác nhau được tính là một dòng khác. Chuyển danh sách về một kiểu chữ trước (hoa hoặc thường) nếu bạn muốn các biến thể đó được coi là trùng lặp.
Công cụ có đổi thứ tự của các dòng được giữ lại không?
Không. Chỉ các dòng lặp lại bị xoá; các dòng còn lại giữ nguyên thứ tự tương đối mà chúng có trong danh sách ban đầu của bạn.
Văn bản của tôi có được tải lên hoặc lưu ở đâu không?
Không. Việc xoá trùng lặp chạy hoàn toàn trong trình duyệt của bạn; không có gì bạn gõ hoặc dán được gửi đến máy chủ, và không có gì được lưu sau khi bạn tải lại hoặc rời trang.