From a7fe433f992460776e35504997fe4a059c11d005 Mon Sep 17 00:00:00 2001 From: Shreyas Pawar Date: Fri, 10 Jul 2026 07:53:57 +0000 Subject: [PATCH] reducing uncommon entries in electronic class tsv data files Signed-off-by: Shreyas Pawar --- Jenkinsfile | 2 +- .../hi/data/electronic/common_words.tsv | 106 +----------------- .../hi/data/electronic/domain.tsv | 18 +-- .../hi/data/electronic/file_extensions.tsv | 19 +--- .../hi/data/electronic/server_name.tsv | 41 +------ .../test_cases_electronic.txt | 18 +-- 6 files changed, 16 insertions(+), 188 deletions(-) diff --git a/Jenkinsfile b/Jenkinsfile index 039504611..a6abeb361 100644 --- a/Jenkinsfile +++ b/Jenkinsfile @@ -28,7 +28,7 @@ pipeline { MR_TN_CACHE='/home/jenkins/TestData/text_norm/ci/grammars/03-12-24-1' JA_TN_CACHE='/home/jenkins/TestData/text_norm/ci/grammars/10-17-24-1' KO_TN_CACHE='/home/jenkins/TestData/text_norm/ci/grammars/04-23-26-0' - HI_TN_CACHE='/home/jenkins/TestData/text_norm/ci/grammars/06-25-26-0' + HI_TN_CACHE='/home/jenkins/TestData/text_norm/ci/grammars/07-10-26-0' DEFAULT_TN_CACHE='/home/jenkins/TestData/text_norm/ci/grammars/06-08-23-0' } stages { diff --git a/nemo_text_processing/text_normalization/hi/data/electronic/common_words.tsv b/nemo_text_processing/text_normalization/hi/data/electronic/common_words.tsv index ef3cf696f..a9f8e937d 100644 --- a/nemo_text_processing/text_normalization/hi/data/electronic/common_words.tsv +++ b/nemo_text_processing/text_normalization/hi/data/electronic/common_words.tsv @@ -14,17 +14,8 @@ page पेज pages पेजेस user यूज़र users यूज़र्स -Users यूज़र्स -User यूज़र -Desktop डेस्कटॉप -Documents डॉक्युमेंट्स -Downloads डाउनलोड्स -Music म्यूज़िक -Pictures पिक्चर्स -Videos वीडियोज़ admin एडमिन app ऐप -faq एफ ए क्यू help हेल्प terms टर्म्स privacy प्राइवेसी @@ -44,9 +35,6 @@ video वीडियो videos वीडियोज़ desktop डेस्कटॉप documents डॉक्युमेंट्स -master मास्टर -blob ब्लॉब -tree ट्री tests टेस्ट्स test टेस्ट config कॉन्फ़िग @@ -55,110 +43,20 @@ profile प्रोफ़ाइल account अकाउंट web वेब email ई मेल -laptop लैपटॉप mobile मोबाइल phone फोन phones फोन्स online ऑनलाइन -courses कोर्सेज़ -learn लर्न -learning लर्निंग -university यूनिवर्सिटी -academy अकेडमी domain डोमेन domains डोमेन्स -analysis अनैलिसिस -play प्ले -maps मैप्स -drive ड्राइव -cloud क्लाउड -services सर्विसेज़ -india इंडिया -screenshot स्क्रीनशॉट -zoom ज़ूम -audacity ऑडेसिटी -coursera कोर्सेरा -apache अपाची -kernel कर्नल -bin बिन -var वार -home होम -activate एक्टिवेट -sites साइट्स -available अवेलेबल -enabled इनेबल्ड -backups बैकअप्स -temp टेम्प -secure सेक्योर -real रियल data डेटा -work वर्क -survey सर्वे -files फाइल्स file फ़ाइल -chapter चैप्टर -python पाइथन +files फाइल्स audio ऑडियो -sample सैंपल -templates टेम्पलेट्स -impress इंप्रेस -office ऑफिस -libreoffice लिब्रे ऑफिस -express एक्सप्रेस -scribe स्क्राइब -transcription ट्रांसक्रिप्शन software सॉफ्टवेयर -teams टीम्स -school स्कूल -space स्पेस -green ग्रीन -brown ब्राउन -white व्हाइट -black ब्लैक homepage होमपेज content कंटेन्ट default डिफ़ॉल्ट -foodhealth फूड हेल्थ -workflows वर्कफ्लोज़ world वर्ल्ड list लिस्ट -and एंड -LICENSE लाइसेंस -license लाइसेंस -tag टैग -blogs ब्लॉग्स -bath बाथ -ward वार्ड -banks बैंक्स -Audio ऑडियो -dean डीन -rice राइस -honda होंडा -ford फोर्ड -house हाउस -bharat भरत -rich रिच -cook कुक -lane लेन -knight नाइट -moody मूडी -wise वाइज़ -shields शील्ड्स -puppy पप्पी -recipe रेसिपी -hall हॉल -mason मेसन -king किंग -fry फ्राई -flowers फ्लावर्स -assam आसाम -grace ग्रेस -bishop बिशप -woods वुड्स -brewer ब्रूअर -cannon कैनन -saute सौटे -pope पोप -robin रॉबिन -price प्राइस -address एड्रेस \ No newline at end of file +license लाइसेंस \ No newline at end of file diff --git a/nemo_text_processing/text_normalization/hi/data/electronic/domain.tsv b/nemo_text_processing/text_normalization/hi/data/electronic/domain.tsv index 2b4f70f03..bdb1a902d 100644 --- a/nemo_text_processing/text_normalization/hi/data/electronic/domain.tsv +++ b/nemo_text_processing/text_normalization/hi/data/electronic/domain.tsv @@ -3,36 +3,22 @@ org ऑर्ग net नेट edu ई डी यू gov जी ओ वी -biz बिज़ -info इन्फो in इन co सी ओ io आई ओ ai ए आई uk यू के us यू एस -ru आर यू -de डी ई -fr एफ आर -jp जे पी -cn सी एन au ए यू ca सी ए -br बी आर ac ए सी res आर ई एस nic एन आई सी ernet ई आर नेट -mil एम आई एल -int आई एन टी tv टी वी me एम ई tech टेक dev डी ई वी app ऐप -xyz एक्स वाई ज़ेड -online ऑनलाइन -store स्टोर -blog ब्लॉग -site साइट -pro प्रो \ No newline at end of file +biz बिज़ +info इन्फो \ No newline at end of file diff --git a/nemo_text_processing/text_normalization/hi/data/electronic/file_extensions.tsv b/nemo_text_processing/text_normalization/hi/data/electronic/file_extensions.tsv index 2c261a062..e768c3838 100644 --- a/nemo_text_processing/text_normalization/hi/data/electronic/file_extensions.tsv +++ b/nemo_text_processing/text_normalization/hi/data/electronic/file_extensions.tsv @@ -12,7 +12,6 @@ pptx पी पी टी एक्स csv सी एस वी txt टी एक्स टी html एच टी एम एल -htm एच टी एम xml एक्स एम एल json जे एस ओ एन css सी एस एस @@ -30,22 +29,6 @@ mkv एम के वी mov एम ओ वी wav डब्ल्यू ए वी svg एस वी जी -ico आई सी ओ apk ए पी के exe ई एक्स ई -dmg डी एम जी -iso आई एस ओ -sql एस क्यू एल -log एल ओ जी -bak बी ए के -JPG जे पी जी -JPEG जे पी ई जी -PNG पी एन जी -PDF पी डी एफ -DOC डी ओ सी -DOCX डी ओ सी एक्स -CSV सी एस वी -TXT टी एक्स टी -HTML एच टी एम एल -MP3 एम पी तीन -MP4 एम पी चार \ No newline at end of file +sql एस क्यू एल \ No newline at end of file diff --git a/nemo_text_processing/text_normalization/hi/data/electronic/server_name.tsv b/nemo_text_processing/text_normalization/hi/data/electronic/server_name.tsv index 8d986bfd8..d0029ee5c 100644 --- a/nemo_text_processing/text_normalization/hi/data/electronic/server_name.tsv +++ b/nemo_text_processing/text_normalization/hi/data/electronic/server_name.tsv @@ -22,43 +22,4 @@ nvidia एनविडिया intel इंटेल adobe अडोब wordpress वर्डप्रेस -blogger ब्लॉगर -mentalfloss मेंटल फ्लॉस -placekitten प्लेस किटन -dummyimage डमी इमेज -reliablesoft रिलाएबल सॉफ्ट -ebay ई बे -moz मोज़ -mozilla मॉज़िला -genius जीनियस -groupon ग्रुप ऑन -gutenberg गुटेनबर्ग -recipepuppy रेसिपी पप्पी -buyagift बाय अ गिफ्ट -webmd वेब एम डी -researchgate रिसर्च गेट -afternic आफ्टर निक -hipolabs हिपो लैब्स -licindia एल आई सी इंडिया -placeimg प्लेस आई एम जी -codecademy कोड कैडेमी -skillshop स्किलशॉप -skillshare स्किल शेयर -udemy यूडेमी -masterclass मास्टरक्लास -amity एमिटी -sharda शारदा -universities यूनिवर्सिटीज़ -mcdonald मैक्डॉनल्ड -southmountaincc साउथ माउन्टेन सी सी -academyart अकेडमी आर्ट -bryanuniversity ब्रायन यूनिवर्सिटी -centralaz सेंट्रल ए ज़ेड -alaska अलास्का -phoenix फीनिक्स -phoenixcollege फीनिक्स कॉलेज -maricopa मैरीकोपा -prescott प्रेसकॉट -azwestern ए ज़ेड वेस्टर्न -poetry पोएट्री -harvard हावर्ड \ No newline at end of file +blogger ब्लॉगर \ No newline at end of file diff --git a/tests/nemo_text_processing/hi/data_text_normalization/test_cases_electronic.txt b/tests/nemo_text_processing/hi/data_text_normalization/test_cases_electronic.txt index f9a175794..fd1bf459d 100644 --- a/tests/nemo_text_processing/hi/data_text_normalization/test_cases_electronic.txt +++ b/tests/nemo_text_processing/hi/data_text_normalization/test_cases_electronic.txt @@ -5,7 +5,7 @@ google.com~गूगल डॉट कॉम kumaar.org~के यू एम ए ए आर डॉट ऑर्ग kumaar.info~के यू एम ए ए आर डॉट इन्फो kumar@gmail.com~के यू एम ए आर एट जीमेल डॉट कॉम -robin@hotmail.com~रॉबिन एट हॉटमेल डॉट कॉम +robin@hotmail.com~आर ओ बी आई एन एट हॉटमेल डॉट कॉम kapil@live.com~के ए पी आई एल एट लाइव डॉट कॉम sneha@live.com~एस एन ई एच ए एट लाइव डॉट कॉम mayank@google.com~एम ए वाई ए एन के एट गूगल डॉट कॉम @@ -18,7 +18,7 @@ kristen11@hotmail.com~के आर आई एस टी ई एन एक ए dsmith@yahoo.com~डी एस एम आई टी एच एट याहू डॉट कॉम hgarza@gmail.com~एच जी ए आर ज़ेड ए एट जीमेल डॉट कॉम qhill@yahoo.com~क्यू एच आई एल एल एट याहू डॉट कॉम -green-turner.org~ग्रीन हाइफ़न टी यू आर एन ई आर डॉट ऑर्ग +green-turner.org~जी आर ई ई एन हाइफ़न टी यू आर एन ई आर डॉट ऑर्ग sharma-badami.com~एस एच ए आर एम ए हाइफ़न बी ए डी ए एम आई डॉट कॉम osborne-gross.com~ओ एस बी ओ आर एन ई हाइफ़न जी आर ओ एस एस डॉट कॉम lucero-stevenson.net~एल यू सी ई आर ओ हाइफ़न एस टी ई वी ई एन एस ओ एन डॉट नेट @@ -29,7 +29,7 @@ https://amazon.com/~एच टी टी पी एस कोलन फॉरव www.google.com~डब्ल्यू डब्ल्यू डब्ल्यू डॉट गूगल डॉट कॉम https://www.ndtv.com~एच टी टी पी एस कोलन फॉरवर्ड स्लैश फॉरवर्ड स्लैश डब्ल्यू डब्ल्यू डब्ल्यू डॉट एन डी टी वी डॉट कॉम https://www.rbi.org.in/~एच टी टी पी एस कोलन फॉरवर्ड स्लैश फॉरवर्ड स्लैश डब्ल्यू डब्ल्यू डब्ल्यू डॉट आर बी आई डॉट ऑर्ग डॉट इन फॉरवर्ड स्लैश -https://www.amity.edu~एच टी टी पी एस कोलन फॉरवर्ड स्लैश फॉरवर्ड स्लैश डब्ल्यू डब्ल्यू डब्ल्यू डॉट एमिटी डॉट ई डी यू +https://www.amity.edu~एच टी टी पी एस कोलन फॉरवर्ड स्लैश फॉरवर्ड स्लैश डब्ल्यू डब्ल्यू डब्ल्यू डॉट ए एम आई टी वाई डॉट ई डी यू https://example.com/blog/~एच टी टी पी एस कोलन फॉरवर्ड स्लैश फॉरवर्ड स्लैश ई एक्स ए एम पी एल ई डॉट कॉम फॉरवर्ड स्लैश ब्लॉग फॉरवर्ड स्लैश https://example.com/about.html~एच टी टी पी एस कोलन फॉरवर्ड स्लैश फॉरवर्ड स्लैश ई एक्स ए एम पी एल ई डॉट कॉम फॉरवर्ड स्लैश अबाउट डॉट एच टी एम एल https://example.com/search.php~एच टी टी पी एस कोलन फॉरवर्ड स्लैश फॉरवर्ड स्लैश ई एक्स ए एम पी एल ई डॉट कॉम फॉरवर्ड स्लैश सर्च डॉट पी एच पी @@ -38,13 +38,13 @@ http://gcu.edu~एच टी टी पी कोलन फॉरवर्ड http://pima.edu~एच टी टी पी कोलन फॉरवर्ड स्लैश फॉरवर्ड स्लैश पी आई एम ए डॉट ई डी यू bamu.nic.in/~बी ए एम यू डॉट एन आई सी डॉट इन फॉरवर्ड स्लैश bieap.gov.in/~बी आई ई ए पी डॉट जी ओ वी डॉट इन फॉरवर्ड स्लैश -www.sharda.ac.in~डब्ल्यू डब्ल्यू डब्ल्यू डॉट शारदा डॉट ए सी डॉट इन -C:\Users\HP\Desktop\~सी कोलन बैकवर्ड स्लैश यूज़र्स बैकवर्ड स्लैश एच पी बैकवर्ड स्लैश डेस्कटॉप बैकवर्ड स्लैश -C:\Users\HP\Downloads\~सी कोलन बैकवर्ड स्लैश यूज़र्स बैकवर्ड स्लैश एच पी बैकवर्ड स्लैश डाउनलोड्स बैकवर्ड स्लैश -C:\Users\HP\Documents\Zoom~सी कोलन बैकवर्ड स्लैश यूज़र्स बैकवर्ड स्लैश एच पी बैकवर्ड स्लैश डॉक्युमेंट्स बैकवर्ड स्लैश ज़ेड ओ ओ एम +www.sharda.ac.in~डब्ल्यू डब्ल्यू डब्ल्यू डॉट एस एच ए आर डी ए डॉट ए सी डॉट इन +C:\Users\HP\Desktop\~सी कोलन बैकवर्ड स्लैश यू एस ई आर एस बैकवर्ड स्लैश एच पी बैकवर्ड स्लैश डी ई एस के टी ओ पी बैकवर्ड स्लैश +C:\Users\HP\Downloads\~सी कोलन बैकवर्ड स्लैश यू एस ई आर एस बैकवर्ड स्लैश एच पी बैकवर्ड स्लैश डी ओ डब्ल्यू एन एल ओ ए डी एस बैकवर्ड स्लैश +C:\Users\HP\Documents\Zoom~सी कोलन बैकवर्ड स्लैश यू एस ई आर एस बैकवर्ड स्लैश एच पी बैकवर्ड स्लैश डी ओ सी यू एम ई एन टी एस बैकवर्ड स्लैश ज़ेड ओ ओ एम /home/desktop~फॉरवर्ड स्लैश होम फॉरवर्ड स्लैश डेस्कटॉप -/etc/apache~फॉरवर्ड स्लैश ई टी सी फॉरवर्ड स्लैश अपाची -/var/www~फॉरवर्ड स्लैश वार फॉरवर्ड स्लैश डब्ल्यू डब्ल्यू डब्ल्यू +/etc/apache~फॉरवर्ड स्लैश ई टी सी फॉरवर्ड स्लैश ए पी ए सी एच ई +/var/www~फॉरवर्ड स्लैश वी ए आर फॉरवर्ड स्लैश डब्ल्यू डब्ल्यू डब्ल्यू 192.168.1.1~एक नौ दो डॉट एक छह आठ डॉट एक डॉट एक 10.0.0.1~एक शून्य डॉट शून्य डॉट शून्य डॉट एक 83.54.245.61~आठ तीन डॉट पाँच चार डॉट दो चार पाँच डॉट छह एक