Hi TN: reducing uncommon entries in electronic class TSV data files

Jenkinsfile

@@ -28,7 +28,7 @@ pipeline {
     MR_TN_CACHE='/home/jenkins/TestData/text_norm/ci/grammars/03-12-24-1'
     JA_TN_CACHE='/home/jenkins/TestData/text_norm/ci/grammars/10-17-24-1'
     KO_TN_CACHE='/home/jenkins/TestData/text_norm/ci/grammars/04-23-26-0'
-    HI_TN_CACHE='/home/jenkins/TestData/text_norm/ci/grammars/06-25-26-0'
+    HI_TN_CACHE='/home/jenkins/TestData/text_norm/ci/grammars/07-10-26-0'
     DEFAULT_TN_CACHE='/home/jenkins/TestData/text_norm/ci/grammars/06-08-23-0'
   }
   stages {

nemo_text_processing/text_normalization/hi/data/electronic/common_words.tsv

@@ -14,17 +14,8 @@ page	पेज
 pages	पेजेस
 user	यूज़र
 users	यूज़र्स
-Users	यूज़र्स
-User	यूज़र
-Desktop	डेस्कटॉप
-Documents	डॉक्युमेंट्स
-Downloads	डाउनलोड्स
-Music	म्यूज़िक
-Pictures	पिक्चर्स
-Videos	वीडियोज़
 admin	एडमिन
 app	ऐप
-faq	एफ ए क्यू
 help	हेल्प
 terms	टर्म्स
 privacy	प्राइवेसी
@@ -44,9 +35,6 @@ video	वीडियो
 videos	वीडियोज़
 desktop	डेस्कटॉप
 documents	डॉक्युमेंट्स
-master	मास्टर
-blob	ब्लॉब
-tree	ट्री
 tests	टेस्ट्स
 test	टेस्ट
 config	कॉन्फ़िग
@@ -55,110 +43,20 @@ profile	प्रोफ़ाइल
 account	अकाउंट
 web	वेब
 email	ई मेल
-laptop	लैपटॉप
 mobile	मोबाइल
 phone	फोन
 phones	फोन्स
 online	ऑनलाइन
-courses	कोर्सेज़
-learn	लर्न
-learning	लर्निंग
-university	यूनिवर्सिटी
-academy	अकेडमी
 domain	डोमेन
 domains	डोमेन्स
-analysis	अनैलिसिस
-play	प्ले
-maps	मैप्स
-drive	ड्राइव
-cloud	क्लाउड
-services	सर्विसेज़
-india	इंडिया
-screenshot	स्क्रीनशॉट
-zoom	ज़ूम
-audacity	ऑडेसिटी
-coursera	कोर्सेरा
-apache	अपाची
-kernel	कर्नल
-bin	बिन
-var	वार
-home	होम
-activate	एक्टिवेट
-sites	साइट्स
-available	अवेलेबल
-enabled	इनेबल्ड
-backups	बैकअप्स
-temp	टेम्प
-secure	सेक्योर
-real	रियल
 data	डेटा
-work	वर्क
-survey	सर्वे
-files	फाइल्स
 file	फ़ाइल
-chapter	चैप्टर
-python	पाइथन
+files	फाइल्स
 audio	ऑडियो
-sample	सैंपल
-templates	टेम्पलेट्स
-impress	इंप्रेस
-office	ऑफिस
-libreoffice	लिब्रे ऑफिस
-express	एक्सप्रेस
-scribe	स्क्राइब
-transcription	ट्रांसक्रिप्शन
 software	सॉफ्टवेयर
-teams	टीम्स
-school	स्कूल
-space	स्पेस
-green	ग्रीन
-brown	ब्राउन
-white	व्हाइट
-black	ब्लैक
 homepage	होमपेज
 content	कंटेन्ट
 default	डिफ़ॉल्ट
-foodhealth	फूड हेल्थ
-workflows	वर्कफ्लोज़
 world	वर्ल्ड
 list	लिस्ट
-and	एंड
-LICENSE	लाइसेंस
-license	लाइसेंस
-tag	टैग
-blogs	ब्लॉग्स
-bath	बाथ
-ward	वार्ड
-banks	बैंक्स
-Audio	ऑडियो
-dean	डीन
-rice	राइस
-honda	होंडा
-ford	फोर्ड
-house	हाउस
-bharat	भरत
-rich	रिच
-cook	कुक
-lane	लेन
-knight	नाइट
-moody	मूडी
-wise	वाइज़
-shields	शील्ड्स
-puppy	पप्पी
-recipe	रेसिपी
-hall	हॉल
-mason	मेसन
-king	किंग
-fry	फ्राई
-flowers	फ्लावर्स
-assam	आसाम
-grace	ग्रेस
-bishop	बिशप
-woods	वुड्स
-brewer	ब्रूअर
-cannon	कैनन
-saute	सौटे
-pope	पोप
-robin	रॉबिन
-price	प्राइस
-address	एड्रेस
+license	लाइसेंस

nemo_text_processing/text_normalization/hi/data/electronic/domain.tsv

@@ -3,36 +3,22 @@ org	ऑर्ग
 net	नेट
 edu	ई डी यू
 gov	जी ओ वी
-biz	बिज़
-info	इन्फो
 in	इन
 co	सी ओ
 io	आई ओ
 ai	ए आई
 uk	यू के
 us	यू एस
-ru	आर यू
-de	डी ई
-fr	एफ आर
-jp	जे पी
-cn	सी एन
 au	ए यू
 ca	सी ए
-br	बी आर
 ac	ए सी
 res	आर ई एस
 nic	एन आई सी
 ernet	ई आर नेट
-mil	एम आई एल
-int	आई एन टी
 tv	टी वी
 me	एम ई
 tech	टेक
 dev	डी ई वी
 app	ऐप
-xyz	एक्स वाई ज़ेड
-online	ऑनलाइन
-store	स्टोर
-blog	ब्लॉग
-site	साइट
-pro	प्रो
+biz	बिज़
+info	इन्फो

nemo_text_processing/text_normalization/hi/data/electronic/file_extensions.tsv

@@ -12,7 +12,6 @@ pptx	पी पी टी एक्स
 csv	सी एस वी
 txt	टी एक्स टी
 html	एच टी एम एल
-htm	एच टी एम
 xml	एक्स एम एल
 json	जे एस ओ एन
 css	सी एस एस
@@ -30,22 +29,6 @@ mkv	एम के वी
 mov	एम ओ वी
 wav	डब्ल्यू ए वी
 svg	एस वी जी
-ico	आई सी ओ
 apk	ए पी के
 exe	ई एक्स ई
-dmg	डी एम जी
-iso	आई एस ओ
-sql	एस क्यू एल
-log	एल ओ जी
-bak	बी ए के
-JPG	जे पी जी
-JPEG	जे पी ई जी
-PNG	पी एन जी
-PDF	पी डी एफ
-DOC	डी ओ सी
-DOCX	डी ओ सी एक्स
-CSV	सी एस वी
-TXT	टी एक्स टी
-HTML	एच टी एम एल
-MP3	एम पी तीन
-MP4	एम पी चार
+sql	एस क्यू एल

nemo_text_processing/text_normalization/hi/data/electronic/server_name.tsv

@@ -22,43 +22,4 @@ nvidia	एनविडिया
 intel	इंटेल
 adobe	अडोब
 wordpress	वर्डप्रेस
-blogger	ब्लॉगर
-mentalfloss	मेंटल फ्लॉस
-placekitten	प्लेस किटन
-dummyimage	डमी इमेज
-reliablesoft	रिलाएबल सॉफ्ट
-ebay	ई बे
-moz	मोज़
-mozilla	मॉज़िला
-genius	जीनियस
-groupon	ग्रुप ऑन
-gutenberg	गुटेनबर्ग
-recipepuppy	रेसिपी पप्पी
-buyagift	बाय अ गिफ्ट
-webmd	वेब एम डी
-researchgate	रिसर्च गेट
-afternic	आफ्टर निक
-hipolabs	हिपो लैब्स
-licindia	एल आई सी इंडिया
-placeimg	प्लेस आई एम जी
-codecademy	कोड कैडेमी
-skillshop	स्किलशॉप
-skillshare	स्किल शेयर
-udemy	यूडेमी
-masterclass	मास्टरक्लास
-amity	एमिटी
-sharda	शारदा
-universities	यूनिवर्सिटीज़
-mcdonald    मैक्डॉनल्ड
-southmountaincc	साउथ माउन्टेन सी सी
-academyart	अकेडमी आर्ट
-bryanuniversity	ब्रायन यूनिवर्सिटी
-centralaz	सेंट्रल ए ज़ेड
-alaska	अलास्का
-phoenix	फीनिक्स
-phoenixcollege	फीनिक्स कॉलेज
-maricopa	मैरीकोपा
-prescott	प्रेसकॉट
-azwestern	ए ज़ेड वेस्टर्न
-poetry	पोएट्री
-harvard	हावर्ड
+blogger	ब्लॉगर

tests/nemo_text_processing/hi/data_text_normalization/test_cases_electronic.txt

@@ -5,7 +5,7 @@ google.com~गूगल डॉट कॉम
 kumaar.org~के यू एम ए ए आर डॉट ऑर्ग
 kumaar.info~के यू एम ए ए आर डॉट इन्फो
 kumar@gmail.com~के यू एम ए आर एट जीमेल डॉट कॉम
-robin@hotmail.com~रॉबिन एट हॉटमेल डॉट कॉम
+robin@hotmail.com~आर ओ बी आई एन एट हॉटमेल डॉट कॉम
 kapil@live.com~के ए पी आई एल एट लाइव डॉट कॉम
 sneha@live.com~एस एन ई एच ए एट लाइव डॉट कॉम
 mayank@google.com~एम ए वाई ए एन के एट गूगल डॉट कॉम
@@ -18,7 +18,7 @@ kristen11@hotmail.com~के आर आई एस टी ई एन एक ए
 dsmith@yahoo.com~डी एस एम आई टी एच एट याहू डॉट कॉम
 hgarza@gmail.com~एच जी ए आर ज़ेड ए एट जीमेल डॉट कॉम
 qhill@yahoo.com~क्यू एच आई एल एल एट याहू डॉट कॉम
-green-turner.org~ग्रीन हाइफ़न टी यू आर एन ई आर डॉट ऑर्ग
+green-turner.org~जी आर ई ई एन हाइफ़न टी यू आर एन ई आर डॉट ऑर्ग
 sharma-badami.com~एस एच ए आर एम ए हाइफ़न बी ए डी ए एम आई डॉट कॉम
 osborne-gross.com~ओ एस बी ओ आर एन ई हाइफ़न जी आर ओ एस एस डॉट कॉम
 lucero-stevenson.net~एल यू सी ई आर ओ हाइफ़न एस टी ई वी ई एन एस ओ एन डॉट नेट
@@ -29,7 +29,7 @@ https://amazon.com/~एच टी टी पी एस कोलन फॉरव
 www.google.com~डब्ल्यू डब्ल्यू डब्ल्यू डॉट गूगल डॉट कॉम
 https://www.ndtv.com~एच टी टी पी एस कोलन फॉरवर्ड स्लैश फॉरवर्ड स्लैश डब्ल्यू डब्ल्यू डब्ल्यू डॉट एन डी टी वी डॉट कॉम
 https://www.rbi.org.in/~एच टी टी पी एस कोलन फॉरवर्ड स्लैश फॉरवर्ड स्लैश डब्ल्यू डब्ल्यू डब्ल्यू डॉट आर बी आई डॉट ऑर्ग डॉट इन फॉरवर्ड स्लैश
-https://www.amity.edu~एच टी टी पी एस कोलन फॉरवर्ड स्लैश फॉरवर्ड स्लैश डब्ल्यू डब्ल्यू डब्ल्यू डॉट एमिटी डॉट ई डी यू
+https://www.amity.edu~एच टी टी पी एस कोलन फॉरवर्ड स्लैश फॉरवर्ड स्लैश डब्ल्यू डब्ल्यू डब्ल्यू डॉट ए एम आई टी वाई डॉट ई डी यू
 https://example.com/blog/~एच टी टी पी एस कोलन फॉरवर्ड स्लैश फॉरवर्ड स्लैश ई एक्स ए एम पी एल ई डॉट कॉम फॉरवर्ड स्लैश ब्लॉग फॉरवर्ड स्लैश
 https://example.com/about.html~एच टी टी पी एस कोलन फॉरवर्ड स्लैश फॉरवर्ड स्लैश ई एक्स ए एम पी एल ई डॉट कॉम फॉरवर्ड स्लैश अबाउट डॉट एच टी एम एल
 https://example.com/search.php~एच टी टी पी एस कोलन फॉरवर्ड स्लैश फॉरवर्ड स्लैश ई एक्स ए एम पी एल ई डॉट कॉम फॉरवर्ड स्लैश सर्च डॉट पी एच पी
@@ -38,13 +38,13 @@ http://gcu.edu~एच टी टी पी कोलन फॉरवर्ड 
 http://pima.edu~एच टी टी पी कोलन फॉरवर्ड स्लैश फॉरवर्ड स्लैश पी आई एम ए डॉट ई डी यू
 bamu.nic.in/~बी ए एम यू डॉट एन आई सी डॉट इन फॉरवर्ड स्लैश
 bieap.gov.in/~बी आई ई ए पी डॉट जी ओ वी डॉट इन फॉरवर्ड स्लैश
-www.sharda.ac.in~डब्ल्यू डब्ल्यू डब्ल्यू डॉट शारदा डॉट ए सी डॉट इन
-C:\Users\HP\Desktop\~सी कोलन बैकवर्ड स्लैश यूज़र्स बैकवर्ड स्लैश एच पी बैकवर्ड स्लैश डेस्कटॉप बैकवर्ड स्लैश
-C:\Users\HP\Downloads\~सी कोलन बैकवर्ड स्लैश यूज़र्स बैकवर्ड स्लैश एच पी बैकवर्ड स्लैश डाउनलोड्स बैकवर्ड स्लैश
-C:\Users\HP\Documents\Zoom~सी कोलन बैकवर्ड स्लैश यूज़र्स बैकवर्ड स्लैश एच पी बैकवर्ड स्लैश डॉक्युमेंट्स बैकवर्ड स्लैश ज़ेड ओ ओ एम
+www.sharda.ac.in~डब्ल्यू डब्ल्यू डब्ल्यू डॉट एस एच ए आर डी ए डॉट ए सी डॉट इन
+C:\Users\HP\Desktop\~सी कोलन बैकवर्ड स्लैश यू एस ई आर एस बैकवर्ड स्लैश एच पी बैकवर्ड स्लैश डी ई एस के टी ओ पी बैकवर्ड स्लैश
+C:\Users\HP\Downloads\~सी कोलन बैकवर्ड स्लैश यू एस ई आर एस बैकवर्ड स्लैश एच पी बैकवर्ड स्लैश डी ओ डब्ल्यू एन एल ओ ए डी एस बैकवर्ड स्लैश
+C:\Users\HP\Documents\Zoom~सी कोलन बैकवर्ड स्लैश यू एस ई आर एस बैकवर्ड स्लैश एच पी बैकवर्ड स्लैश डी ओ सी यू एम ई एन टी एस बैकवर्ड स्लैश ज़ेड ओ ओ एम
 /home/desktop~फॉरवर्ड स्लैश होम फॉरवर्ड स्लैश डेस्कटॉप
-/etc/apache~फॉरवर्ड स्लैश ई टी सी फॉरवर्ड स्लैश अपाची
-/var/www~फॉरवर्ड स्लैश वार फॉरवर्ड स्लैश डब्ल्यू डब्ल्यू डब्ल्यू
+/etc/apache~फॉरवर्ड स्लैश ई टी सी फॉरवर्ड स्लैश ए पी ए सी एच ई
+/var/www~फॉरवर्ड स्लैश वी ए आर फॉरवर्ड स्लैश डब्ल्यू डब्ल्यू डब्ल्यू
 192.168.1.1~एक नौ दो डॉट एक छह आठ डॉट एक डॉट एक
 10.0.0.1~एक शून्य डॉट शून्य डॉट शून्य डॉट एक
 83.54.245.61~आठ तीन डॉट पाँच चार डॉट दो चार पाँच डॉट छह एक