StopWords.py

class StopWords:
    def __init__(self):
        pass

    en = {'will', 'what', 'i', 'all', 'afterwards', 'help', 'whoever', 'being', 'indeed', 'over', 'move', 'anyway',
          'via', 'through', 'go', 'still', 'yet', 'seemed', 'whose', 'thence', 'somewhere', 'herself', 'seems',
          'either', 'to', 'only', 'under', 'herein', 'ours', 'has', 'might', 'into', 'do', 'them', 'someone',
          'around', 'thereby', 'very', 'de', 'every', 'they', 'yourselves', 'now', 'him', 'hereafter', 'always',
          'whither', 'beforehand', 'whether', 'she', 'though', 'each', 'become', 'sometime', 'therein', 'because',
          'often', 'eg', 'some', 'somehow', 'namely', 'towards', 'are', 'our', 'beyond', 'ourselves', 'out',
          'even', 'for', 'since', 'please', 'while', 'per', 'its', 'everything', 'enough', 'above', 'between',
          'neither', 'before', 'ever', 'across', 'thereupon', 'be', 'we', 'full', 'amoungst', 'however', 'here',
          'couldnt', 'whereupon', 'nowhere', 'although', 'found', 'alone', 're', 'anyhow', 'by', 'both', 'about',
          'would', 'anything', 'of', 'could', 'whereafter', 'wherever', 'against', 'keep', 'etc', 'became', 'ltd',
          'hence', 'onto', 'or', 'otherwise', 'among', 'already', 'co', 'seeming', 'had', 'thereafter', 'others',
          'whatever', 'yourself', 'down', 'hers', 'everyone', 'done', 'been', 'another', 'such', 'moreover',
          'throughout', 'your', 'from', 'her', 'their', 'top', 'there', 'next', 'anyone', 'few', 'therefore',
          'then', 'themselves', 'thru', 'until', 'empty', 'more', 'himself', 'elsewhere', 'mostly', 'on', 'fire',
          'latterly', 'becoming', 'nobody', 'but', 'it', 'part', 'everywhere', 'too', 'with', 'than', 'those',
          'he', 'myself', 'my', 'this', 'up', 'us', 'besides', 'nevertheless', 'below', 'can', 'were', 'toward',
          'something', 'and', 'give', 'almost', 'sincere', 'in', 'thus', 'mine', 'an', 'as', 'his', 'at', 'have',
          'further', 'seem', 'ie', 'any', 'if', 'again', 'hasnt', 'inc', 'rather', 'latter', 'meanwhile', 'same',
          'wherein', 'beside', 'also', 'that', 'other', 'take', 'becomes', 'you', 'several', 'hereby', 'see',
          'shall', 'may', 'put', 'after', 'upon', 'most', 'hereupon', 'these', 'amongst', 'along', 'else', 'must',
          'a', 'off', 'whereby', 'whenever', 'whole', 'sometimes', 'well', 'except', 'yours', 'perhaps', 'itself',
          'without', 'so', 'the', 'con', 'whereas', 'once'}

    english_question_words = {'how', 'why', 'when', 'where', 'which', 'who', 'during', 'describe', 'detail', 'is',
                              'many', 'much', 'should', 'was', 'will', 'within', 'whom', 'i', 'me', 'my'}

    fr = {"a", "ai", "aie", "aient", "aies", "ait", "alors", "as", "au", "aucun", "aura", "aurai", "auraient",
          "aurais", "aurait", "auras", "aurez", "auriez", "aurions", "aurons", "auront", "aussi", "autre", "aux",
          "avaient", "avais", "avait", "avant", "avec", "avez", "aviez", "avions", "avoir", "avons", "ayant",
          "ayez", "ayons", "bon", "car", "ce", "ceci", "cela", "ces", "cet", "cette", "ceux", "chaque", "ci",
          "comme", "comment", "d", "dans", "de", "dedans", "dehors", "depuis", "des", "deux", "devoir", "devrait",
          "devrez", "devriez", "devrions", "devrons", "devront", "dois", "doit", "donc", "dos", "droite", "du",
          "dès", "début", "dù", "elle", "elles", "en", "encore", "es", "est", "et", "eu", "eue", "eues", "eurent",
          "eus", "eusse", "eussent", "eusses", "eussiez", "eussions", "eut", "eux", "eûmes", "eût", "eûtes",
          "faire", "fais", "faisez", "fait", "faites", "fois", "font", "force", "furent", "fus", "fusse", "fussent",
          "fusses", "fussiez", "fussions", "fut", "fûmes", "fût", "fûtes", "haut", "hors", "ici", "il", "ils", "j",
          "je", "juste", "l", "la", "le", "les", "leur", "leurs", "lui", "là", "m", "ma", "maintenant", "mais",
          "me", "mes", "moi", "moins", "mon", "mot", "même", "n", "ne", "ni", "nom", "nommé", "nommée", "nommés",
          "nos", "notre", "nous", "nouveau", "nouveaux", "on", "ont", "ou", "où", "par", "parce", "parole", "pas",
          "personne", "personnes", "peu", "peut", "plupart", "pour", "pourquoi", "qu", "quand", "que", "quel",
          "quelle", "quelles", "quels", "qui", "sa", "sans", "se", "sera", "serai", "seraient", "serais", "serait",
          "seras", "serez", "seriez", "serions", "serons", "seront", "ses", "seulement", "si", "sien", "soi",
          "soient", "sois", "soit", "sommes", "son", "sont", "sous", "soyez", "soyons", "suis", "sujet", "sur", "t",
          "ta", "tandis", "te", "tellement", "tels", "tes", "toi", "ton", "tous", "tout", "trop", "très", "tu",
          "un", "une", "valeur", "voient", "vois", "voit", "vont", "vos", "votre", "vous", "vu", "y", "à", "ça",
          "étaient", "étais", "était", "étant", "état", "étiez", "étions", "été", "étés", "êtes", "être"}

    de = {"aber", "alle", "allem", "allen", "aller", "alles", "als", "also", "am", "an", "ander", "andere",
          "anderem", "anderen", "anderer", "anderes", "anderm", "andern", "anders", "auch", "auf", "aus", "bei",
          "bin", "bis", "bist", "da", "damit", "dann", "das", "dass", "dasselbe", "dazu", "daß", "dein", "deine",
          "deinem", "deinen", "deiner", "deines", "dem", "demselben", "den", "denn", "denselben", "der", "derer",
          "derselbe", "derselben", "des", "desselben", "dessen", "dich", "die", "dies", "diese", "dieselbe",
          "dieselben", "diesem", "diesen", "dieser", "dieses", "dir", "doch", "dort", "du", "durch", "ein", "eine",
          "einem", "einen", "einer", "eines", "einig", "einige", "einigem", "einigen", "einiger", "einiges",
          "einmal", "er", "es", "etwas", "euch", "euer", "eure", "eurem", "euren", "eurer", "eures", "für", "gegen",
          "gewesen", "hab", "habe", "haben", "hat", "hatte", "hatten", "hier", "hin", "hinter", "ich", "ihm", "ihn",
          "ihnen", "ihr", "ihre", "ihrem", "ihren", "ihrer", "ihres", "im", "in", "indem", "ins", "ist", "jede",
          "jedem", "jeden", "jeder", "jedes", "jene", "jenem", "jenen", "jener", "jenes", "jetzt", "kann", "kein",
          "keine", "keinem", "keinen", "keiner", "keines", "können", "könnte", "machen", "man", "manche", "manchem",
          "manchen", "mancher", "manches", "mein", "meine", "meinem", "meinen", "meiner", "meines", "mich", "mir",
          "mit", "muss", "musste", "nach", "nicht", "nichts", "noch", "nun", "nur", "ob", "oder", "ohne", "sehr",
          "sein", "seine", "seinem", "seinen", "seiner", "seines", "selbst", "sich", "sie", "sind", "so", "solche",
          "solchem", "solchen", "solcher", "solches", "soll", "sollte", "sondern", "sonst", "um", "und", "uns",
          "unser", "unsere", "unserem", "unseren", "unserer", "unseres", "unter", "viel", "vom", "von", "vor",
          "war", "waren", "warst", "was", "weg", "weil", "weiter", "welche", "welchem", "welchen", "welcher",
          "welches", "wenn", "werde", "werden", "wie", "wieder", "will", "wir", "wird", "wirst", "wo", "wollen",
          "wollte", "während", "würde", "würden", "zu", "zum", "zur", "zwar", "zwischen", "über"}

    es = {"a", "al", "algo", "algunas", "algunos", "ante", "antes", "como", "con", "contra", "cual", "cuando",
          "de", "del", "desde", "donde", "durante", "e", "el", "ella", "ellas", "ellos", "en", "entre", "era",
          "erais", "eran", "eras", "eres", "es", "esa", "esas", "ese", "eso", "esos", "esta", "estaba", "estabais",
          "estaban", "estabas", "estad", "estada", "estadas", "estado", "estados", "estamos", "estando", "estar",
          "estaremos", "estará", "estarán", "estarás", "estaré", "estaréis", "estaría", "estaríais", "estaríamos",
          "estarían", "estarías", "estas", "este", "estemos", "esto", "estos", "estoy", "estuve", "estuviera",
          "estuvierais", "estuvieran", "estuvieras", "estuvieron", "estuviese", "estuvieseis", "estuviesen",
          "estuvieses", "estuvimos", "estuviste", "estuvisteis", "estuviéramos", "estuviésemos", "estuvo", "está",
          "estábamos", "estáis", "están", "estás", "esté", "estéis", "estén", "estés", "fue", "fuera", "fuerais",
          "fueran", "fueras", "fueron", "fuese", "fueseis", "fuesen", "fueses", "fui", "fuimos", "fuiste",
          "fuisteis", "fuéramos", "fuésemos", "ha", "habida", "habidas", "habido", "habidos", "habiendo",
          "habremos", "habrá", "habrán", "habrás", "habré", "habréis", "habría", "habríais", "habríamos",
          "habrían", "habrías", "habéis", "había", "habíais", "habíamos", "habían", "habías", "han", "has",
          "hasta", "hay", "haya", "hayamos", "hayan", "hayas", "hayáis", "he", "hemos", "hube", "hubiera",
          "hubierais", "hubieran", "hubieras", "hubieron", "hubiese", "hubieseis", "hubiesen", "hubieses",
          "hubimos", "hubiste", "hubisteis", "hubiéramos", "hubiésemos", "hubo", "la", "las", "le", "les", "lo",
          "los", "me", "mi", "mis", "mucho", "muchos", "muy", "más", "mí", "mía", "mías", "mío", "míos", "nada",
          "ni", "no", "nos", "nosotras", "nosotros", "nuestra", "nuestras", "nuestro", "nuestros", "o", "os",
          "otra", "otras", "otro", "otros", "para", "pero", "poco", "por", "porque", "que", "quien", "quienes",
          "qué", "se", "sea", "seamos", "sean", "seas", "seremos", "será", "serán", "serás", "seré", "seréis",
          "sería", "seríais", "seríamos", "serían", "serías", "seáis", "sido", "siendo", "sin", "sobre", "sois",
          "somos", "son", "soy", "su", "sus", "suya", "suyas", "suyo", "suyos", "sí", "también", "tanto", "te",
          "tendremos", "tendrá", "tendrán", "tendrás", "tendré", "tendréis", "tendría", "tendríais", "tendríamos",
          "tendrían", "tendrías", "tened", "tenemos", "tenga", "tengamos", "tengan", "tengas", "tengo", "tengáis",
          "tenida", "tenidas", "tenido", "tenidos", "teniendo", "tenéis", "tenía", "teníais", "teníamos", "tenían",
          "tenías", "ti", "tiene", "tienen", "tienes", "todo", "todos", "tu", "tus", "tuve", "tuviera",
          "tuvierais", "tuvieran", "tuvieras", "tuvieron", "tuviese", "tuvieseis", "tuviesen", "tuvieses",
          "tuvimos", "tuviste", "tuvisteis", "tuviéramos", "tuviésemos", "tuvo", "tuya", "tuyas", "tuyo", "tuyos",
          "tú", "un", "una", "uno", "unos", "vosotras", "vosotros", "vuestra", "vuestras", "vuestro", "vuestros",
          "y", "ya", "yo", "él", "éramos"}

    ar = ["فى", "في", "كل", "لم", "لن", "له", "من", "هو", "هي", "قوة", "كما", "لها", "منذ", "وقد", "ولا", "لقاء",
          "مقابل", "هناك", "وقال", "وكان", "وقالت", "وكانت", "فيه", "لكن", "وفي", "ولم", "ومن", "وهو", "وهي", "يوم",
          "فيها", "منها", "يكون", "يمكن	حيث", "االا", "اما", "االتى", "التي", "اكثر", "ايضا", "الذى", "الذي",
          "الان", "الذين", "ابين", "ذلك", "دون", "حول", "حين", "الى", "انه", "اول", "انها", "ف", "و", "و6", "قد",
          "لا", "ما", "مع", "هذا", "واحد", "واضاف", "واضافت", "فان", "قبل", "قال", "كان", "لدى", "نحو", "هذه",
          "وان", "واكد", "كانت", "واوضح	", "ب", "ا", "أ", "،", "عن", "عند", "عندما", "على", "عليه", "عليها",
          "تم", "ضد", "بعد", "بعض", "حتى", "اذا", "احد", "بان", "اجل", "غير", "بن", "به", "ثم", "اف", "ان", "او",
          "اي", "بها"]

    hi = {"पर", "इन", "वह ", "यिह ", "वुह ", "जिन्हें", "जिन्हों", "तिन्हें", "तिन्हों", "किन्हों", "किन्हें",
          "इत्यादि", "द्वारा", "इन्हें", "इन्हों", "उन्हों", "बिलकुल", "निहायत", "ऱ्वासा", "इन्हीं", "उन्हीं",
          "उन्हें", "इसमें", "जितना", "दुसरा", "कितना", "दबारा", "साबुत", "वग़ैरह", "दूसरे", "कौनसा", "लेकिन", "होता",
          "करने", "किया", "लिये", "अपने", "नहीं", "दिया", "इसका", "करना", "वाले", "सकते", "इसके", "सबसे", "होने",
          "करते", "बहुत", "वर्ग", "करें", "होती", "अपनी", "उनके", "कहते", "होते", "करता", "उनकी", "इसकी", "सकता",
          "रखें", "अपना", "उसके", "जिसे", "तिसे", "किसे", "किसी", "काफ़ी", "पहले", "नीचे", "बाला", "यहाँ", "जैसा",
          "जैसे", "मानो", "अंदर", "भीतर", "पूरा", "सारा", "होना", "उनको", "वहाँ", "वहीं", "जहाँ", "जीधर", "उनका",
          "इनका", "के", "हैं", "गया", "बनी", "एवं", "हुआ", "साथ", "बाद", "लिए", "कुछ", "कहा", "यदि", "हुई", "इसे",
          "हुए", "अभी", "सभी", "कुल", "रहा", "रहे", "इसी", "उसे", "जिस", "जिन", "तिस", "तिन", "कौन", "किस", "कोई",
          "ऐसे", "तरह", "किर", "साभ", "संग", "यही", "बही", "उसी", "फिर", "मगर", "का", "एक", "यह", "से", "को", "इस",
          "कि", "जो", "कर", "मे", "ने", "तो", "ही", "या", "हो", "था", "तक", "आप", "ये", "थे", "दो", "वे", "थी", "जा",
          "ना", "उस", "एस", "पे", "उन", "सो", "भी", "और", "घर", "तब", "जब", "अत", "व", "न"}

    ja = {"これ", "それ", "あれ", "この", "その", "あの", "ここ", "そこ", "あそこ", "こちら", "どこ", "だれ", "なに", "なん", "何", "私",
          "貴方	貴方方", "我々", "私達", "あの人", "あのかた", "彼女", "彼", "です", "あります", "おります", "います", "は", "が", "の", "に", "を",
          "で	え", "から", "まで", "より", "も", "どの", "と", "し", "それで", "しかし"}

    pt = {"último", "é", "acerca", "agora", "algmas", "alguns", "ali", "ambos", "antes", "apontar",
          "aquela", "aquelas", "aquele", "aqueles", "aqui", "atrás", "bem", "bom", "cada", "caminho",
          "cima", "com", "como", "comprido", "conhecido", "corrente", "das", "debaixo", "dentro",
          "desde", "desligado", "deve", "devem", "deverá", "direita", "diz", "dizer", "dois", "dos",
          "e", "ela", "ele", "eles", "em", "enquanto", "então", "está", "estão", "estado",
          "estar	estará", "este", "estes", "esteve", "estive", "estivemos", "estiveram", "eu",
          "fará", "faz", "fazer", "fazia", "fez", "fim", "foi", "fora", "horas", "iniciar", "inicio",
          "ir", "irá", "ista", "iste", "isto", "ligado", "maioria", "maiorias", "mais", "mas", "mesmo",
          "meu", "muito", "muitos", "nós", "não", "nome", "nosso", "novo", "o", "onde", "os", "ou",
          "outro", "para", "parte", "pegar", "pelo", "pessoas", "pode", "poderá	podia", "por",
          "porque", "povo", "promeiro", "quê", "qual", "qualquer", "quando", "quem", "quieto", "são",
          "saber", "sem", "ser", "seu", "somente", "têm", "tal", "também", "tem", "tempo", "tenho",
          "tentar", "tentaram", "tente", "tentei", "teu", "teve", "tipo", "tive", "todos", "trabalhar",
          "trabalho", "tu", "um", "uma", "umas", "uns", "usa", "usar", "valor", "veja", "ver",
          "verdade", "verdadeiro", "você"}

    zh_tw = {'也许', '部分', '少数', '显示', '页', '那里', '几乎', '万维网', '这里', '免得', '旁', '沿', '下列', '足够', '即时', '远', '娜娜', '导致',
             '后来', '从而', '谁是', '它', '每', '随你', '从', '还有很多', '决不', '上升', '减', '将', '这是', '但', '那些', '下午', '这是好的', '贝壳',
             '然而', '这个红色', '与此同时', '背部', '为什么', '找', '来', '加', '例如', '保持', '特别', '许多', '它会', '必要', '不能', '指数', '反对',
             '我们自己', '什么时候', '无论如何', '说', '之后', '需要', '一旦', '一世', '有用', '请', '会是什么', '是', '最小', '非常', '在表面上', '您',
             '这些', '向上', '成为', '公斤', '你有', '获得', '大量', '他们', '棚', '嘿', '过去', '该', '正确', '不幸', '日期', '下一个', '只是', '问',
             '新', '两次', '再次', '同', '代替', 'ñ', '看', '话', '某处', '一', '将不会', '除了', '我有', '哟', '所以', '他们会的', '非', '大家',
             '到处', '外', '七', '仍然', '进一步', '先生', '手段', '下', '当然', '那将是', '分别', '不要', '查看', '等待', '但之前', '一起', '此外',
             '结束', '很快', '提前', '晚了', '或', '什么是', '骄傲', '似乎', '用处', '甚至', '充分', '欠', '看着', '趋向', '出现', '能够', '不管',
             '不同', '其次', '包含', '怎么样', '我们的', '原因', 'ð', '一个已知的', '宁', '一样', '不久', '停止', '约', '名称', '显然地', '世界', '喜欢',
             '继续', '其他', '尝试', '几乎没有', '你好', '之前', '二', '他们是', '愿意', '她曾经是', '显著', '相对', 'Ť', '单独', '比', '小', '因此',
             '哪一个', '旧', '您可以', '每当', '先前', '确定', '太太', '继承者', '及时', '你的', '整个', '谁会的', '使用', '某时', '任何人', '她自己',
             '顺利', '这样', '我们已经', '应该', '然后', '之间', '给', '含义', '谢谢', '明显', '更改', '小费', '希望', '不是你', '再来一次', '让', '后',
             '网页', '如下', '开始', '平时', '小姐', '总体', '略', '哪里', '广泛', '问候', '随地', '因为', '她的', '放', '认为', '它的', '通过', '一些',
             '本身', '也不', '尝试一下', '零', '那是', '有', '如', '现在', '类似', '固定', '根据', '线', '经常', '哦', '无处', '直到', '的', '最',
             '在', '重要性', '基本上', '这个', '反感', '前锋', '其中', '那', '星期三', '告诉', '什么', '看到', '没有', '在此之上', '位置', '要么', '没有人',
             '矿', '有人', '建议', '提供', '所有', '用过的', '两卷', '信息', '上', '说过', '知道', '任何', '裁判', '已经', '和', '立即', '太', '天',
             '他们自己', '再见', '简要', '别处', '和...一起去', '省略', '制造', '相当', '只要', '走', '做', '千米', '条例', '欢迎', '眼见', '确实', '卷',
             '当下', '注意', '已经有', 'ü', '吞吐量', '是否', '不好', '谁', 'ž', '值', '有关', '某物', '这很好', '可能', '特此', '锯', '发送', '以来',
             '让我们', '大概', 'Ĵ', '虽然', '他们已经', '想你', '对于', '不知何故', '发生', '真实', '我们', '以防万一', '主要', '最近', '中午', '总是',
             'ķ', '跑', '更多', '走了', '简要地', '添加', '至', '除非', '他的', '有时', '除', '会有', '千', '可得到', '他', '过度', '不得不', '指定',
             '早上', '他自己', '第二', '抱歉', '以上', '近', '藏', '后者', '其中，', '向内的', '重要', '得到', '他是', '相同', '简单', '耽误', '具体',
             '使', '采取', '你自己', '用于', '方法', '你是'}

    bahasa = {'abdul', 'abdullah', 'acara', 'ada', 'adalah', 'ahmad', 'air', 'akan', 'akhbar', 'akhir', 'aktiviti',
              'alam', 'amat', 'amerika', 'anak', 'anggota', 'antara', 'antarabangsa', 'apa', 'apabila', 'april', 'as',
              'asas', 'asean', 'asia', 'asing', 'atas', 'atau', 'australia', 'awal', 'awam', 'bagaimanapun', 'bagi',
              'bahagian', 'bahan', 'baharu', 'bahawa', 'baik', 'bandar', 'bank', 'banyak', 'barangan', 'baru',
              'baru-baru', 'bawah', 'beberapa', 'bekas', 'beliau', 'belum', 'berada', 'berakhir', 'berbanding',
              'berdasarkan', 'berharap', 'berikutan', 'berjaya', 'berjumlah', 'berkaitan', 'berkata', 'berkenaan',
              'berlaku', 'bermula', 'bernama', 'bernilai', 'bersama', 'berubah', 'besar', 'bhd', 'bidang', 'bilion',
              'bn', 'boleh', 'bukan', 'bulan', 'bursa', 'cadangan', 'china', 'dagangan', 'dalam', 'dan', 'dana',
              'dapat', 'dari', 'daripada', 'dasar', 'datang', 'datuk', 'demikian', 'dengan', 'depan', 'derivatives',
              'dewan', 'di', 'diadakan', 'dibuka', 'dicatatkan', 'dijangka', 'diniagakan', 'dis', 'disember', 'ditutup',
              'dolar', 'dr', 'dua', 'dunia', 'ekonomi', 'eksekutif', 'eksport', 'empat', 'enam', 'faedah', 'feb',
              'global', 'hadapan', 'hanya', 'harga', 'hari', 'hasil', 'hingga', 'hubungan', 'ia', 'iaitu', 'ialah',
              'indeks', 'india', 'indonesia', 'industri', 'ini', 'islam', 'isnin', 'isu', 'itu', 'jabatan', 'jalan',
              'jan', 'jawatan', 'jawatankuasa', 'jepun', 'jika', 'jualan', 'juga', 'julai', 'jumaat', 'jumlah', 'jun',
              'juta', 'kadar', 'kalangan', 'kali', 'kami', 'kata', 'katanya', 'kaunter', 'kawasan', 'ke', 'keadaan',
              'kecil', 'kedua', 'kedua-dua', 'kedudukan', 'kekal', 'kementerian', 'kemudahan', 'kenaikan', 'kenyataan',
              'kepada', 'kepentingan', 'keputusan', 'kerajaan', 'kerana', 'kereta', 'kerja', 'kerjasama', 'kes',
              'keselamatan', 'keseluruhan', 'kesihatan', 'ketika', 'ketua', 'keuntungan', 'kewangan', 'khamis', 'kini',
              'kira-kira', 'kita', 'klci', 'klibor', 'komposit', 'kontrak', 'kos', 'kuala', 'kuasa', 'kukuh',
              'kumpulan', 'lagi', 'lain', 'langkah', 'laporan', 'lebih', 'lepas', 'lima', 'lot', 'luar', 'lumpur',
              'mac', 'mahkamah', 'mahu', 'majlis', 'makanan', 'maklumat', 'malam', 'malaysia', 'mana', 'manakala',
              'masa', 'masalah', 'masih', 'masing-masing', 'masyarakat', 'mata', 'media', 'mei', 'melalui', 'melihat',
              'memandangkan', 'memastikan', 'membantu', 'membawa', 'memberi', 'memberikan', 'membolehkan', 'membuat',
              'mempunyai', 'menambah', 'menarik', 'menawarkan', 'mencapai', 'mencatatkan', 'mendapat', 'mendapatkan',
              'menerima', 'menerusi', 'mengadakan', 'mengambil', 'mengenai', 'menggalakkan', 'menggunakan', 'mengikut',
              'mengumumkan', 'mengurangkan', 'meningkat', 'meningkatkan', 'menjadi', 'menjelang', 'menokok', 'menteri',
              'menunjukkan', 'menurut', 'menyaksikan', 'menyediakan', 'mereka', 'merosot', 'merupakan', 'mesyuarat',
              'minat', 'minggu', 'minyak', 'modal', 'mohd', 'mudah', 'mungkin', 'naik', 'najib', 'nasional', 'negara',
              'negara-negara', 'negeri', 'niaga', 'nilai', 'nov', 'ogos', 'okt', 'oleh', 'operasi', 'orang', 'pada',
              'pagi', 'paling', 'pameran', 'papan', 'para', 'paras', 'parlimen', 'parti', 'pasaran', 'pasukan',
              'pegawai', 'pejabat', 'pekerja', 'pelabur', 'pelaburan', 'pelancongan', 'pelanggan', 'pelbagai',
              'peluang', 'pembangunan', 'pemberita', 'pembinaan', 'pemimpin', 'pendapatan', 'pendidikan', 'penduduk',
              'penerbangan', 'pengarah', 'pengeluaran', 'pengerusi', 'pengguna', 'pengurusan', 'peniaga', 'peningkatan',
              'penting', 'peratus', 'perdagangan', 'perdana', 'peringkat', 'perjanjian', 'perkara', 'perkhidmatan',
              'perladangan', 'perlu', 'permintaan', 'perniagaan', 'persekutuan', 'persidangan', 'pertama', 'pertubuhan',
              'pertumbuhan', 'perusahaan', 'peserta', 'petang', 'pihak', 'pilihan', 'pinjaman', 'polis', 'politik',
              'presiden', 'prestasi', 'produk', 'program', 'projek', 'proses', 'proton', 'pukul', 'pula', 'pusat',
              'rabu', 'rakan', 'rakyat', 'ramai', 'rantau', 'raya', 'rendah', 'ringgit', 'rumah', 'sabah', 'sahaja',
              'saham', 'sama', 'sarawak', 'satu', 'sawit', 'saya', 'sdn', 'sebagai', 'sebahagian', 'sebanyak',
              'sebarang', 'sebelum', 'sebelumnya', 'sebuah', 'secara', 'sedang', 'segi', 'sehingga', 'sejak',
              'sekarang', 'sektor', 'sekuriti', 'selain', 'selama', 'selasa', 'selatan', 'selepas', 'seluruh',
              'semakin', 'semalam', 'semasa', 'sementara', 'semua', 'semula', 'sen', 'sendiri', 'seorang', 'sepanjang',
              'seperti', 'sept', 'september', 'serantau', 'seri', 'serta', 'sesi', 'setiap', 'setiausaha', 'sidang',
              'singapura', 'sini', 'sistem', 'sokongan', 'sri', 'sudah', 'sukan', 'suku', 'sumber', 'supaya', 'susut',
              'syarikat', 'syed', 'tahap', 'tahun', 'tan', 'tanah', 'tanpa', 'tawaran', 'teknologi', 'telah', 'tempat',
              'tempatan', 'tempoh', 'tenaga', 'tengah', 'tentang', 'terbaik', 'terbang', 'terbesar', 'terbuka',
              'terdapat', 'terhadap', 'termasuk', 'tersebut', 'terus', 'tetapi', 'thailand', 'tiada', 'tidak', 'tiga',
              'timbalan', 'timur', 'tindakan', 'tinggi', 'tun', 'tunai', 'turun', 'turut', 'umno', 'unit', 'untuk',
              'untung', 'urus', 'usaha', 'utama', 'walaupun', 'wang', 'wanita', 'wilayah', 'yang'}

    it = {"ad", "al", "allo", "ai", "agli", "all", "agl", "alla", "alle", "con", "col", "coi", "da", "dal",
          "dallo", "dai", "dagli", "dall", "dagl", "dalla", "dalle", "di", "del", "dello", "dei", "degli", "dell",
          "degl", "della", "delle", "in", "nel", "nello", "nei", "negli", "nell", "negl", "nella", "nelle", "su",
          "sul", "sullo", "sui", "sugli", "sull", "sugl", "sulla", "sulle", "per", "tra", "contro", "io", "tu",
          "lui", "lei", "noi", "voi", "loro", "mio", "mia", "miei", "mie", "tuo", "tua", "tuoi", "tue", "suo",
          "sua", "suoi", "sue", "nostro", "nostra", "nostri", "nostre", "vostro", "vostra", "vostri", "vostre",
          "mi", "ti", "ci", "vi", "lo", "la", "li", "le", "gli", "ne", "il", "un", "uno", "una", "ma", "ed", "se",
          "perché", "anche", "come", "dov", "dove", "che", "chi", "cui", "non", "più", "quale", "quanto", "quanti",
          "quanta", "quante", "quello", "quelli", "quella", "quelle", "questo", "questi", "questa", "queste", "si",
          "tutto", "tutti", "a", "c", "e", "i", "l", "o", "ho", "hai", "ha", "abbiamo", "avete", "hanno", "abbia",
          "abbiate", "abbiano", "avrò", "avrai", "avrà", "avremo", "avrete", "avranno", "avrei", "avresti",
          "avrebbe", "avremmo", "avreste", "avrebbero", "avevo", "avevi", "aveva", "avevamo", "avevate", "avevano",
          "ebbi", "avesti", "ebbe", "avemmo", "aveste", "ebbero", "avessi", "avesse", "avessimo", "avessero",
          "avendo", "avuto", "avuta", "avuti", "avute", "sono", "sei", "è", "siamo", "siete", "sia", "siate",
          "siano", "sarò", "sarai", "sarà", "saremo", "sarete", "saranno", "sarei", "saresti", "sarebbe",
          "saremmo", "sareste", "sarebbero", "ero", "eri", "era", "eravamo", "eravate", "erano", "fui", "fosti",
          "fu", "fummo", "foste", "furono", "fossi", "fosse", "fossimo", "fossero", "essendo", "faccio", "fai",
          "facciamo", "fanno", "faccia", "facciate", "facciano", "farò", "farai", "farà", "faremo", "farete",
          "faranno", "farei", "faresti", "farebbe", "faremmo", "fareste", "farebbero", "facevo", "facevi",
          "faceva", "facevamo", "facevate", "facevano", "feci", "facesti", "fece", "facemmo", "faceste", "fecero",
          "facessi", "facesse", "facessimo", "facessero", "facendo", "sto", "stai", "sta", "stiamo", "stanno",
          "stia", "stiate", "stiano", "starò", "starai", "starà", "staremo", "starete", "staranno", "starei",
          "staresti", "starebbe", "staremmo", "stareste", "starebbero", "stavo", "stavi", "stava", "stavamo",
          "stavate", "stavano", "stetti", "stesti", "stette", "stemmo", "steste", "stettero", "stessi", "stesse",
          "stessimo", "stessero", "stando"}

    nl = {'aan', 'aangaande', 'aangezien', 'achte', 'achter', 'achterna', 'af', 'afgelopen', 'al', 'aldaar', 'aldus',
          'alhoewel', 'alias', 'alle', 'allebei', 'alleen', 'alles', 'als', 'alsnog', 'altijd', 'altoos', 'ander',
          'andere', 'anders', 'anderszins', 'beetje', 'behalve', 'behoudens', 'beide', 'beiden', 'ben', 'beneden',
          'bent', 'bepaald', 'betreffende', 'bij', 'bijna', 'bijv', 'binnen', 'binnenin', 'blijkbaar', 'blijken',
          'boven', 'bovenal', 'bovendien', 'bovengenoemd', 'bovenstaand', 'bovenvermeld', 'buiten', 'bv', 'daar',
          'daardoor', 'daarheen', 'daarin', 'daarna', 'daarnet', 'daarom', 'daarop', 'daaruit', 'daarvanlangs',
          'dan', 'dat', 'de', 'deden', 'deed', 'der', 'derde', 'derhalve', 'dertig', 'deze', 'dhr', 'die',
          'dikwijls', 'dit', 'doch', 'doe', 'doen', 'doet', 'door', 'doorgaand', 'drie', 'duizend', 'dus', 'echter',
          'een', 'eens', 'eer', 'eerdat', 'eerder', 'eerlang', 'eerst', 'eerste', 'eigen', 'eigenlijk', 'elk',
          'elke', 'en', 'enig', 'enige', 'enigszins', 'enkel', 'er', 'erdoor', 'erg', 'ergens', 'etc', 'etcetera',
          'even', 'eveneens', 'evenwel', 'gauw', 'ge', 'gedurende', 'geen', 'gehad', 'gekund', 'geleden', 'gelijk',
          'gemoeten', 'gemogen', 'genoeg', 'geweest', 'gewoon', 'gewoonweg', 'haar', 'haarzelf', 'had', 'hadden',
          'hare', 'heb', 'hebben', 'hebt', 'hedden', 'heeft', 'heel', 'hem', 'hemzelf', 'hen', 'het', 'hetzelfde',
          'hier', 'hierbeneden', 'hierboven', 'hierin', 'hierna', 'hierom', 'hij', 'hijzelf', 'hoe', 'hoewel',
          'honderd', 'hun', 'hunne', 'ieder', 'iedere', 'iedereen', 'iemand', 'iets', 'ik', 'ikzelf', 'in',
          'inderdaad', 'inmiddels', 'intussen', 'inzake', 'is', 'ja', 'je', 'jezelf', 'jij', 'jijzelf', 'jou',
          'jouw', 'jouwe', 'juist', 'jullie', 'kan', 'klaar', 'kon', 'konden', 'krachtens', 'kun', 'kunnen', 'kunt',
          'laatst', 'later', 'liever', 'lijken', 'lijkt', 'maak', 'maakt', 'maakte', 'maakten', 'maar', 'mag',
          'maken', 'me', 'meer', 'meest', 'meestal', 'men', 'met', 'mevr', 'mezelf', 'mij', 'mijn', 'mijnent',
          'mijner', 'mijzelf', 'minder', 'miss', 'misschien', 'missen', 'mits', 'mocht', 'mochten', 'moest',
          'moesten', 'moet', 'moeten', 'mogen', 'mr', 'mrs', 'mw', 'na', 'naar', 'nadat', 'nam', 'namelijk', 'nee',
          'neem', 'negen', 'nemen', 'nergens', 'net', 'niemand', 'niet', 'niets', 'niks', 'noch', 'nochtans', 'nog',
          'nogal', 'nooit', 'nu', 'nv', 'of', 'ofschoon', 'om', 'omdat', 'omhoog', 'omlaag', 'omstreeks', 'omtrent',
          'omver', 'ondanks', 'onder', 'ondertussen', 'ongeveer', 'ons', 'onszelf', 'onze', 'onzeker', 'ooit', 'ook',
          'op', 'opnieuw', 'opzij', 'over', 'overal', 'overeind', 'overige', 'overigens', 'paar', 'pas', 'per',
          'precies', 'recent', 'redelijk', 'reeds', 'rond', 'rondom', 'samen', 'sedert', 'sinds', 'sindsdien',
          'slechts', 'sommige', 'spoedig', 'steeds', 'tamelijk', 'te', 'tegen', 'tegenover', 'tenzij', 'terwijl',
          'thans', 'tien', 'tiende', 'tijdens', 'tja', 'toch', 'toe', 'toen', 'toenmaals', 'toenmalig', 'tot',
          'totdat', 'tussen', 'twee', 'tweede', 'u', 'uit', 'uitgezonderd', 'uw', 'vaak', 'vaakwat', 'van', 'vanaf',
          'vandaan', 'vanuit', 'vanwege', 'veel', 'veeleer', 'veertig', 'verder', 'verscheidene', 'verschillende',
          'vervolgens', 'via', 'vier', 'vierde', 'vijf', 'vijfde', 'vijftig', 'vol', 'volgend', 'volgens', 'voor',
          'vooraf', 'vooral', 'vooralsnog', 'voorbij', 'voordat', 'voordezen', 'voordien', 'voorheen', 'voorop',
          'voorts', 'vooruit', 'vrij', 'vroeg', 'waar', 'waarom', 'waarschijnlijk', 'wanneer', 'want', 'waren',
          'was', 'wat', 'we', 'wederom', 'weer', 'weg', 'wegens', 'weinig', 'wel', 'weldra', 'welk', 'welke', 'werd',
          'werden', 'werder', 'wezen', 'whatever', 'wie', 'wiens', 'wier', 'wij', 'wijzelf', 'wil', 'wilden',
          'willen', 'word', 'worden', 'wordt', 'zal', 'ze', 'zei', 'zeker', 'zelf', 'zelfde', 'zelfs', 'zes',
          'zeven', 'zich', 'zichzelf', 'zij', 'zijn', 'zijne', 'zijzelf', 'zo', 'zoals', 'zodat', 'zodra', 'zonder',
          'zou', 'zouden', 'zowat', 'zulk', 'zulke', 'zullen', 'zult'}

    ko = {"!", "\"", "$", "%", "&", "'", "(", ")", "*", "+", ",", "-", ".", "...", "0", "1", "2", "3", "4", "5",
          "6", "7", "8", "9", ";", "<", "=", ">", "?", "@", "\\", "^", "_", "`", "|", "~", "·", "—", "——", "‘", "’",
          "“", "”", "…", "、", "。", "〈", "〉", "《", "》", "가", "가까스로", "가령", "각", "각각", "각자", "각종", "갖고말하자면", "같다",
          "같이", "개의치않고", "거니와", "거바", "거의", "것", "것과 같이", "것들", "게다가", "게우다", "겨우", "견지에서", "결과에 이르다", "결국",
          "결론을 낼 수 있다", "겸사겸사", "고려하면", "고로", "곧", "공동으로", "과", "과연", "관계가 있다", "관계없이", "관련이 있다", "관하여", "관한",
          "관해서는", "구", "구체적으로", "구토하다", "그", "그들", "그때", "그래", "그래도", "그래서", "그러나", "그러니", "그러니까", "그러면", "그러므로",
          "그러한즉", "그런 까닭에", "그런데", "그런즉", "그럼", "그럼에도 불구하고", "그렇게 함으로써", "그렇지", "그렇지 않다면", "그렇지 않으면", "그렇지만",
          "그렇지않으면", "그리고", "그리하여", "그만이다", "그에 따르는", "그위에", "그저", "그중에서", "그치지 않다", "근거로", "근거하여", "기대여", "기점으로",
          "기준으로", "기타", "까닭으로", "까악", "까지", "까지 미치다", "까지도", "꽈당", "끙끙", "끼익", "나", "나머지는", "남들", "남짓", "너", "너희",
          "너희들", "네", "넷", "년", "논하지 않다", "놀라다", "누가 알겠는가", "누구", "다른", "다른 방면으로", "다만", "다섯", "다소", "다수",
          "다시 말하자면", "다시말하면", "다음", "다음에", "다음으로", "단지", "답다", "당신", "당장", "대로 하다", "대하면", "대하여", "대해 말하자면", "대해서",
          "댕그", "더구나", "더군다나", "더라도", "더불어", "더욱더", "더욱이는", "도달하다", "도착하다", "동시에", "동안", "된바에야", "된이상", "두번째로", "둘",
          "둥둥", "뒤따라", "뒤이어", "든간에", "들", "등", "등등", "딩동", "따라", "따라서", "따위", "따지지 않다", "딱", "때", "때가 되어", "때문에",
          "또", "또한", "뚝뚝", "라 해도", "령", "로", "로 인하여", "로부터", "로써", "륙", "를", "마음대로", "마저", "마저도", "마치", "막론하고",
          "만 못하다", "만약", "만약에", "만은 아니다", "만이 아니다", "만일", "만큼", "말하자면", "말할것도 없고", "매", "매번", "메쓰겁다", "몇", "모",
          "모두", "무렵", "무릎쓰고", "무슨", "무엇", "무엇때문에", "물론", "및", "바꾸어말하면", "바꾸어말하자면", "바꾸어서 말하면", "바꾸어서 한다면", "바꿔 말하면",
          "바로", "바와같이", "밖에 안된다", "반대로", "반대로 말하자면", "반드시", "버금", "보는데서", "보다더", "보드득", "본대로", "봐", "봐라", "부류의 사람들",
          "부터", "불구하고", "불문하고", "붕붕", "비걱거리다", "비교적", "비길수 없다", "비로소", "비록", "비슷하다", "비추어 보아", "비하면", "뿐만 아니라",
          "뿐만아니라", "뿐이다", "삐걱", "삐걱거리다", "사", "삼", "상대적으로 말하자면", "생각한대로", "설령", "설마", "설사", "셋", "소생", "소인", "솨",
          "쉿", "습니까", "습니다", "시각", "시간", "시작하여", "시초에", "시키다", "실로", "심지어", "아", "아니", "아니나다를가", "아니라면", "아니면",
          "아니었다면", "아래윗", "아무거나", "아무도", "아야", "아울러", "아이", "아이고", "아이구", "아이야", "아이쿠", "아하", "아홉", "안 그러면",
          "않기 위하여", "않기 위해서", "알 수 있다", "알았어", "앗", "앞에서", "앞의것", "야", "약간", "양자", "어", "어기여차", "어느", "어느 년도",
          "어느것", "어느곳", "어느때", "어느쪽", "어느해", "어디", "어때", "어떠한", "어떤", "어떤것", "어떤것들", "어떻게", "어떻해", "어이", "어째서",
          "어쨋든", "어쩔수 없다", "어찌", "어찌됏든", "어찌됏어", "어찌하든지", "어찌하여", "언제", "언젠가", "얼마", "얼마 안 되는 것", "얼마간", "얼마나",
          "얼마든지", "얼마만큼", "얼마큼", "엉엉", "에", "에 가서", "에 달려 있다", "에 대해", "에 있다", "에 한하다", "에게", "에서", "여", "여기", "여덟",
          "여러분", "여보시오", "여부", "여섯", "여전히", "여차", "연관되다", "연이서", "영", "영차", "옆사람", "예", "예를 들면", "예를 들자면", "예컨대",
          "예하면", "오", "오로지", "오르다", "오자마자", "오직", "오호", "오히려", "와", "와 같은 사람들", "와르르", "와아", "왜", "왜냐하면", "외에도",
          "요만큼", "요만한 것", "요만한걸", "요컨대", "우르르", "우리", "우리들", "우선", "우에 종합한것과같이", "운운", "월", "위에서 서술한바와같이", "위하여",
          "위해서", "윙윙", "육", "으로", "으로 인하여", "으로서", "으로써", "을", "응", "응당", "의", "의거하여", "의지하여", "의해", "의해되다", "의해서",
          "이", "이 되다", "이 때문에", "이 밖에", "이 외에", "이 정도의", "이것", "이곳", "이때", "이라면", "이래", "이러이러하다", "이러한", "이런",
          "이럴정도로", "이렇게 많은 것", "이렇게되면", "이렇게말하자면", "이렇구나", "이로 인하여", "이르기까지", "이리하여", "이만큼", "이번", "이봐", "이상",
          "이어서", "이었다", "이와 같다", "이와 같은", "이와 반대로", "이와같다면", "이외에도", "이용하여", "이유만으로", "이젠", "이지만", "이쪽", "이천구",
          "이천육", "이천칠", "이천팔", "인 듯하다", "인젠", "일", "일것이다", "일곱", "일단", "일때", "일반적으로", "일지라도", "임에 틀림없다", "입각하여",
          "입장에서", "잇따라", "있다", "자", "자기", "자기집", "자마자", "자신", "잠깐", "잠시", "저", "저것", "저것만큼", "저기", "저쪽", "저희", "전부",
          "전자", "전후", "점에서 보아", "정도에 이르다", "제", "제각기", "제외하고", "조금", "조차", "조차도", "졸졸", "좀", "좋아", "좍좍", "주룩주룩",
          "주저하지 않고", "줄은 몰랏다", "줄은모른다", "중에서", "중의하나", "즈음하여", "즉", "즉시", "지든지", "지만", "지말고", "진짜로", "쪽으로", "차라리",
          "참", "참나", "첫번째로", "쳇", "총적으로", "총적으로 말하면", "총적으로 보면", "칠", "콸콸", "쾅쾅", "쿵", "타다", "타인", "탕탕", "토하다",
          "통하여", "툭", "퉤", "틈타", "팍", "팔", "퍽", "펄렁", "하", "하게될것이다", "하게하다", "하겠는가", "하고 있다", "하고있었다", "하곤하였다",
          "하구나", "하기 때문에", "하기 위하여", "하기는한데", "하기만 하면", "하기보다는", "하기에", "하나", "하느니", "하는 김에", "하는 편이 낫다", "하는것도",
          "하는것만 못하다", "하는것이 낫다", "하는바", "하더라도", "하도다", "하도록시키다", "하도록하다", "하든지", "하려고하다", "하마터면", "하면 할수록", "하면된다",
          "하면서", "하물며", "하여금", "하여야", "하자마자", "하지 않는다면", "하지 않도록", "하지마", "하지마라", "하지만", "하하", "한 까닭에", "한 이유는",
          "한 후", "한다면", "한다면 몰라도", "한데", "한마디", "한적이있다", "한켠으로는", "한항목", "할 따름이다", "할 생각이다", "할 줄 안다", "할 지경이다",
          "할 힘이 있다", "할때", "할만하다", "할망정", "할뿐", "할수있다", "할수있어", "할줄알다", "할지라도", "할지언정", "함께", "해도된다", "해도좋다", "해봐요",
          "해서는 안된다", "해야한다", "해요", "했어요", "향하다", "향하여", "향해서", "허", "허걱", "허허", "헉", "헉헉", "헐떡헐떡", "형식으로 쓰여", "혹시",
          "혹은", "혼자", "훨씬", "휘익", "휴", "흐흐", "흥", "힘입어", "︿", "！", "＃", "＄", "％", "＆", "（", "）", "＊", "＋", "，", "０",
          "１", "２", "３", "４", "５", "６", "７", "８", "９", "：", "；", "＜", "＞", "？", "＠", "［", "］", "｛", "｜", "｝", "～",
          "￥"
          }

    @classmethod
    def get_stop_words(cls, lang):
        """ get language specific stop words """

        if lang in ['zh', 'zh_cn', 'zh_tw']:
            lang = 'zh_tw'
        elif lang in ["ja", "japanese"]:
            lang = 'ja'
        elif lang in ["id", "ms", "bahasa"]:
            lang = 'bahasa'

        if lang in ['en']:
            stopwords = cls.en
            stopwords = set(set(stopwords) | cls.english_question_words)
            return stopwords

        else:
            stopwords = getattr(cls, lang)
            return set(stopwords)


if __name__ == '__main__':
    print(StopWords.get_stop_words('hi'))