urduhack icon indicating copy to clipboard operation
urduhack copied to clipboard

Pos Tag error

Open bm2515 opened this issue 5 years ago • 2 comments

I run the following code to generate word tokenization for my urdu text corpus:

 
 import urduhack
 nlp = urduhack.Pipeline()
 urduhack.download()
 doc = nlp(text)
 for sentence in doc.sentences:
     for word in sentence.words:
         print(word.text)

I get the following error:

/usr/local/lib/python3.7/dist-packages/urduhack/pipeline/parsers/pos_tagger.py in parse(self, document) 20 tags = predict_tags(sentence.text) 21 ---> 22 assert len(tags) == len(sentence.words), " Error in post tags" 23 for tag, word in zip(tags, sentence.words): 24 if tag[0] == word.text:

AssertionError: Error in post tags

Here's my Urdu Text corpus:

یوں توآئے دن کوئی نا کوئی واقعہ رونما ہوتا ہے ۔ کبھی لڑکیوں کو گولی مار کر زندہ درگور کیا جاتا ہے تو کسی کو جلا کر مار دیا جاتا ہے ۔ پھر قانون اور اسلام کے نام پر حاصل ہونے والے پاکستان پر ایک نہیں پانچ انگلیاں اٹھتی ہیں ۔ صفحے پر صفحے کالے کیے جاتے ہیں ۔ جس کا جتنا بس چلتا ہے وہ اپنی نفرت کا اظہار بھی اسی طرح کرتا ہے ۔ میری طرح کئی ایسے ہوں گے جو اپنی تسلی کے لیے لکھتے ہوں گے کہ شاید لکھ کر ہم نے شہیدوں میں نام لکھوا لیا ہے ۔ ابھی سیلاب کے بارے میں سوچا ہی جا رہا تھا کہ ایک ایسی وڈیو نے سوچنے پر مجبور کر دیا کہ کیا ان کو انصاف مل سکے گا ۔ یا کچھ وقت گزر جانے کے بعد یہ بھی ماضی کا حصہ بن جاہیں گے ۔ اسلام آباد میں طلبا اور سول سوسائٹی کی تنظیموں نے احتجاجی مظاہرے کئے ۔ سابق جج کاظم علی ملک پر مشتمل تحقیقاتی ٹریبونل نے چھیاسٹھ افراد کے بیانات قلمبند کئے ۔ ٹرریبونل کے سامنے سابق ڈی پی او سیالکوٹ وقار چوہان ، سابق ایس پی انوسٹی گیشن افضل ورک ، علامہ اقبال میڈیکل کالج کے آفیسرز ، ڈسٹرکٹ ایمرجنسی اور ریسکیو ڈبل ون ڈبل ٹو کے اسٹیشن انچارج اور دس اہلکاروں کے علاوہ موضع بٹر سے تعلق رکھنے والے آٹھ مردوں اور چالیس خواتین نے اپنے بیانات قلمبند کرائے ۔ دونوں بھائیوں کے قتل کے الزام میں پولیس اہلکاروں سمیت سولہ افراد کو گرفتار کرلیا گیا ہے ۔ نیشنل پریس کلب اسلام آباد کے باہر پاکستان انٹرنیشنل ہیومن رائٹس اور انجمن طلباء اسلام کے کارکنوں نے سیالکوٹ کے پرتشدد واقعے کے خلاف احتجاجی مظاہرہ کیا ۔ مظاہرین نے حکومت سے مطالبہ کیا کہ واقعہ میں ملوث ریسکیو ڈبل ون ڈبل ٹو اور موقع پر موجود پولیس اہلکاروں کے خلاف بھی قتل کا مقدمہ درج کیا جائے اور انہیں قرار واقعی سزا دی جائے ۔ موقع پر موجود ہر تماشائی کو بھی سزا ملنی چاہیے ۔ آپ کے خیال میں یہ سب کچھ ممکن ہو گا یا پھر وہی ہم اور ہمارا قانون ۔ جس سے نا پہلے کبھی انصاف کی توقع تھی اور نا ہی اب ہے ۔ ایسے میں ہم کیا کر سکتے ہیں ۔ سوچنا ہے ضرور ۔

bm2515 avatar Apr 13 '21 15:04 bm2515

@akkefa @muhammadfahid51 could the issue please be discussed and diagnosed?

bm2515 avatar Apr 14 '21 20:04 bm2515

@bm2515 how did you resolve this error? cc: @akkefa

Babaarif00 avatar Jan 30 '24 17:01 Babaarif00