←
Ahm3d65,139 posts
Ahm3d avatar

Ahm3d

@big_data_eng

Data/Ai Engineer  | Ask me: ngl.link/bigdataeng

◷ Joined January 2011▧ 9,317 Photos and videos
Ahm3d avatar
Ahm3d@big_data_eng·4h

أكيد بستخدمها بس بما يناسب المشاكل اللي مطلوب أحلها، تقدر تبص على الاجابة السابقة تحت تديك فكرة اجمالية عن استخدام الرياضيات في مجال ال data engineering.

Post attachment
Ahm3d avatar
Ahm3d@big_data_eng·4h

أكيد بستخدمها بس بما يناسب المشاكل اللي مطلوب أحلها، تقدر تبص على الاجابة السابقة تحت تديك فكرة اجمالية عن استخدام الرياضيات في مجال ال data engineering.

Post attachment

الاجابة على سؤالك حتفتح عليا النار من أنصار ان شغل الكمبيوتر برمجة وبس والرياضيات ملهاش لازمة وهما كورسين تلاتة واقلب :) فهمك للـ Discrete Math والـ Probability مش مجرد مادة ذاكرتها في الكلية وخلاص. ده بيأثر على طريقة تفكيرك لما تقعد تكتب كود أو تصمم سيستم، وبيخليك توصل لحلول أقرب للـ optimum من اللي بيحل بالتجربة والخطأ ويخبّط يمين وشمال. حتشوف المشكلة بشكل رياضي قبل ما تكتب سطر كود، وده بيفرق جدًا. أمثلة زي: 📌 Graph Theory
ده من أكتر الحاجات اللي بتقابلها في الشغل: -الـ ETL Pipelines وAirflow وSpark كلها في الآخر DAGs. ترتيب الـ tasks بيحصل بـ Topological Sort. لو مفيش فهم للجرافات، هتلاقي نفسك بتعمل dependencies غلط أو loops ومش هتكتشفها غير لما الدنيا تقع. - الـ Microservices dependencies، أو حتى الـ Build Systems وPackage Managers، كلها جرافات. -أنظمة التوصيات أو “People You May Know” ⬅️ علاقات + shortest path أو connected components. -الـ Routing والـ Load Balancing في السيستمز الموزعة. اللي فاهم Graph Theory بيشوف المشكلة من الأول إنها جراف، ويختار الـ algorithm المناسب (BFS أو Dijkstra أو Union-Find) بدل ما يكتب recursion عشوائي. 📌 Set Theory والـ Logic - كل الـ SQL Joins والـ Unique constraints والعمليات في Pandas أو Spark = عمليات على Sets. - أنظمة الـ Permissions والـ RBAC: الـ Roles عبارة عن Sets، والـ Intersection وUnion بيحددوا مين يقدر يعمل إيه. - حتى الـ Bloom Filters مبنية على فكرة الـ Set Membership. اللي فاهم الموضوع ده بيكتب queries وأنظمة صلاحيات أنضف وأقل bugs. 📌 Probability والـ Probabilistic Data Structures (دي أهم حاجة في الشغل على الـ Scale) لما الداتا تبقى كبيرة أوي، مش هينفع تحتفظ بكل حاجة Exact في الذاكرة. هنا بتيجي الـ Probability: - Bloom Filter: بتسأل “هل العنصر ده موجود؟” بإجابة احتمالية (ممكن False Positive، مستحيل False Negative).
بتستخدم في Cassandra وBigTable عشان ما تقراش من الديسك لو المفتاح مش موجود، وفي Chrome، وفي الـ CDNs.
المعادلة بتاعة الـ False Positive Rate وعدد الـ hash functions جاية من الـ Probability. اللي فاهم بيحسب الحجم وعدد الـ hashes صح، واللي مش فاهم بيحط أرقام وخلاص ويلاقي إما الذاكرة بتضيع أو الـ false positives عالية. - HyperLogLog: بتقدر تحسب عدد الـ Distinct (زي Unique Users أو Unique IPs) بذاكرة ثابتة وصغيرة جدًا (كام كيلوبايت لمليارات العناصر) بنسبة خطأ بسيطة.
بتستخدم في BigQuery وRedis وSpark. الفكرة كلها مبنية على احتمال إن الـ hash يبدأ بعدد معين من الأصفار. - Count-Min Sketch: بتقدر تحسب تردد العناصر في الـ streams بذاكرة صغيرة مع ضمان احتمالي على الخطأ. دي مش حالات نادرة، دي أدوات يومية لما تشتغل على بيانات كبيرة. 📌 Combinatorics
لما تيجي تعمل Test Cases أو Configuration Generation، فهمك لعدد الـ permutations بيخليك تعرف امتى الـ exhaustive search مستحيل ومتحتاج Sampling أو Heuristics. ونفس الكلام في الـ State Machines لما الـ state space ينفجر. 📌 Consistent Hashing
في الـ Distributed Systems (زي Cassandra أو Redis Cluster): بتوزع الـ keys على الـ nodes بطريقة متوازنة، ولما Node يضيف أو يشيل مش كل البيانات بتتحرك. الفهم الرياضي هنا بيخلي التصميم أكتر استقرارًا بكتير. إزاي الفهم ده بينعكس على الـ Design والـ Optimum Solution؟ الفرق واضح: - من غير فهم رياضي ⬅️ بتحل بالطريقة المباشرة (HashSet لكل حاجة، Exact Count، Nested loops…). بتشتغل لحد ما البيانات تكبر أو الـ concurrency يزيد. - مع الفهم ⬅️ بتشوف إن المشكلة دي “Approximate Membership” ⬅️ Bloom Filter، أو “Cardinality Estimation” ⬅️ HyperLogLog، أو “Ordering with Dependencies” ⬅️ Topological Sort. كمان بيخليك: 📌 تختار الـ parameters (حجم الـ filter، نسبة الخطأ المقبولة…) بناءً على حساب مش تخمين. 
📌 تفهم ليه حل معين أمثل في السياق ده مش مطلق.
📌 تقدر تشرح وتدافع عن قراراتك في الـ System Design أو قدام الفريق. 
مش كل يوم هتحسب معادلات، لكن طريقة تفكيرك بتتغير. بتشوف المشاكل كـ Structures رياضية (جرافات، مجموعات، احتمالات)، وده بيخليك توصل لحلول أنضف وأقدر على الـ Scale من اللي بيبرمج “بالحس” بس او بناء على الكام ڤيديو اللي اتفرج عليهم. ولو شغلك في الـ Data أو الـ AI Engineering، الـ Probability + Discrete Math دول من أقوى الأسلحة اللي عندك، لأن معظم الـ Approximate Algorithms والـ Streaming والـ Sampling مبنية عليهم. أتمنى الصورة تكون وضحت اكتر 🌹

Post attachment
Ahm3d avatar
Ahm3d@big_data_eng·6h

موجة جديدة: حتكدب في طلب الشغل؟ حيتعمل لك بلوك و blacklist ❌

Post attachment
Ahm3d avatar
Ahm3d@big_data_eng·6h

ده ضرب في اساس ال management اساسا. المتوقع من اي واحد في مكانه انه يقعد مع الناس اللي عملت الشغل ويناقش معاهم أفكاره واقتراحاته قبل ما يطلق Claude زي الغنم في الزريبة.

Post attachment
Ahm3d avatar
Ahm3d@big_data_eng·9h

عشان مصر مش دولة، هي sticker دولة ملزوق على ولا حاجة.

اعتقد ان مصر هى الدوله الوحيدة فى العالم اللى تلاقى فيها ظابط شرطه ماشى بعربيه من غير نمر وازاز العربيه كله اسود!! هو حضرتك بتعمل كده ليه؟!!🤔

د. عصام عبد الشافي ـ Essam Abdelshafy avatar
⟳ Ahm3d retweeted
د. عصام عبد الشافي ـ Essam Abdelshafy@essamashafy·15h

باختصار شديد الحلقة التي قدمتها إحدى قنوات شبكة الجزيرة في أحد برامجها عن مستقبل النظام العسكري الحاكم في مصر لا تستحق التعليق شكلًا أو مضمونًا

Mohamed Abbas avatar
⟳ Ahm3d retweeted
Mohamed Abbas@mohammad_abas·12h

آن باترسون جاءت كسفيرة أمريكية لمصر عام ٢٠١١ في النصف الثاني من العام .. كنتي يا سيادة الوزير الفاسدة بالفعل متهمة .. يعني ألفي في حاجة مينفعش التاس ترجع تجيبها

🛑#الشروق| عائشة عبد الهادي: استصدرت قرارًا بطرد خبير دولي لبناني بمنظمة العمل الدولية بعد سعيه لإثارة غضب عمال المصانع التي كان يؤدي دوره بها، والسفيرة الأمريكية آن باترسون جاءت لمقابلتي والتوسط لإعادته فأخبرتها أن الحكومة المصرية لا ترجع عن أي قرار تتخذه، فأدرجت اسمي ضمن المتهمين بقضية موقعة الجمل

Post attachment
Ahm3d avatar
Ahm3d@big_data_eng·12h

وعليكم السلام ورحمة الله وبركاته اكيد! هي اسمها electives/اختياري بس اجباري لازم تاخدهم "وتدفع فيهم فلوس مصاريف كمان" عشان تتخرج :) بيكونوا عبارة عن عدد محدود لازم يبقوا Non Science courses ، ودي حاجة حلوة مش وحشة، تقدر تدرس business او علم نفس او حتى فنون/دراما/تصوير/لغات لو حابب.

Post attachment
Ahm3d avatar
Ahm3d@big_data_eng·12h

وعليكم السلام ورحمة الله وبركاته مفيش داع للاعتذار 😊 المفروض ان مفيش حاجة اسمها الاجبار على اختيار تخصص في الكلية، كل واحد حر يدرس اللي على مزاجه مش اللي على مزاج الكلية 🤷 الفرق الكبير بين ال AIML واي حاجة engineering هي قدراتك في الرياضيات والإحصاء ومدى ارتياحك في التعامل بيهم لسنين قدام. مع الأخذ في الاعتبار ان حاليا رواتب ال data scientist في امريكا "لحاملي الدكتوراه" ضعف المهندس اللي بنفس سنين الخبرة. بس خلي بالك ان البرامج اللي بالشكل ده وفيها دمج ال DS حتحطك قدام صعوبات كبيرة لو حبيت تركز في ال engineering لانك حتعاني جدا في اجتياز ال technical screening لذلك حاول تخلع من التخصص ده بدري لو مش حتكمل دراسات عليا في ال AIML. بالتوفيق 🌹

Post attachmentPost attachmentPost attachment
Ahm3d avatar
Ahm3d@big_data_eng·13h

اجابة عن سؤالك: لاء مفيش اي علاقة بين الغباء وكندا 🇨🇦 لكن فيه علاقة قوية بين ضيق الأفق وانعدام التمييز بين اللي عاش طول عمره عينه بتشوف عمارات طوب وأسمنت ولوح إعلانات، عكس اللي بيشوف سما ربنا كل يوم. انت بتردد اللي النظام زرعه في مخك، عادل امام هو رقم واحد، عمرك ما حتشوفه ذكي أى نعم لكنه مطبلاتي معبر عن الحكومة وتوجهاتها، وعمره ما وقف مع الشعب في اي قضية تخصه او تهمه. الحكومة تعمل حملة ضد المخدرا؟ يعمل أفلام على المخدرات، ضد الارهاب؟ يعمل أفلام يطلع فيها المتدين شخص عبوس لابس جلابيه وبيتكلم بالفصحي، والليبرالي شخص فلاتي، والشيوعي شخص غير مهندم ومش بيسرح شعره، وبقى تنميط سطحي سخيف كل الافلام والمسلسلات بتقلّده بغباء لانهم ماشيين ورا واحد الدولة راضية عنه. هو مش عادل امام عامل نفسه انه بيهاجم الحكومة في الافلام؟ هل له تصريح او حوار انتقد فيه فشل الداخلية في ادارة المرور؟ انتقد اداء وزارة الصحة؟ انتقد الجمارك اللي بيسرقوا الناس؟ ما يقدرش لانه بينفذ توجهات النظام الحاكم وبس لانه اجبن من انه يتبنى قضية واحدة تهم الناس. شوف الفرق لما راح كسفير للنوايا الحسنة بينه وبين انجلينا جولي، الست ماسكة قلم وورقة وواخدة الموضوع جد وبتكتب ملاحظات، عادل امام قاعد زي الكرسي اللي قاعد عليه. كندا ياسيدي بتسمح بالفنانين يهاجموا الحكومة على قنوات الحكومة الرسمية بدون ادنى خوف او ملامة. دي كندا اللي مفهاش شؤون معنوية ولا جيش بيغسل دماغ الشعب 🤷 اطلع من شرنقة الشؤون المعنوية وانت تشوف الدنيا الواسعة وحتتعلم ازاي تستخدم مخك بدون ما حد يوجّهه افكارك ويلعب في دماغك. بطلوا عبادة الأصنام والشخصيات

Post attachmentPost attachmentPost attachment
Al Jazeera English avatar
⟳ Ahm3d retweeted
Al Jazeera English@AJEnglish·19h

A Canadian advocacy group says the Tim Hortons app sends sensitive user data to Forter, an Israeli cyber-tech company, following a CBC report on the app tracking consumers’ locations. 🔴 LIVE updates: aje.news/rxc8ar

Post attachment
Ahmed_salah avatar
⟳ Ahm3d retweeted
Ahmed_salah@Un_REVOL·18h

انا قولتها قبل كده، اقسم بالله جيش بشار هيبقي كيوت جنب عسكر مصر لو فكر الشعب يخلعهم من الحكم ويقطع عليهم السبوبة تاني، وهتشوف عادي الرافال بتقصف القاهرة.

Hend avatar
⟳ Ahm3d retweeted
Hend@hendy2022·21h

كل ده كان بيعدي عادي برضا الحكومة عشان يعرف يمرر فكرة ان اي حد بدقن ارهابي و اي واحد ملتزم بالصلاة ماعندهوش ضمير و حرامي