תיאור כללי
המערכת שאתם הולכים לבנות מאפשרת להעלות קבצי טקסט ולבצע עליהם ניתוח מתקדם. המערכת פורקת את הטקסט לאלמנטים בסיסיים (מילים, משפטים, פסקאות), שומרת אותם בבסיס נתונים מוגדר, ומאפשרת לבצע חיפושים, סינונים, וניתוחים על הנתונים.
יכולות המערכת
- ניתוח טקסט: פירוק טקסט למילים, משפטים, פסקאות עם זיהוי מיקום
- חיפוש מתקדם: חיפוש מילים עם הצגת הקשר והמיקום בטקסט
- ניהול קבוצות: יצירת קבוצות מילים ותיוגן לפי נושאים
- זיהוי ביטויים: הגדרה וחיפוש של ביטויים לשוניים
- יצירת אינדקסים: הפקת רשימות מותאמות אישית של מילים
- ניתוח סטטיסטי: נתונים על תכימות מילים, התפלגות ועוד
חשוב להבין
המטרה היא לא לשמור את כל הטקסט כגוש אחד בבסיס הנתונים. להפך, המטרה המרכזית היא לפרק את הטקסט לחלקים קטנים ומוגדרים, כמו משפטים, מילים וביטויים, כך שנוכל לבצע עליהם ניתוחים חכמים.
ברגע שכל רכיב בטקסט נשמר בנפרד עם מידע עליו, אפשר לבנות מערכת גמישה וחזקה שנותנת למשתמש כלים לחיפוש, סינון, וניתוח טקסט בצורה עמוקה.
דרישות מקדימות
לפני שמתחילים, חשוב להבין את המבנה הכללי של פרויקט כזה. מדובר בפרויקט שכולל שני צדדים עיקריים:
ארכיטקטורת המערכת
צד השרת
כאן תכתבו את הקוד שאחראי על התחברות לבסיס הנתונים, שליפת המידע, שמירה של נתונים, חישובים שונים ועוד. הכל נעשה דרך API, כלומר כתובות אינטרנט (HTTP) שמחזירות מידע בפורמט JSON.
צד הלקוח
זה החלק שבו המשתמש רואה את הממשק. לדוגמה – טופס להעלאת קובץ, תצוגת תוצאות של חיפוש, כפתורים להגדרה של קבוצות מילים ועוד.
בסיס הנתונים
כאן נשמרים כל הנתונים – הטקסטים, המילים, הקשרים ביניהן, ביטויים, קבוצות ועוד. זה הלב של המערכת שלכם.
ידע נדרש
המערכת דורשת הבנה בסיסית בפיתוח Web, כלומר איך עובדת בקשה לשרת, מה זה API, איך מחברים בין צד לקוח לשרת, איך שומרים נתונים בבסיס נתונים, ואיך בונים ממשק משתמש אינטראקטיבי.
הדרישות הפונקציונליות במפורט
1. העלאת קבצים וניתוח טקסט
מה המערכת צריכה לעשות:
- לאפשר להעלות קבצי טקסט (.txt)
- לפרק את הטקסט למילים, משפטים ופסקאות
- לשמור כל אלמנט בנפרד עם המיקום שלו
- לבצע ניקוי בסיסי של הטקסט (הסרת רווחים מיותרים, סימני פיסוק)
דוגמה: קובץ עם המשפט "שלום עולם!" יתפרק למילים: "שלום" (מיקום 1) ו"עולם" (מיקום 2).
2. הצגת מילים בהקשר
מה המערכת צריכה לעשות:
- כאשר בוחרים מילה, להציג את ההקשר שבו היא מופיעה
- להראות את המשפט המלא או מספר מילים לפני ואחרי
- אם המילה מופיעה מספר פעמים, להציג את כל ההקשרים
דוגמה: עבור המילה "חשוב" - להציג: "זה נושא חשוב מאוד", "חשוב לזכור את הנקודה הזאת".
3. מערכת מיקומים ואינדקס
מה המערכת צריכה לעשות:
- לכל מילה לשמור מיקום מדויק (שורה, עמוד, פסקה, משפט)
- ליצור אינדקס שמציג את כל המילים עם המיקומים שלהן
- לאפשר חיפוש לפי מיקום ספציפי
דוגמה: "מחשב" נמצאת בעמוד 1, פסקה 2, משפט 4, מילה מספר 7.
4. ניהול קבוצות מילים
מה המערכת צריכה לעשות:
- לאפשר למשתמש ליצור קבוצות מילים (למשל "רגשות", "פעלים")
- לתייג מילים לפי קבוצות
- לאפשר חיפוש ותצוגה לפי קבוצה מסוימת
- ליצור אינדקס נפרד לכל קבוצה
דוגמה: קבוצה "רגשות" תכלול: שמח, עצוב, כועס. כשבוחרים את הקבוצה, רואים רק את המילים האלו ואת המיקומים שלהן.
5. זיהוי ביטויים
מה המערכת צריכה לעשות:
- לאפשר למשתמש להגדיר ביטויים (צמדים או יותר של מילים)
- לזהות את הביטויים האלו בטקסט
- להציג איפה כל ביטוי מופיע
- לשמור ביטויים כישויות נפרדות
דוגמה: הביטוי "בסיס נתונים" יזוהה כיחידה אחת ולא כשתי מילים נפרדות.
6. ניתוח וסטטיסטיקות
מה המערכת צריכה לעשות:
- לספור כמה מילים ייחודיות יש בטקסט
- להציג את המילים הנפוצות ביותר
- לחשב סטטיסטיקות על קבוצות מילים
- להציג נתונים על הביטויים שזוהו
דוגמה: "הטקסט מכיל 450 מילים, 280 ייחודיות, 15 ביטויים, המילה הנפוצה ביותר היא 'את' (25 פעמים)".
דרישות טכניות נוספות
שכבת המידע והנגשת API
חשוב לזכור בפיתוח
- ארכיטקטורה נכונה: הפרדה ברורה בין שכבת המידע (Flask/Python) לשכבת התצוגה (Angular)
- API מתוכנן: כל פעולה בממשק המשתמש עוברת דרך API מוגדר ומתועד
- בסיס נתונים מתוכנן: עיצוב טבלאות ויחסים שתומכים בכל הדרישות
- ביצועים: שימוש באינדקסים ובשאילתות מותאמות לחיפושים מהירים
- ממשק ידידותי: עיצוב אינטואיטיבי שמאפשר ניווט קל בין הפונקציות
תהליך העבודה המומלץ
שלבי הפיתוח
- תכנון בסיס הנתונים: הגדרת טבלאות, שדות ויחסים
- פיתוח שכבת API: יצירת נקודות גישה לכל פעולה
- פיתוח עיבוד הטקסט: הטמעת לוגיקת הפירוק והניתוח
- פיתוח ממשק המשתמש: יצירת הדפים והטפסים
- אינטגרציה ובדיקות: חיבור בין כל הרכיבים
- מידה ואופטימיזציה: שיפור ביצועים וחוויית משתמש
חשוב לזכור
הדרישות האלו הן הבסיס לפיתוח של מערכת שלמה שמבינה טקסטים ומאפשרת לבצע עליהם ניתוחים מתקדמים. כל דרישה צריכה להיות מתוכננת בבסיס הנתונים ומוטמעת הן בצד השרת והן בצד הלקוח.
השלב הראשון והחשוב ביותר הוא תכנון בסיס הנתונים. בלי תכנון נכון של הטבלאות והיחסים ביניהן, לא תוכלו לממש את הפונקציונליות הנדרשת בצורה יעילה.
בדיקה עצמית קצרה
פתחו את התשובה רק אחרי שניסיתם להסביר אותה במילים שלכם.
למה לא שומרים את כל הטקסט בשדה אחד?
פירוק למילים, משפטים וביטויים מאפשר לשמור מיקום וקשרים, לחפש ביעילות ולבצע ניתוחים על כל רכיב.
מהו סדר העבודה המומלץ?
מתחילים במודל הנתונים, ממשיכים לתכנון ה-API ולעיבוד הטקסט, ורק אז מחברים ממשק משתמש ובדיקות.
אילו שלוש שכבות חייבות לעבוד יחד?
בסיס הנתונים, צד השרת שמספק API, וצד הלקוח שמציג ומפעיל את המערכת עבור המשתמש.