WEXAC - מדריך מקוצר
על מנת להשתמש ב-WEXAC, עליכם להירשם לשירות באמצעות שירותים פנימיים (Internal Services), בסיוע מנהל המחשוב המחלקתי של המעבדה שלכם. במידה והמעבדה אליה אתם משויכים אינה חברה בשירות WEXAC (אינה מצוידת בעמדות שמקושרות לשירות), אנא צרו עימנו קשר.
למידע מפורט, אנא עיינו בסעיף מדיניות WEXAC בעמוד המידע שמוקדש להגדרות מדיניות.
שימוש במערך תוכנת WEXAC (ה-WEXAC Software Stack) עם חבילת מודולי הסביבה Environment Modules
חבילת Environment Modules מאפשרת לכם לערוך באופן דינאמי שינויים בסביבת המשתמש שלכם באשכול ה-WEXAC Cluster, כך שתוכלו להריץ חבילות תוכנה מסוימות.
בעוד היישום של חבילת Modules הינו תלוי מעטפת (Shell-dependent), הפקודות עצמן אינן תלויות בסוג מעטפת תוכנה זה או אחר. בטבלה שלהלן מספר פקודות לדוגמה.
| תאור | פקודה |
|---|---|
| הצגת רשימת תוכנות Modules זמינות | module avail |
| הצגת רשימת חבילות Modules שנטענו | module list |
| טעינת סביבה ספציפית עבור חבילת תוכנה | module load matlab/R2011b load |
| החלפת הסביבה של חבילת תוכנה | module switch matlab/R2012a |
| פריקת סביבה מסוימת עבור חבילת תוכנה | module unload matlab/R2012a |
להלן רשימה של חבילות תוכנה מותקנות לדוגמה, אותן תוכלו לטעון באמצעות Modules:
- BEDTools/2.16.2
- blast/2.2.26
- blat/3.4
- clustalw/2.1
- comsol/4.2a
- EMBROSS/6.4.0
- fasta/36.3.5a
- IGV/2.1
- jdk/1.7.0
- matlab/R2007b
- matlab/R2010b
- matlab/R2011b
- matlab/R2012a
- mpich/1.2.7
- mysql/5.5.22
- ncbi-blast+/2.2.25
- ncbi-blast+/2.2.26
- perl/5.14.2
- perl/5.8.8
- pgi/11.10
- pgi/12.4
- php/5.3.10
- prank/111130
- pymol/1.5
- python/3.2.2
- R/2.12.1
- R/2.14.2
- rmblast/1.2
- rstudio-server/0.95.265
- samtools/0.1.17
- tcltk/8.5.11
- velvet/1.2.03
- vim-7.3/7.3
- websvn/2.3.3
למידע נוסף על פרויקט Environment Modules, אנא בקרו בכתובת http://modules.sourceforge.net.
שירות חלוקת העומסים LSF (קיצור ל-Load Sharing Facility)
שירות WEXAC מפעיל את Platform LSF, חבילת תווכה (Middleware) מבית IBM שמציעה פונקציונאליות מקיפה לניהול משאבים ולתזמון משימות. מדיניות התזמון של LSF מבוססת בעיקרה על מודל Fairshare.
הפעלת פקודות LSF
על מנת להריץ חבילת תוכנה מתוך tcsh באמצעות LSF, בצעו את הפקודה הבאה:
# bsub -o somepath.o -e somepath.e somescript.csh
סקריפטים עשויים להיראות כדלהלן:
#!/bin/bash
module load matlab/R2010b
hostname
matlab -nodisplay -nojvm < /myhome/h.m > /myhome/h.out
משתמשי bash רשאים לערוך את קובץ ה-bashrc., כך שיכלול את השורות הבאות:
if [ -f /storage/apps/Modules/default/etc/profile.modules ]; then
. /apps/Modules/default/etc/profile.modules
module load matlab/R2010b R/2.14.2
fi
הטבלה שלהלן מציגה פקודות LSF חשובות לצד המקבילות להן ב-SGE.
| תיאור | פקודת LSD | מקבילה ב-SGE |
|---|---|---|
| פקודות תורים | ||
| הצגת רשימה של כלל המשימות שרצות באשכול | bjobs -u all | qstat |
| הצגת רשימה של כלל המשימות שרצות באשכול, תוך הרחבתה כך שתכלול גם עמדות קצה |
bjobs -u all -X | qstat -g t |
| הצגת רשימת המשימות הפעילות שלכם (הפקודה תומכת בפרמטר X- להרחבת התצוגה כך שתכלול גם עמדות קצה) |
bjobs | qstat -u User_ID |
| הצגת מידע מפורט על משימה (כאשר JOBID מייצג את המספר המזהה של המשימה) |
bjobs -l JOBID | qstat -j JOBID |
| הצגת רשימת התורים הזמינים, לרבות מספר המשימות והערוצים הפנויים |
bqueues | qstat -g c |
| פקודות משימה | ||
| פתיחת משימה בשם jobname | bsub < jobname.bsub | qsub jobname.job |
| מחיקת משימה פעילה (כאשר JOBID מייצג את המספר המזהה של המשימה) |
bkill JOBID | qdel JOBID |
| דגלי סימון משימות (Job Flags) | ||
| הכנסת משימה אל התור queuename | #BSUB -q queuename | #$ -q queuename.q |
| שם משימה | #BSUB -J JobName | #$ -N JobName |
| הגדרת מערך משימה בן 10 פריטים | #BSUB -J JobName[1-10 | #$ -t 1-10 |
| הזמנת xx ערוצים | #BSUB -n xx | #$ -pe mvapich xx |
| משלוח הודעת דואר אלקטרוני עם תחילת הרצת משימה | #BSUB -B | #$ -m b |
| משלוח הודעת דואר אלקטרוני עם השלמת משימה | #BSUB -N | #$ -m e |
| שמירת פלט אל הקובץ output.log (LSF – I עבור המערך JOBINDEX) |
#BSUB -o output.log | #$ -o output.log |
| רישום שגיאה בקובץ error.log (LSF-I עבור המערך JOBINDEX) |
#BSUB -e error.log | #$ -e error.log |
| משתני משימה | ||
| מספר מזהה המשימה | $LSB_JOBID | $JOB_ID |
| מערך מפתח המשימות (כשמשתמשים ב-t- ב-SGE, וב-J Name[1-X]- ב-LSF) |
$LSB_JOBINDEX | $SGE_TASK_ID |
| מספר הערוצים המקבילים שהוזמנו | $LSB_DJOB_NUMPROC | $NSLOTS |
למידע נוסף על LSF, אנא עיינו במדריך המשתמש המקוצר (באנגלית).
לפרטים נוספים על המעבר מ-SGE ל-LSF, אנא עיינו במצגת ההדרכה למשתמשים על העברת WEXAC מ-SGE ל-LSF (באנגלית).