חיים הררי התמנה לראש המחלקה להוראת המדעים במכון ויצמן בגיל 29, ובשנת 1972, בגיל 31, התמנה כדיקן מדרשת פיינברג במכון ויצמן, תפקיד בו כיהן עד שנת 1978.
בשנת 1976 התמנה לחבר במועצה להשכלה גבוהה, הגוף העליון הממונה על ההסמכה של מוסדות ההשכלה הגבוהה בישראל, וב-1979 נבחר לתפקיד יו"ר הוועדה לתכנון ולתקצוב (ות"ת) של המועצה להשכלה גבוהה, וכיהן שתי קדנציות, בתפקיד זה, עד דצמבר 1985. ות"ת היא הגוף המוסמך ע"י הממשלה להקצות את כל תקציבי הממשלה למערכת ההשכלה הגבוהה והמחקר בסיסי, לכל המוסדות האקדמיים בישראל. ות"ת מוסמכת גם לאשר או למנוע הקמתן של פקולטות חדשות, בתי ספר ומחלקות באוניברסיטאות ובמוסדות אקדמיים אחרים, על בסיס שיקולים תקציביים וצרכים לאומיים.
במהלך שתי תקופות הכהונה שלו, יזמה ות"ת פעולות רבות, שהותירו את חותמן על המערכת האקדמית בישראל. ביניהם: הקמת רשת המחשבים הבין-אוניברסיטאית (מחב"א), שהיתה אז שנייה רק לארה"ב; התחזית המקיפה הראשונה של הצרכים הלאומיים במקצועות אקדמיים שונים, מלווה בהרחבה או הקטנה בגודל של בתי ספר אקדמיים מקצועיים; הרחבת בתי הספר להנדסה ולמדעי המחשב, תוך הנחת היסוד להישגים הרבים של ההיי-טק הישראלי; קידומן של מספר מכללות להכשרת מורים למוסדות אקדמיים וסגירתם של אחרים; הרחבת הקרן הלאומית למדע בתקופה שבה היה צמצום חד בתקציבי ההשכלה הגבוהה; הכפלת שכר הלימוד באוניברסיטה תוך כדי הענקת מלגות נדיבות לסטודנטים המוכנים לעזור לילדים טעוני טיפוח באמצעות פרויקט חונכות פר"ח; הקמת בית ספר וטרינרי ראשון ובית ספר שני לרפואת שיניים; תכניות אקדמיות ראשונות בנושאים כגון עבודה סוציאלית, מקצועות פרה-רפואיים, חשבונאות, אמנות חזותית ומוסיקה; ביסוס קיומם ומעמדם העצמאי או עצמאי-למחצה של המכון הבין-אוניברסיטאי למדעי הים באילת, המכון לחקר המדבר והמרכז האקדמי הישראלי בקהיר. כל אלה הושגו בתקופה שבה שיעור האינפלציה השנתי נע בין 100% ו- 400%, התקציבים היו צריכים להתעדכן על בסיס שבועי ותמיכת הממשלה צומצמה ברציפות.
בשנת 1988 נבחר הררי לנשיא מכון ויצמן, כיהן בתפקיד זה במשך 13 שנים, והחליט לפרוש מהתפקיד בשנת 2001. במהלך שנות כהונתו נכנס המכון לתחומים ופרויקטים מדעיים חדשים רבים; נבנו עשרות בניינים חדשים, גויסו מעל מיליארד דולר בתרומות פילנטרופיות. הקרן הצמיתה של המכון גדלה ביותר מפי ארבעה בשנים אלו, ועברה את מחצית המיליארד דולר.
השקעות גדולות וגיוס מדענים מובילים בוצעו בפיזיקה של מוליכים למחצה, הדמיה מוחית, מדעי המחשב, ננו-כימיה, גנטיקה מולקולארית, מדעי הסביבה, ביו-אינפורמטיקה, תהודה מגנטית, מדעי האופטיקה, חקר הסרטן, ביולוגיה מבנית ותחומי מחקר אחרים. זרם התמלוגים ממכירת מוצרים שפותחו במכון ויצמן ונשענו על פטנטים של מדעניו, עלה (במספרים מוחלטים) על הכנסות מאותו סוג של אוניברסיטאות מובילות כמו הרווארד, סטנפורד, המכון הטכנולוגי של מסצ'וסטס ופרינסטון, וזאת על אף הפער המשמעותי כנגד ממדיהם של מוסדות אלה. התוצאה המפתיעה הזאת הושגה מבלי לוותר על העיקרון שמכון ויצמן הוא מכון למחקר בסיסי.
המכון נפתח לציבור הישראלי ולציבור הבינלאומי עם הקמתם של מרכז מבקרים, מוזיאון גן מדעי ("גן המדע ע"ש קלור"), מוזיאון בית ויצמן ההיסטורי, סיורים מודרכים במתחם הקמפוס, אירועי מדע פופולארי בזמן חגים ופעילויות רבות של חינוך מדעי לציבור הרחב.
עם סיום תפקידו כנשיא מכון ויצמן, יזם הררי הקמת שתי ישויות משפטיות עצמאיות חדשות, שתיהן קשורות למכון ויצמן. בשנת 1999 ייסד והפך ליו"ר מועצת המנהלים של מכון דוידסון לחינוך מדעי, אשר עוסק בכל ההיבטים של החינוך המדעי למורים, תלמידי בתי הספר העל-יסודיים והציבור הרחב, וכיהן בתפקיד זה עד לשנת 2015. הררי הינו גם היושב ראש המייסד של ועדת הניהול של הנאמנות העולמית לניהול קרנות צמיתות, ארגון המנהל בניו יורק את ההשקעות של הקרנות הצמיתות של הגופים הבינלאומיים העצמאיים השונים התומכים במכון ויצמן.
בשנת 2006 פנתה הקהילה המדעית האוסטרית להררי בכדי לסייע בהקמתו של מכון למחקר בסיסי ליד וינה, המבוסס בעיקרו על מודל הזהה למכון ויצמן. הוא עמד בראש הוועדה הבינלאומית שהקימה את תכנית העבודה של המכון החדש, ותרם רבות להכנת חוק שנחקק על ידי הפרלמנט, המגדיר את מבנה המכון החדש. הוא נבחר למועצת הנאמנים הראשונה של המכון, מונה ליו"ר הועד המנהל של הדירקטוריון ויו"ר ועדת החיפוש לנשיא הראשון ושימש, החל מדצמבר 2006 ועד ספטמבר 2009, כמחזיק באחריות של נשיא בפועל, במהלך הקמת המכון. בספטמבר 2009, פרופסור תומס הנצינגר מונה כנשיא הראשון של המכון למדע וטכנולוגיה באוסטריה והררי נשאר יושב ראש הוועד הפועל של חבר הנאמנים עד לשנת 2020. המכון למדע וטכנולוגיה באוסטריה דורג במקום השלישי בעולם באיכות המחקר המדעי במדד של כתב-העת המדעי Nature לשנת 2019, לצד מכון ויצמן שהפך למכון המחקר השני הטוב ביותר בעולם. מדד מנורמל זה מאפשר את ההשוואה בין מוסדות מחקר בגדלים שונים, ובכלל זה את דירוגם של מכוני מחקר קטנים, בעלי השפעה מחקרית משמעותית, להתבלט וזאת על אף הפער המשמעותי כנגד ממדיהם של מוסדות מחקר גדולים.
במהלך השנים ובהזדמנויות שונות הררי התבקש גם לייעץ לארגונים ולממשלות, כולל ברזיל וסין, בתכנון והקמה של מגוון מוסדות מדעיים חדשים.
בשנת 2021 קיבל הררי את "פרס ההשכלה הגבוהה" של המועצה הישראלית להשכלה גבוהה "כהוקרה על עשייה אקדמית פורצת דרך ומעוררת השראה המשלבת מצוינות מדעית ותרומה לקהילה ולחברה".