נולד ב-1922 לאסתר ומשה שטיצברג. בשנת 1939 נמנה על מייסדי קיבוץ בית הערבה שבצפון ים המלח, שחבריו נאלצו לפנותו בשל מלחמת העצמאות ופנו להקים בשנת 1949 את קיבוץ כברי שבגליל המערבי. מרבית יצירותיו מזמן שהותו בקיבוץ בית הערבה אבדו במהלך הקרבות של מלחמת העצמאות. החל מראשית שנות ה-50 הוא השתייך לקבוצת "אופקים חדשים".
כבר בגיל צעיר הוא החל לפסל ונחשב תחילה כחלק מהזרם הכנעני באמנות, שהרבה להתייחס בעבודותיו למיתוסים. בשנות החמישים הוא נפרד אמנותית מהקבוצה וממורהו יצחק דנצינגר, והחל לפסל בזיקה ישירה לטבע. אחד מפסליו הידועים ביותר "ציפור פצועה", נחשב לסמל שגרם לשינוי הכיוון הכללי של הפיסול בישראל.
שמי, חלוץ ומבשר העבודה עם ברזל בארץ, החל להתעסק ישירות בחומר ובמופשט.
שמי החל להציג את עבודותיו לקהל הרחב בשנת 1952. שתי התערוכות הבינלאומיות הראשונות שלו הוצגו בגלריית בטי פארסונס בניו יורק בשנת 1960 ובמוזיאון פאלה דה-בוזאר בבריסל, בלגיה בשנת 1964. רבות מתערוכותיו הוצגו במוזיאון תל אביב, מוזיאון ישראל בירושלים ובמוזיאון לאמנות ישראלית ברמת גן. בשנת 2008 הוצגה תערוכתו האחרונה של שמי: "הנשיקה". היתה זו תערוכת סיכום יצירה של שלושה דורות: יחיאל שמי, בתו יעל כנעני ונכדתו עפרי כנעני-דוד.
לצד זכייתו בשנת 1987 בפרס ישראל לאמנות הפיסול, זכה שמי בשנת 1954 בפרס דיזינגוף לפיסול, בשנת 1996 בפרס מוזיאון תל אביב לאמנות, ובשנת 2000 בפרס "פונדק" של מוזיאון תל אביב לאמנות.
מני פאר הכין בעבר סרט תיעודי על שמי. "לא כולם זוכרים ש"איש הברזל" של אמנות ישראל היה בכלל צייר בתחילה", נזכר פאר, "אח"כ כשהוא החל לפסל, הוא עשה זאת באבן ובברזל, בעת שהיה חבר קיבוץ בית הערבה. כל פסלי האבן שלו נפלו בשבי הירדנים במלחמת יום העצמאות".
שמי הרבה ליצור יצירות מברזל מוכן, "רדי מייד". את הפסל הראשון שלו מחוף הים באכזיב, האנדרטה למעפילים, הוא עשה משברי אונית המעפילים "פטריה" שהוטבעה בנמל חיפה. הוא הקפיד שיצירותיו תהיה קשורות למקום בו הן מוצבות. ההצלחה שלו היום נמדדת בין השאר בכך שהמקום בו הן מוצבות, מצוין בתודעה בין השאר בזכות היצירות. כך בתיאטרון ירושלים בפסל האבן בכניסה, וכך בשדה התעופה נתב"ג בפסל המתכת הגבוה, שהוא אנדרטה לחטיבה 8.
בקיבוץ כברי שרר אבל כבד מאז היודע דבר מותו של שמי בשנת 2003, שמיטב פסליו פזורים ברחבי הקיבוץ וביישובים שכנים. במהלך שנות חייו בקיבוץ, הוא שימש כמזכיר המשק ועסק בשליחויות לאירופה וארה"ב שם הציג את עבודותיו. רבים בקיבוץ העריצו אותו וילדים רבים גדלו על יצירותיו, חלקם בחר ללכת בדרכו וללמוד אמנות בתיכון המקומי.
יצירות של שמי נמצאות במוזיאון לאמנות מודרנית בניו יורק, במוזיאון וגן הפסלים הירשהורן בוושינגטון, פאלה דה בוזאר בבריסל ובמוזיאונים בתל אביב, ירושלים, חיפה, עין חרוד ותפן, ואצל אספנים רבים וחשובים בארץ ובעולם.