L'intelligence artificielle ou le traitement de l'IA dans les appareils photo des smartphones

Je suis tombé sur une opinion qui s'est avérée assez répandue : les algorithmes d'IA dans les appareils photo des smartphones sont des filtres et rien de plus, ils vous permettent de décorer vos photos, mais ils n'ont pas d'autre sens que cela. Dans une certaine mesure, un tel point de vue a le droit d'exister, surtout si vous ne voulez pas comprendre même les choses les plus simples. Mais essayons de nous rappeler quand et comment l'ère des caméras IA dans les smartphones a commencé et où le marché se développe.

Très souvent, je tombe sur une référence aux caméras Sony, dans lesquelles la détection automatique de scène est apparue comme l'une des premières, par analogie avec ce que font les smartphones modernes, elles sont considérées comme le prototype des caméras IA. Peut-être qu'une telle interprétation serait justifiée si ce n'est pour une objection - une caméra AI ne peut exister sans un processeur puissant qui en traite toutes les images, à la fois les photos déjà prises et celles qui n'ont pas encore été photographiées. Huawei a été le premier fabricant à parier sur l'IA comme l'avenir du marché non seulement pour les caméras, mais pour les appareils en général. En octobre 2017, la société a présenté son produit phare Mate 10/10 Pro à Munich. Il s'agit du premier appareil pour lequel l'expression "IA intégrée" a été utilisée, il a été mentionné qu'elle est utilisée pour la photographie, mais ils ne l'ont pas séparée en un terme distinct. L'accent a été mis sur le chipset Kirin 970, pour la première fois un processeur séparé pour les calculs d'IA y est apparu, il s'agit d'un type particulier de tâches et d'algorithmes. Les processeurs conventionnels peuvent exécuter de tels algorithmes, mais ils ne sont pas optimisés pour eux et, par conséquent, leurs performances laissent beaucoup à désirer. Par conséquent, un processeur séparé responsable de l'informatique IA est devenu un développement logique du marché des chipsets, et le fait qu'il ait été principalement utilisé pour la photographie et les appareils photo intégrés est tout à fait logique.

L'intelligence artificielle ou le traitement de l'IA dans les smartphones avec caméras

Ensuite, il n'a pas été écrit sur le cas où l'appareil dispose d'algorithmes d'IA, il est devenu populaire plus tard, et la vague de tels modèles est arrivée en 2019, lorsque le traitement d'image par IA est devenu la fonctionnalité par défaut de tous les smartphones modernes. Par exemple, sur le boîtier du Huawei P Smart 2019, vous pouvez voir l'inscription AI Camera, qui est en quelque sorte un hommage au marketing et à la popularité que cette option a gagnée aux yeux des acheteurs.

Intelligence artificielle ou traitement de l'IA dans les caméras des smartphones

D'une manière ou d'une autre, j'ai essayé de savoir comment les acheteurs ordinaires comprennent la caméra AI. Debout dans un magasin du centre de Moscou en tant que vendeur, j'ai parlé aux clients et posé des questions sur cette fonctionnalité. La plupart des réponses se résumaient au fait que l'appareil photo lui-même comprend ce qui se trouve devant lui et améliore les photos en conséquence. Il enlève les défauts du visage des gens, teint l'herbe de vert, rend le ciel bleu. Je me risquerais à suggérer que la plupart des gens définissent l'IA dans le téléphone exactement de cette manière et rien d'autre. En fait, nous parlons du fait que l'appareil photo du téléphone peut comprendre exactement ce que vous photographiez et modifier les paramètres en fonction de cela. Au départ, Huawei avait plusieurs dizaines de scénarios de ce type, mais le problème n'est que le début. À la sortie du Huawei P20 Pro, les réseaux de neurones ont été formés pour déterminer 19 catégories d'images, il y avait environ 500 scénarios au total. Dans Mate 20 Pro, le nombre de catégories est passé à 25 et le nombre total de scénarios a dépassé 1500. Pour le moment, leur nombre est encore plus élevé et ne cesse de croître.

En pratique, l'interface de la caméra dispose d'un "Master AI" (AI signifie intelligence artificielle, l'abréviation est exactement la même), vous pouvez l'activer ou le désactiver.

Intelligence artificielle ou traitement de l'IA dans les appareils photo des smartphones

Lorsque l'assistant est en cours d'exécution, vous verrez un indice, par exemple, pointez la caméra vers le texte, et une fenêtre apparaîtra immédiatement, indiquant qu'il s'agit de texte.

Intelligence artificielle ou traitement de l'IA dans les caméras des smartphones

Cela fonctionne exactement de la même manière lorsque vous pointez l'appareil photo vers un chat ou un chien, des fleurs et d'autres objets, le smartphone détermine ce que l'appareil photo regarde et définit les meilleurs paramètres afin que votre photo soit destinée aux réseaux sociaux ou à la vôtre. l'utilisation est de la meilleure qualité. Quelqu'un parle de prôner le "naturel", mais c'est une tendance tellement en voie de disparition qu'il n'y a tout simplement rien à discuter, la plupart des photos que vous voyez sur le net ont l'une ou l'autre retouche, gratuite ou involontaire. Il ne fait aucun doute que la plupart des gens veulent pointer l'appareil photo vers le sujet et obtenir une bonne image. Une minorité veut une sorte de naturel, à quoi ressemble le sujet dans son imagination. Mais c'est plutôt la nostalgie de ses idées, rien de plus.

La photographie computationnelle est entrée dans nos vies fermement et depuis longtemps. Dans l'obscurité, il est souvent impossible d'obtenir une photo de visage nette et de haute qualité afin que les poils individuels puissent être tracés. Cela signifie que vous pouvez prendre des cheveux approximativement assortis à la base du téléphone, les ajouter à la photo et obtenir une image qui sera fondamentalement différente. L'idée est simple, mais la mise en œuvre dans la pratique est beaucoup plus difficile qu'il n'y paraît. Cependant, cela a déjà été mis en œuvre et Huawei est même allé plus loin.

Intelligence artificielle ou traitement de l'IA dans les caméras des smartphones

Lors de la présentation du Huawei P30 Pro, on nous a montré le scénario Moon Shot, c'est une photo de la Lune. Le téléphone comprend que vous l'avez pointé vers la lune, utilisé le zoom et à ce moment-là, il prend une "photo". Mon indignation n'a connu aucune limite, puisque j'ai compris que l'optique de l'appareil était incapable de prendre une telle photo, et cela ressemblait à un faux. Quelques mois plus tard, j'ai changé d'avis, et la raison en est qu'il s'agit exactement de la même photo numérique. Le smartphone détermine le sujet que vous photographiez, dans notre cas c'est la Lune, puis le substitue à partir de la base. Il existe de nombreuses images de haute qualité de la Lune, il y a beaucoup de choix. Mais jamais vous n'avez été capable de prendre une photo de la lune avec votre smartphone. On vous a immédiatement offert cette opportunité, et elle captive. Ce n'est pas le reflet de la réalité, à l'exception de la position de la Lune dans l'image, d'autres détails, comme une fenêtre ou un arbre tombé dans le cadre. Il s'agit plutôt d'une sorte de travail de l'éditeur, qui remplace une image de haute qualité de l'objet.

Et cet exemple décrit parfaitement la direction que prend la photographie computationnelle, de nombreux objets ne seront pas naturels, ils seront extraits de bases de données d'images existantes, ou des algorithmes d'IA les dessineront comme nous voulons les voir. Il est temps d'oublier qu'autrefois il y avait du naturel, reflet du monde réel, la photographie est devenue manipulatrice bien avant l'avènement des smartphones, elle ne reflète plus le monde réel. Maintenant, ces manipulations atteignent simplement un niveau fondamentalement différent, se légalisant dans une certaine mesure. Au départ, cela provoque un rejet, un rejet persistant. Mais après mûre réflexion, vous commencez à comprendre que le monde entier sera arrangé de cette façon et cela vaut la peine de l'accepter au plus vite pour ne pas vous soucier de vos illusions plus tard. La coiffure de votre petite amie sur la photo, la texture de la peau et d'autres détails sont tous une lointaine approximation de la réalité, de plus, peu de gens se soucient de la réalité elle-même. La question ici est plutôt de savoir comment garder la ligne entre la beauté de l'image et la distorsion de l'image originale, comment trouver le bon équilibre. Ce sont les algorithmes d'IA qui les chercheront.

Regardons maintenant les images prêtes à l'emploi, les algorithmes d'IA sont également impliqués ici, dans la galerie, vous pouvez voir comment les images sont automatiquement réparties dans des dossiers - le smartphone comprend quelle catégorie est quelle, et chaque année, il apprend à prendre des photos de mieux en mieux.

Intelligence artificielle ou traitement de l'IA dans les appareils photo des smartphones L'intelligence artificielle, ou le traitement de l'IA dans caméras pour smartphones

Dans le même Huawei, ils créent spécialement une puce AI pour leurs processeurs, chaque année leurs performances augmentent et restent l'une des plus élevées. La raison en est que ce sont ces algorithmes qui deviennent importants et vont progressivement au-delà des appareils photo et de la prise de vue. Les photos prises doivent être reconnues, l'algorithme d'IA détermine s'il y a des personnes sur la photo, qui elles sont et ce qu'elles font (joie, tristesse, amusement, etc. - c'est la définition des émotions), des choses et des objets, des couleurs et bien plus encore. Cela semble être une tâche d'enfant, mais cela ouvre toute une gamme de nouvelles possibilités. Par exemple, l'appareil photo de votre téléphone peut apprendre à reconnaître les gestes et réagir en conséquence. Le même Mate 30 Pro a une reconnaissance gestuelle, vous pouvez prendre une capture d'écran en serrant votre poing sur l'écran.

Intelligence artificielle ou traitement de l'IA dans les caméras des smartphones

Dans une certaine mesure, l'IA est la connaissance du monde extérieur, et la plupart des algorithmes sont complètement autonomes, cela ne nécessite pas de connexion réseau. Et dire que l'IA n'est qu'un appareil photo est impossible, il faut considérer l'appareil photo comme un capteur externe qui fournit des informations pour le smartphone et les algorithmes qui y sont intégrés. Nous n'en sommes qu'au tout début de car les algorithmes deviendront plus complexes, complexes et offriront un tout nouveau niveau de personnalisation dans le futur.

Je ne me suis pas fixé d'objectif dans un petit matériel pour m'attarder sur tous les algorithmes d'IA, les spécificités de leur travail, c'est plutôt un article pour que vous puissiez évaluer la direction du développement, avoir un aperçu de la direction que prend l'industrie .

L'intelligence artificielle ou le traitement de l'IA dans les appareils photo des smartphones

Je suis tombé sur une opinion qui s'est avérée assez répandue : les algorithmes d'IA dans les appareils photo des smartphones sont des filtres et rien de plus, ils vous permettent de décorer vos photos, mais ils n'ont pas d'autre sens que cela. Dans une certaine mesure, un tel point de vue a le droit d'exister, surtout si vous ne voulez pas comprendre même les choses les plus simples. Mais essayons de nous rappeler quand et comment l'ère des caméras IA dans les smartphones a commencé et où le marché se développe.

Très souvent, je tombe sur une référence aux caméras Sony, dans lesquelles la détection automatique de scène est apparue comme l'une des premières, par analogie avec ce que font les smartphones modernes, elles sont considérées comme le prototype des caméras IA. Peut-être qu'une telle interprétation serait justifiée si ce n'est pour une objection - une caméra AI ne peut exister sans un processeur puissant qui en traite toutes les images, à la fois les photos déjà prises et celles qui n'ont pas encore été photographiées. Huawei a été le premier fabricant à parier sur l'IA comme l'avenir du marché non seulement pour les caméras, mais pour les appareils en général. En octobre 2017, la société a présenté son produit phare Mate 10/10 Pro à Munich. Il s'agit du premier appareil pour lequel l'expression "IA intégrée" a été utilisée, il a été mentionné qu'elle est utilisée pour la photographie, mais ils ne l'ont pas séparée en un terme distinct. L'accent a été mis sur le chipset Kirin 970, pour la première fois un processeur séparé pour les calculs d'IA y est apparu, il s'agit d'un type particulier de tâches et d'algorithmes. Les processeurs conventionnels peuvent exécuter de tels algorithmes, mais ils ne sont pas optimisés pour eux et, par conséquent, leurs performances laissent beaucoup à désirer. Par conséquent, un processeur séparé responsable des calculs d'IA est devenu un développement logique du marché des chipsets, et le fait qu'il ait été principalement utilisé pour la photographie et les appareils photo intégrés est tout à fait logique.

L'intelligence artificielle ou le traitement de l'IA dans les smartphones avec caméras

Ensuite, il n'a pas été écrit sur le cas où l'appareil dispose d'algorithmes d'IA, il est devenu populaire plus tard, et la vague de tels modèles est arrivée en 2019, lorsque le traitement d'image par IA est devenu la fonctionnalité par défaut de tous les smartphones modernes. Par exemple, sur le boîtier du Huawei P Smart 2019, vous pouvez voir l'inscription AI Camera, qui est en quelque sorte un hommage au marketing et à la popularité que cette option a gagnée aux yeux des acheteurs.

Intelligence artificielle ou traitement de l'IA dans les caméras des smartphones

D'une manière ou d'une autre, j'ai essayé de savoir comment les acheteurs ordinaires comprennent la caméra AI. Debout dans un magasin du centre de Moscou en tant que vendeur, j'ai parlé aux clients et posé des questions sur cette fonctionnalité. La plupart des réponses se résumaient au fait que l'appareil photo lui-même comprend ce qui se trouve devant lui et améliore les photos en conséquence. Il enlève les défauts du visage des gens, teint l'herbe de vert, rend le ciel bleu. Je me risquerais à suggérer que la plupart des gens définissent l'IA dans le téléphone exactement de cette manière et rien d'autre. En fait, nous parlons du fait que l'appareil photo du téléphone peut comprendre exactement ce que vous photographiez et modifier les paramètres en fonction de cela. Au départ, Huawei avait plusieurs dizaines de scénarios de ce type, mais le problème n'est que le début. À la sortie du Huawei P20 Pro, les réseaux de neurones ont été formés pour déterminer 19 catégories d'images, il y avait environ 500 scénarios au total. Dans Mate 20 Pro, le nombre de catégories est passé à 25 et le nombre total de scénarios a dépassé 1500. Pour le moment, leur nombre est encore plus élevé et ne cesse de croître.

En pratique, l'interface de la caméra dispose d'un "Master AI" (AI signifie intelligence artificielle, l'abréviation est exactement la même), vous pouvez l'activer ou le désactiver.

Intelligence artificielle ou traitement de l'IA dans les appareils photo des smartphones

Lorsque l'assistant est en cours d'exécution, vous verrez un indice, par exemple, pointez la caméra vers le texte, et une fenêtre apparaîtra immédiatement, indiquant qu'il s'agit de texte.

Intelligence artificielle ou traitement de l'IA dans les caméras des smartphones

Cela fonctionne exactement de la même manière lorsque vous pointez l'appareil photo vers un chat ou un chien, des fleurs et d'autres objets, le smartphone détermine ce que l'appareil photo regarde et définit les meilleurs paramètres afin que votre photo soit destinée aux réseaux sociaux ou à la vôtre. l'utilisation est de la meilleure qualité. Quelqu'un parle de prôner le "naturel", mais c'est une tendance tellement en voie de disparition qu'il n'y a tout simplement rien à discuter, la plupart des photos que vous voyez sur le net ont l'une ou l'autre retouche, gratuite ou involontaire. Il ne fait aucun doute que la plupart des gens veulent pointer l'appareil photo vers le sujet et obtenir une bonne image. Une minorité veut une sorte de naturel, à quoi ressemble le sujet dans son imagination. Mais c'est plutôt la nostalgie de ses idées, rien de plus.

La photographie computationnelle est entrée dans nos vies fermement et depuis longtemps. Dans l'obscurité, il est souvent impossible d'obtenir une photo de visage nette et de haute qualité afin que les poils individuels puissent être tracés. Cela signifie que vous pouvez prendre des cheveux approximativement assortis à la base du téléphone, les ajouter à la photo et obtenir une image qui sera fondamentalement différente. L'idée est simple, mais la mise en œuvre dans la pratique est beaucoup plus difficile qu'il n'y paraît. Cependant, cela a déjà été mis en œuvre et Huawei est même allé plus loin.

Intelligence artificielle ou traitement de l'IA dans les caméras des smartphones

Lors de la présentation du Huawei P30 Pro, on nous a montré le scénario Moon Shot, c'est une photo de la Lune. Le téléphone comprend que vous l'avez pointé vers la lune, utilisé le zoom, et à ce moment il prend une "photo". Mon indignation n'a connu aucune limite, puisque j'ai compris que l'optique de l'appareil était incapable de prendre une telle photo, et cela ressemblait à un faux. Quelques mois plus tard, j'ai changé d'avis, et la raison en est qu'il s'agit exactement de la même photo numérique. Le smartphone détermine le sujet que vous photographiez, dans notre cas c'est la Lune, puis le substitue à partir de la base. Il existe de nombreuses images de haute qualité de la Lune, il y a beaucoup de choix. Mais jamais vous n'avez été capable de prendre une photo de la lune avec votre smartphone. On vous a immédiatement offert cette opportunité, et elle captive. Ce n'est pas le reflet de la réalité, à l'exception de la position de la Lune dans l'image, d'autres détails, comme une fenêtre ou un arbre tombé dans le cadre. Il s'agit plutôt d'une sorte de travail de l'éditeur, qui remplace une image de haute qualité de l'objet.

Et cet exemple décrit parfaitement la direction que prend la photographie computationnelle, de nombreux objets ne seront pas naturels, ils seront extraits de bases de données d'images existantes, ou des algorithmes d'IA les dessineront comme nous voulons les voir. Il est temps d'oublier qu'autrefois il y avait du naturel, reflet du monde réel, la photographie est devenue manipulatrice bien avant l'avènement des smartphones, elle ne reflète plus le monde réel. Maintenant, ces manipulations atteignent simplement un niveau fondamentalement différent, se légalisant dans une certaine mesure. Au départ, cela provoque un rejet, un rejet persistant. Mais après mûre réflexion, vous commencez à comprendre que le monde entier sera arrangé de cette façon et cela vaut la peine de l'accepter au plus vite pour ne pas vous soucier de vos illusions plus tard. La coiffure de votre petite amie sur la photo, la texture de la peau et d'autres détails sont tous une lointaine approximation de la réalité, de plus, peu de gens se soucient de la réalité elle-même. La question ici est plutôt de savoir comment garder la ligne entre la beauté de l'image et la distorsion de l'image originale, comment trouver le bon équilibre. Ce sont les algorithmes d'IA qui les chercheront.

Regardons maintenant les images prêtes à l'emploi, les algorithmes d'IA sont également impliqués ici, dans la galerie, vous pouvez voir comment les images sont automatiquement réparties dans des dossiers - le smartphone comprend quelle catégorie est quelle, et chaque année, il apprend à prendre des photos de mieux en mieux.

Intelligence artificielle ou traitement de l'IA dans les appareils photo des smartphones L'intelligence artificielle, ou le traitement de l'IA dans caméras pour smartphones

Dans le même Huawei, ils créent spécialement une puce AI pour leurs processeurs, chaque année leurs performances augmentent et restent l'une des plus élevées. La raison en est que ce sont ces algorithmes qui deviennent importants et vont progressivement au-delà des appareils photo et de la prise de vue. Les photos prises doivent être reconnues, l'algorithme d'IA détermine s'il y a des personnes sur la photo, qui elles sont et ce qu'elles font (joie, tristesse, amusement, etc. - c'est la définition des émotions), des choses et des objets, des couleurs et bien plus encore. Cela semble être une tâche d'enfant, mais cela ouvre toute une gamme de nouvelles possibilités. Par exemple, l'appareil photo de votre téléphone peut apprendre à reconnaître les gestes et réagir en conséquence. Le même Mate 30 Pro a une reconnaissance gestuelle, vous pouvez prendre une capture d'écran en serrant votre poing sur l'écran.

Intelligence artificielle ou traitement de l'IA dans les caméras des smartphones

Dans une certaine mesure, l'IA est la connaissance du monde extérieur, et la plupart des algorithmes sont complètement autonomes, cela ne nécessite pas de connexion réseau. Et dire que l'IA n'est qu'un appareil photo est impossible, il faut considérer l'appareil photo comme un capteur externe qui fournit des informations pour le smartphone et les algorithmes qui y sont intégrés. Nous n'en sommes qu'au tout début de car les algorithmes deviendront plus complexes, complexes et offriront un tout nouveau niveau de personnalisation dans le futur.

Je ne me suis pas fixé d'objectif dans un petit matériel pour m'attarder sur tous les algorithmes d'IA, les spécificités de leur travail, c'est plutôt un article pour que vous puissiez évaluer la direction du développement, avoir un aperçu de la direction que prend l'industrie .

L'intelligence artificielle ou le traitement de l'IA dans les appareils photo des smartphones

Je suis tombé sur une opinion qui s'est avérée assez répandue : les algorithmes d'IA dans les appareils photo des smartphones sont des filtres et rien de plus, ils vous permettent de décorer vos photos, mais ils n'ont pas d'autre sens que cela. Dans une certaine mesure, un tel point de vue a le droit d'exister, surtout si vous ne voulez pas comprendre même les choses les plus simples. Mais essayons de nous rappeler quand et comment l'ère des caméras IA dans les smartphones a commencé et où le marché se développe.

Très souvent, je tombe sur une référence aux caméras Sony, dans lesquelles la détection automatique de scène est apparue comme l'une des premières, par analogie avec ce que font les smartphones modernes, elles sont considérées comme le prototype des caméras IA. Peut-être qu'une telle interprétation serait justifiée si ce n'est pour une objection - une caméra AI ne peut exister sans un processeur puissant qui en traite toutes les images, à la fois les photos déjà prises et celles qui n'ont pas encore été photographiées. Huawei a été le premier fabricant à parier sur l'IA comme l'avenir du marché non seulement pour les caméras, mais pour les appareils en général. En octobre 2017, la société a présenté son produit phare Mate 10/10 Pro à Munich. Il s'agit du premier appareil pour lequel l'expression "IA intégrée" a été utilisée, il a été mentionné qu'elle est utilisée pour la photographie, mais ils ne l'ont pas séparée en un terme distinct. L'accent a été mis sur le chipset Kirin 970, pour la première fois un processeur séparé pour les calculs d'IA y est apparu, il s'agit d'un type particulier de tâches et d'algorithmes. Les processeurs conventionnels peuvent exécuter de tels algorithmes, mais ils ne sont pas optimisés pour eux et, par conséquent, leurs performances laissent beaucoup à désirer. Par conséquent, un processeur séparé responsable de l'informatique IA est devenu un développement logique du marché des chipsets, et le fait qu'il ait été principalement utilisé pour la photographie et les appareils photo intégrés est tout à fait logique.

L'intelligence artificielle ou le traitement de l'IA dans les smartphones avec caméras

Ensuite, il n'a pas été écrit sur le cas où l'appareil dispose d'algorithmes d'IA, il est devenu populaire plus tard, et la vague de tels modèles est arrivée en 2019, lorsque le traitement d'image par IA est devenu la fonctionnalité par défaut de tous les smartphones modernes. Par exemple, sur le boîtier du Huawei P Smart 2019, vous pouvez voir l'inscription AI Camera, qui est en quelque sorte un hommage au marketing et à la popularité que cette option a gagnée aux yeux des acheteurs.

Intelligence artificielle ou traitement de l'IA dans les caméras des smartphones

D'une manière ou d'une autre, j'ai essayé de savoir comment les acheteurs ordinaires comprennent la caméra AI. Debout dans un magasin du centre de Moscou en tant que vendeur, j'ai parlé aux clients et posé des questions sur cette fonctionnalité. La plupart des réponses se résumaient au fait que l'appareil photo lui-même comprend ce qui se trouve devant lui et améliore les photos en conséquence. Les visages des gens sont dépourvus de défauts, l'herbe se teinte de vert, le ciel se fait bleu. Je me risquerais à suggérer que la plupart des gens définissent l'IA dans le téléphone exactement de cette manière et rien d'autre. En fait, nous parlons du fait que l'appareil photo du téléphone peut comprendre exactement ce que vous photographiez et modifier les paramètres en fonction de cela. Au départ, Huawei avait plusieurs dizaines de scénarios de ce type, mais le problème est le début. À la sortie du Huawei P20 Pro, les réseaux de neurones ont été formés pour identifier 19 catégories d'images, il y avait environ 500 scénarios au total. Dans Mate 20 Pro, le nombre de catégories est passé à 25 et le nombre total de scénarios a dépassé 1500. Pour le moment, leur nombre est encore plus élevé et ne cesse de croître.

En pratique, l'interface de la caméra dispose d'un "Master AI" (AI signifie intelligence artificielle, l'abréviation se traduit exactement de la même manière), vous pouvez l'activer ou le désactiver.

Intelligence artificielle ou traitement de l'IA dans les appareils photo des smartphones

Lorsque l'assistant est en cours d'exécution, vous verrez un indice, par exemple, pointez la caméra vers le texte, et une fenêtre apparaîtra immédiatement, indiquant qu'il s'agit de texte.

Intelligence artificielle ou traitement de l'IA dans les caméras des smartphones

De même, lorsque vous pointez l'appareil photo vers un chat ou un chien, des fleurs et d'autres objets, le smartphone détermine ce que l'appareil photo regarde et définit les meilleurs paramètres afin que votre photo pour les réseaux sociaux ou pour votre propre usage soit du meilleure qualité. Quelqu'un parle de ce qui défend le "naturel", mais c'est une tendance tellement menacée qu'il n'y a tout simplement rien à discuter, la plupart des photos que vous voyez sur le net ont l'une ou l'autre retouche, gratuite ou involontaire. Il ne fait aucun doute que la plupart des gens veulent pointer l'appareil photo vers le sujet et obtenir une bonne image. Une minorité veut un peu de naturel, à quoi ressemble le sujet dans son imagination. Mais c'est plutôt la nostalgie de ses idées, rien de plus.

La photographie computationnelle est entrée dans nos vies fermement et depuis longtemps. Dans l'obscurité, il est souvent impossible d'obtenir une photo de visage nette et de haute qualité afin que les poils individuels puissent être tracés. Cela signifie que vous pouvez prendre des cheveux approximativement assortis à la base du téléphone, les ajouter à la photo et obtenir une image qui sera fondamentalement différente. L'idée est simple, mais la mise en œuvre dans la pratique est beaucoup plus difficile qu'il n'y paraît. Cependant, cela a déjà été mis en œuvre et Huawei est même allé plus loin.

Intelligence artificielle ou traitement de l'IA dans les caméras des smartphones

Lors de la présentation du Huawei P30 Pro, on nous a montré le scénario Moon Shot, c'est une photo de la Lune. Le téléphone comprend que vous l'avez pointé vers la lune, utilisé le zoom et à ce moment-là, il prend une "photo". Mon indignation n'a connu aucune limite, puisque j'ai compris que l'optique de l'appareil était incapable de prendre une telle photo, et cela ressemblait à un faux. Quelques mois plus tard, j'ai changé d'avis, et la raison en est qu'il s'agit exactement de la même photo numérique. Le smartphone détermine le sujet que vous photographiez, dans notre cas c'est la Lune, puis le substitue à partir de la base. Il existe de nombreuses images de haute qualité de la Lune, il y a beaucoup de choix. Mais jamais vous n'avez été capable de prendre une photo de la lune avec votre smartphone. On vous a immédiatement offert cette opportunité, et elle captive. Ce n'est pas le reflet de la réalité, à l'exception de la position de la Lune dans l'image, d'autres détails, comme une fenêtre ou un arbre tombé dans le cadre. Il s'agit plutôt d'une sorte de travail de l'éditeur, qui remplace une image de haute qualité de l'objet.

Et cet exemple décrit parfaitement la direction que prend la photographie computationnelle, de nombreux objets ne seront pas naturels, ils seront extraits de bases de données d'images existantes, ou des algorithmes d'IA les dessineront comme nous voulons les voir. Il est temps d'oublier qu'autrefois il y avait du naturel, reflet du monde réel, la photographie est devenue manipulatrice bien avant l'avènement des smartphones, elle ne reflète plus le monde réel. Maintenant, ces manipulations atteignent simplement un niveau fondamentalement différent, se légalisant dans une certaine mesure. Au départ, cela provoque un rejet, un rejet persistant. Mais après mûre réflexion, vous commencez à comprendre que le monde entier sera arrangé de cette façon et cela vaut la peine de l'accepter au plus vite pour ne pas vous soucier de vos illusions plus tard. La coiffure de votre petite amie sur la photo, la texture de la peau et d'autres détails sont tous une lointaine approximation de la réalité, de plus, peu de gens se soucient de la réalité elle-même. La question ici est plutôt de savoir comment garder la ligne entre la beauté de l'image et la distorsion de l'image originale, comment trouver le bon équilibre. Ce sont les algorithmes d'IA qui les chercheront.

Regardons maintenant les images prêtes à l'emploi, les algorithmes d'IA sont également impliqués ici, dans la galerie, vous pouvez voir comment les images sont automatiquement réparties dans des dossiers - le smartphone comprend quelle catégorie est quelle, et chaque année, il apprend à prendre des photos de mieux en mieux.

Intelligence artificielle ou traitement de l'IA dans les appareils photo des smartphones L'intelligence artificielle, ou le traitement de l'IA dans caméras pour smartphones

Dans le même Huawei, ils créent spécialement une puce AI pour leurs processeurs, chaque année leurs performances augmentent et restent l'une des plus élevées. La raison en est que ce sont ces algorithmes qui deviennent importants et vont progressivement au-delà des appareils photo et de la prise de vue. Les photos prises doivent être reconnues, l'algorithme d'IA détermine s'il y a des personnes sur la photo, qui elles sont et ce qu'elles font (joie, tristesse, amusement, etc. - c'est la définition des émotions), des choses et des objets, des couleurs et bien plus encore. Cela semble être une tâche d'enfant, mais cela ouvre toute une gamme de nouvelles possibilités. Par exemple, l'appareil photo de votre téléphone peut apprendre à reconnaître les gestes et réagir en conséquence. Le même Mate 30 Pro a une reconnaissance gestuelle, vous pouvez prendre une capture d'écran en serrant votre poing sur l'écran.

Intelligence artificielle ou traitement de l'IA dans les caméras des smartphones

Dans une certaine mesure, l'IA est la connaissance du monde extérieur, et la plupart des algorithmes sont complètement autonomes, cela ne nécessite pas de connexion réseau. Et dire que l'IA n'est qu'un appareil photo est impossible, il faut considérer l'appareil photo comme un capteur externe qui fournit des informations pour le smartphone et les algorithmes qui y sont intégrés. Nous n'en sommes qu'au tout début de car les algorithmes deviendront plus complexes, complexes et offriront un tout nouveau niveau de personnalisation dans le futur.

Je ne me suis pas fixé d'objectif dans un petit matériel pour m'attarder sur tous les algorithmes d'IA, les spécificités de leur travail, c'est plutôt un article pour que vous puissiez évaluer la direction du développement, avoir un aperçu de la direction que prend l'industrie .

L'intelligence artificielle ou le traitement de l'IA dans les appareils photo des smartphones

Je suis tombé sur une opinion qui s'est avérée assez répandue : les algorithmes d'IA dans les appareils photo des smartphones sont des filtres et rien de plus, ils vous permettent de décorer vos photos, mais ils n'ont pas d'autre sens que cela. Dans une certaine mesure, un tel point de vue a le droit d'exister, surtout si vous ne voulez pas comprendre même les choses les plus simples. Mais essayons de nous rappeler quand et comment l'ère des caméras IA dans les smartphones a commencé et où le marché se développe.

Très souvent, je tombe sur une référence aux caméras Sony, dans lesquelles la détection automatique de scène est apparue comme l'une des premières, par analogie avec ce que font les smartphones modernes, elles sont considérées comme le prototype des caméras IA. Peut-être qu'une telle interprétation serait justifiée si ce n'est pour une objection - une caméra AI ne peut exister sans un processeur puissant qui en traite toutes les images, à la fois les photos déjà prises et celles qui n'ont pas encore été photographiées. Huawei a été le premier fabricant à parier sur l'IA comme l'avenir du marché non seulement pour les caméras, mais pour les appareils en général. En octobre 2017, la société a présenté son produit phare Mate 10/10 Pro à Munich. Il s'agit du premier appareil pour lequel l'expression "IA intégrée" a été utilisée, il a été mentionné qu'elle est utilisée pour la photographie, mais ils ne l'ont pas séparée en un terme distinct. L'accent a été mis sur le chipset Kirin 970, pour la première fois un processeur séparé pour les calculs d'IA y est apparu, il s'agit d'un type particulier de tâches et d'algorithmes. Les processeurs conventionnels peuvent exécuter de tels algorithmes, mais ils ne sont pas optimisés pour eux et, par conséquent, leurs performances laissent beaucoup à désirer. Par conséquent, un processeur séparé responsable des calculs d'IA est devenu un développement logique du marché des chipsets, et le fait qu'il ait été principalement utilisé pour la photographie et les appareils photo intégrés est tout à fait logique.

Ensuite, il n'a pas été écrit sur le cas où l'appareil dispose d'algorithmes d'IA, il est devenu populaire plus tard, et la vague de tels modèles est arrivée en 2019, lorsque le traitement d'image par IA est devenu la fonctionnalité par défaut de tous les smartphones modernes. Par exemple, sur le boîtier du Huawei P Smart 2019, vous pouvez voir l'inscription AI Camera, qui est en quelque sorte un hommage au marketing et à la popularité que cette option a gagnée aux yeux des acheteurs.

D'une manière ou d'une autre, j'ai essayé de savoir comment les acheteurs ordinaires comprennent la caméra AI. Debout dans un magasin du centre de Moscou en tant que vendeur, j'ai parlé aux clients et posé des questions sur cette fonctionnalité. La plupart des réponses se résumaient au fait que l'appareil photo lui-même comprend ce qui se trouve devant lui et améliore les photos en conséquence. Les visages des gens sont dépourvus de défauts, l'herbe se teinte de vert, le ciel se fait bleu. Je me risquerais à suggérer que la plupart des gens définissent l'IA dans le téléphone exactement de cette manière et rien d'autre. En fait, nous parlons du fait que l'appareil photo du téléphone peut comprendre exactement ce que vous photographiez et modifier les paramètres en fonction de cela. Au départ, Huawei avait plusieurs dizaines de scénarios de ce type, mais le problème est le début. À la sortie du Huawei P20 Pro, les réseaux de neurones ont été formés pour identifier 19 catégories d'images, il y avait environ 500 scénarios au total. Dans Mate 20 Pro, le nombre de catégories est passé à 25 et le nombre total de scénarios a dépassé 1500. Pour le moment, leur nombre est encore plus élevé et ne cesse de croître.

En pratique, l'interface de la caméra dispose d'un "Master AI" (AI signifie intelligence artificielle, l'abréviation est exactement la même), vous pouvez l'activer ou le désactiver.

Lorsque l'assistant est en cours d'exécution, vous verrez un indice, par exemple, pointez la caméra vers le texte, et une fenêtre apparaîtra immédiatement, indiquant qu'il s'agit de texte.

Cela fonctionne exactement de la même manière lorsque vous pointez l'appareil photo vers un chat ou un chien, des fleurs et d'autres objets, le smartphone détermine ce que l'appareil photo regarde et définit les meilleurs paramètres afin que votre photo soit destinée aux réseaux sociaux ou à la vôtre. l'utilisation est de la meilleure qualité. Quelqu'un parle de prôner le "naturel", mais c'est une tendance tellement en voie de disparition qu'il n'y a tout simplement rien à discuter, la plupart des photos que vous voyez sur le net ont l'une ou l'autre retouche, gratuite ou involontaire. Il ne fait aucun doute que la plupart des gens veulent pointer l'appareil photo vers le sujet et obtenir une bonne image. Une minorité veut une sorte de naturel, à quoi ressemble le sujet dans son imagination. Mais c'est plutôt la nostalgie de ses idées, rien de plus.

La photographie computationnelle est entrée dans nos vies fermement et depuis longtemps. Dans l'obscurité, il est souvent impossible d'obtenir une photo de visage nette et de haute qualité afin que les poils individuels puissent être tracés. Cela signifie que vous pouvez prendre des cheveux approximativement assortis à la base du téléphone, les ajouter à la photo et obtenir une image qui sera fondamentalement différente. L'idée est simple, mais la mise en œuvre dans la pratique est beaucoup plus difficile qu'il n'y paraît. Cependant, cela a déjà été mis en œuvre et Huawei est même allé plus loin.

Lors de la présentation du Huawei P30 Pro, on nous a montré le scénario Moon Shot, c'est une photo de la Lune. Le téléphone comprend que vous l'avez pointé vers la lune, utilisé le zoom, et à ce moment il prend une "photo". Mon indignation n'a connu aucune limite, puisque j'ai compris que l'optique de l'appareil était incapable de prendre une telle photo, et cela ressemblait à un faux. Quelques mois plus tard, j'ai changé d'avis, et la raison en est qu'il s'agit exactement de la même photo numérique. Le smartphone détermine le sujet que vous photographiez, dans notre cas c'est la Lune, puis le substitue à partir de la base. Il existe de nombreuses images de haute qualité de la Lune, il y a beaucoup de choix. Mais jamais vous n'avez été capable de prendre une photo de la lune avec votre smartphone. On vous a immédiatement offert cette opportunité, et elle captive. Ce n'est pas le reflet de la réalité, à l'exception de la position de la Lune dans l'image, d'autres détails, comme une fenêtre ou un arbre tombé dans le cadre. Il s'agit plutôt d'une sorte de travail de l'éditeur, qui remplace une image de haute qualité de l'objet.

Et cet exemple décrit parfaitement la direction que prend la photographie computationnelle, de nombreux objets ne seront pas naturels, ils seront extraits de bases de données d'images existantes, ou des algorithmes d'IA les dessineront comme nous voulons les voir. Il est temps d'oublier qu'autrefois il y avait du naturel, reflet du monde réel, la photographie est devenue manipulatrice bien avant l'avènement des smartphones, elle ne reflète plus le monde réel. Maintenant, ces manipulations atteignent simplement un niveau fondamentalement différent, se légalisant dans une certaine mesure. Au départ, cela provoque un rejet, un rejet persistant. Mais après mûre réflexion, vous commencez à comprendre que le monde entier sera arrangé de cette façon et cela vaut la peine de l'accepter au plus vite pour ne pas vous soucier de vos illusions plus tard. La coiffure de votre petite amie sur la photo, la texture de la peau et d'autres détails sont tous une lointaine approximation de la réalité, de plus, peu de gens se soucient de la réalité elle-même. La question ici est plutôt de savoir comment garder la ligne entre la beauté de l'image et la distorsion de l'image originale, comment trouver le bon équilibre. Ce sont les algorithmes d'IA qui les chercheront.

Regardons maintenant les images prêtes à l'emploi, les algorithmes d'IA sont également impliqués ici, dans la galerie, vous pouvez voir comment les images sont automatiquement réparties dans des dossiers - le smartphone comprend quelle catégorie est quelle, et chaque année, il apprend à prendre des photos de mieux en mieux.

Dans le même Huawei, ils créent spécialement une puce AI pour leurs processeurs, chaque année leurs performances augmentent et restent l'une des plus élevées. La raison en est que ce sont ces algorithmes qui deviennent importants et vont progressivement au-delà des appareils photo et de la prise de vue. Les photos prises doivent être reconnues, l'algorithme d'IA détermine s'il y a des personnes sur la photo, qui elles sont et ce qu'elles font (joie, tristesse, amusement, etc. - c'est la définition des émotions), des choses et des objets, des couleurs et bien plus encore. Cela semble être une tâche d'enfant, mais cela ouvre toute une gamme de nouvelles possibilités. Par exemple, l'appareil photo de votre téléphone peut apprendre à reconnaître les gestes et réagir en conséquence. Le même Mate 30 Pro a une reconnaissance gestuelle, vous pouvez prendre une capture d'écran en serrant votre poing sur l'écran.

Dans une certaine mesure, l'IA est la connaissance du monde extérieur, et la plupart des algorithmes sont complètement autonomes, cela ne nécessite pas de connexion réseau. Et dire que l'IA n'est qu'un appareil photo est impossible, il faut considérer l'appareil photo comme un capteur externe qui fournit des informations pour le smartphone et les algorithmes qui y sont intégrés. Nous n'en sommes qu'au tout début du voyage, car à l'avenir, les algorithmes deviendront plus complexes, complexes et offriront en même temps un niveau de personnalisation complètement différent.

Dans une certaine mesure, l'IA est la connaissance du monde extérieur, et la plupart des algorithmes sont complètement autonomes, cela ne nécessite pas de connexion réseau. Et dire que l'IA n'est qu'un appareil photo est impossible, il faut considérer l'appareil photo comme un capteur externe qui fournit des informations pour le smartphone et les algorithmes qui y sont intégrés. Nous ne sommes qu'en au tout début du voyage, car à l'avenir, les algorithmes deviendront plus complexes, complexes et offriront en même temps un niveau de personnalisation complètement différent.

Je ne me suis pas fixé d'objectif dans un petit matériel pour m'attarder sur tous les algorithmes d'IA, les spécificités de leur travail, c'est plutôt un article pour que vous puissiez évaluer la direction du développement, avoir un aperçu de la direction que prend l'industrie .