FFmpeg
hevcdsp_msa.c
Go to the documentation of this file.
1 /*
2  * Copyright (c) 2015 - 2017 Manojkumar Bhosale (Manojkumar.Bhosale@imgtec.com)
3  *
4  * This file is part of FFmpeg.
5  *
6  * FFmpeg is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2.1 of the License, or (at your option) any later version.
10  *
11  * FFmpeg is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with FFmpeg; if not, write to the Free Software
18  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
19  */
20 
21 #include "libavutil/mips/generic_macros_msa.h"
22 #include "libavcodec/mips/hevcdsp_mips.h"
23 #include "libavcodec/mips/hevc_macros_msa.h"
24 
25 static const uint8_t ff_hevc_mask_arr[16 * 2] __attribute__((aligned(0x40))) = {
26  /* 8 width cases */
27  0, 1, 1, 2, 2, 3, 3, 4, 4, 5, 5, 6, 6, 7, 7, 8,
28  /* 4 width cases */
29  0, 1, 1, 2, 2, 3, 3, 4, 16, 17, 17, 18, 18, 19, 19, 20
30 };
31 
32 static void hevc_copy_4w_msa(const uint8_t *src, int32_t src_stride,
33  int16_t *dst, int32_t dst_stride,
34  int32_t height)
35 {
36  v16i8 zero = { 0 };
37 
38  if (2 == height) {
39  v16i8 src0, src1;
40  v8i16 in0;
41 
42  LD_SB2(src, src_stride, src0, src1);
43 
44  src0 = (v16i8) __msa_ilvr_w((v4i32) src1, (v4i32) src0);
45  in0 = (v8i16) __msa_ilvr_b(zero, src0);
46  in0 <<= 6;
47  ST_D2(in0, 0, 1, dst, dst_stride);
48  } else if (4 == height) {
49  v16i8 src0, src1, src2, src3;
50  v8i16 in0, in1;
51 
52  LD_SB4(src, src_stride, src0, src1, src2, src3);
53 
54  ILVR_W2_SB(src1, src0, src3, src2, src0, src1);
55  ILVR_B2_SH(zero, src0, zero, src1, in0, in1);
56  in0 <<= 6;
57  in1 <<= 6;
58  ST_D4(in0, in1, 0, 1, 0, 1, dst, dst_stride);
59  } else if (0 == height % 8) {
60  v16i8 src0, src1, src2, src3, src4, src5, src6, src7;
61  v8i16 in0, in1, in2, in3;
62  uint32_t loop_cnt;
63 
64  for (loop_cnt = (height >> 3); loop_cnt--;) {
65  LD_SB8(src, src_stride,
66  src0, src1, src2, src3, src4, src5, src6, src7);
67  src += (8 * src_stride);
68 
69  ILVR_W4_SB(src1, src0, src3, src2, src5, src4, src7, src6,
70  src0, src1, src2, src3);
71  ILVR_B4_SH(zero, src0, zero, src1, zero, src2, zero, src3,
72  in0, in1, in2, in3);
73  SLLI_4V(in0, in1, in2, in3, 6);
74  ST_D8(in0, in1, in2, in3, 0, 1, 0, 1, 0, 1, 0, 1, dst, dst_stride);
75  dst += (8 * dst_stride);
76  }
77  }
78 }
79 
80 static void hevc_copy_6w_msa(const uint8_t *src, int32_t src_stride,
81  int16_t *dst, int32_t dst_stride,
82  int32_t height)
83 {
84  uint32_t loop_cnt = (height >> 3);
85  uint32_t res = height & 0x07;
86  v16i8 zero = { 0 };
87  v16i8 src0, src1, src2, src3, src4, src5, src6, src7;
88  v8i16 in0, in1, in2, in3, in4, in5, in6, in7;
89 
90  for (; loop_cnt--; ) {
91  LD_SB8(src, src_stride, src0, src1, src2, src3, src4, src5, src6, src7);
92  src += (8 * src_stride);
93 
94  ILVR_B4_SH(zero, src0, zero, src1, zero, src2, zero, src3,
95  in0, in1, in2, in3);
96  ILVR_B4_SH(zero, src4, zero, src5, zero, src6, zero, src7,
97  in4, in5, in6, in7);
98  SLLI_4V(in0, in1, in2, in3, 6);
99  SLLI_4V(in4, in5, in6, in7, 6);
100  ST12x8_UB(in0, in1, in2, in3, in4, in5, in6, in7, dst, 2 * dst_stride);
101  dst += (8 * dst_stride);
102  }
103  for (; res--; ) {
104  uint64_t out0;
105  uint32_t out1;
106  src0 = LD_SB(src);
107  src += src_stride;
108  in0 = (v8i16)__msa_ilvr_b((v16i8) zero, (v16i8) src0);
109  in0 = in0 << 6;
110  out0 = __msa_copy_u_d((v2i64) in0, 0);
111  out1 = __msa_copy_u_w((v4i32) in0, 2);
112  SD(out0, dst);
113  SW(out1, dst + 4);
114  dst += dst_stride;
115  }
116 }
117 
118 static void hevc_copy_8w_msa(const uint8_t *src, int32_t src_stride,
119  int16_t *dst, int32_t dst_stride,
120  int32_t height)
121 {
122  v16i8 zero = { 0 };
123 
124  if (2 == height) {
125  v16i8 src0, src1;
126  v8i16 in0, in1;
127 
128  LD_SB2(src, src_stride, src0, src1);
129 
130  ILVR_B2_SH(zero, src0, zero, src1, in0, in1);
131  in0 <<= 6;
132  in1 <<= 6;
133  ST_SH2(in0, in1, dst, dst_stride);
134  } else if (4 == height) {
135  v16i8 src0, src1, src2, src3;
136  v8i16 in0, in1, in2, in3;
137 
138  LD_SB4(src, src_stride, src0, src1, src2, src3);
139 
140  ILVR_B4_SH(zero, src0, zero, src1, zero, src2, zero, src3,
141  in0, in1, in2, in3);
142  SLLI_4V(in0, in1, in2, in3, 6);
143  ST_SH4(in0, in1, in2, in3, dst, dst_stride);
144  } else if (6 == height) {
145  v16i8 src0, src1, src2, src3, src4, src5;
146  v8i16 in0, in1, in2, in3, in4, in5;
147 
148  LD_SB6(src, src_stride, src0, src1, src2, src3, src4, src5);
149 
150  ILVR_B4_SH(zero, src0, zero, src1, zero, src2, zero, src3,
151  in0, in1, in2, in3);
152  ILVR_B2_SH(zero, src4, zero, src5, in4, in5);
153  SLLI_4V(in0, in1, in2, in3, 6);
154  in4 <<= 6;
155  in5 <<= 6;
156  ST_SH6(in0, in1, in2, in3, in4, in5, dst, dst_stride);
157  } else if (0 == height % 8) {
158  uint32_t loop_cnt;
159  v16i8 src0, src1, src2, src3, src4, src5, src6, src7;
160  v8i16 in0, in1, in2, in3, in4, in5, in6, in7;
161 
162  for (loop_cnt = (height >> 3); loop_cnt--;) {
163  LD_SB8(src, src_stride,
164  src0, src1, src2, src3, src4, src5, src6, src7);
165  src += (8 * src_stride);
166 
167  ILVR_B4_SH(zero, src0, zero, src1, zero, src2, zero, src3,
168  in0, in1, in2, in3);
169  ILVR_B4_SH(zero, src4, zero, src5, zero, src6, zero, src7,
170  in4, in5, in6, in7);
171  SLLI_4V(in0, in1, in2, in3, 6);
172  SLLI_4V(in4, in5, in6, in7, 6);
173  ST_SH8(in0, in1, in2, in3, in4, in5, in6, in7, dst, dst_stride);
174  dst += (8 * dst_stride);
175  }
176  }
177 }
178 
179 static void hevc_copy_12w_msa(const uint8_t *src, int32_t src_stride,
180  int16_t *dst, int32_t dst_stride,
181  int32_t height)
182 {
183  uint32_t loop_cnt;
184  uint32_t res = height & 0x07;
185  v16i8 zero = { 0 };
186  v16i8 src0, src1, src2, src3, src4, src5, src6, src7;
187  v8i16 in0, in1, in0_r, in1_r, in2_r, in3_r;
188 
189  for (loop_cnt = (height >> 3); loop_cnt--;) {
190  LD_SB8(src, src_stride, src0, src1, src2, src3, src4, src5, src6, src7);
191  src += (8 * src_stride);
192 
193  ILVR_B4_SH(zero, src0, zero, src1, zero, src2, zero, src3,
194  in0_r, in1_r, in2_r, in3_r);
195  SLLI_4V(in0_r, in1_r, in2_r, in3_r, 6);
196  ILVL_W2_SB(src1, src0, src3, src2, src0, src1);
197  ILVR_B2_SH(zero, src0, zero, src1, in0, in1);
198  in0 <<= 6;
199  in1 <<= 6;
200  ST_SH4(in0_r, in1_r, in2_r, in3_r, dst, dst_stride);
201  ST_D4(in0, in1, 0, 1, 0, 1, dst + 8, dst_stride);
202  dst += (4 * dst_stride);
203 
204  ILVR_B4_SH(zero, src4, zero, src5, zero, src6, zero, src7,
205  in0_r, in1_r, in2_r, in3_r);
206  SLLI_4V(in0_r, in1_r, in2_r, in3_r, 6);
207  ILVL_W2_SB(src5, src4, src7, src6, src0, src1);
208  ILVR_B2_SH(zero, src0, zero, src1, in0, in1);
209  in0 <<= 6;
210  in1 <<= 6;
211  ST_SH4(in0_r, in1_r, in2_r, in3_r, dst, dst_stride);
212  ST_D4(in0, in1, 0, 1, 0, 1, dst + 8, dst_stride);
213  dst += (4 * dst_stride);
214  }
215  for (; res--; ) {
216  uint64_t out0;
217  src0 = LD_SB(src);
218  src += src_stride;
219  in0_r = (v8i16)__msa_ilvr_b((v16i8) zero, (v16i8) src0);
220  in0 = (v8i16)__msa_ilvl_b((v16i8) zero, (v16i8) src0);
221  in0_r = in0_r << 6;
222  in0 = in0 << 6;
223  ST_UH(in0_r, dst);
224  out0 = __msa_copy_u_d((v2i64) in0, 0);
225  SD(out0, dst + 8);
226  dst += dst_stride;
227  }
228 }
229 
230 static void hevc_copy_16w_msa(const uint8_t *src, int32_t src_stride,
231  int16_t *dst, int32_t dst_stride,
232  int32_t height)
233 {
234  v16i8 zero = { 0 };
235 
236  if (4 == height) {
237  v16i8 src0, src1, src2, src3;
238  v8i16 in0_r, in1_r, in2_r, in3_r;
239  v8i16 in0_l, in1_l, in2_l, in3_l;
240 
241  LD_SB4(src, src_stride, src0, src1, src2, src3);
242 
243  ILVR_B4_SH(zero, src0, zero, src1, zero, src2, zero, src3,
244  in0_r, in1_r, in2_r, in3_r);
245  ILVL_B4_SH(zero, src0, zero, src1, zero, src2, zero, src3,
246  in0_l, in1_l, in2_l, in3_l);
247  SLLI_4V(in0_r, in1_r, in2_r, in3_r, 6);
248  SLLI_4V(in0_l, in1_l, in2_l, in3_l, 6);
249  ST_SH4(in0_r, in1_r, in2_r, in3_r, dst, dst_stride);
250  ST_SH4(in0_l, in1_l, in2_l, in3_l, (dst + 8), dst_stride);
251  } else if (12 == height) {
252  v16i8 src0, src1, src2, src3, src4, src5, src6, src7;
253  v16i8 src8, src9, src10, src11;
254  v8i16 in0_r, in1_r, in2_r, in3_r;
255  v8i16 in0_l, in1_l, in2_l, in3_l;
256 
257  LD_SB8(src, src_stride, src0, src1, src2, src3, src4, src5, src6, src7);
258  src += (8 * src_stride);
259  LD_SB4(src, src_stride, src8, src9, src10, src11);
260 
261  ILVR_B4_SH(zero, src0, zero, src1, zero, src2, zero, src3,
262  in0_r, in1_r, in2_r, in3_r);
263  ILVL_B4_SH(zero, src0, zero, src1, zero, src2, zero, src3,
264  in0_l, in1_l, in2_l, in3_l);
265  SLLI_4V(in0_r, in1_r, in2_r, in3_r, 6);
266  SLLI_4V(in0_l, in1_l, in2_l, in3_l, 6);
267  ST_SH4(in0_r, in1_r, in2_r, in3_r, dst, dst_stride);
268  ST_SH4(in0_l, in1_l, in2_l, in3_l, (dst + 8), dst_stride);
269  dst += (4 * dst_stride);
270 
271  ILVR_B4_SH(zero, src4, zero, src5, zero, src6, zero, src7,
272  in0_r, in1_r, in2_r, in3_r);
273  ILVL_B4_SH(zero, src4, zero, src5, zero, src6, zero, src7,
274  in0_l, in1_l, in2_l, in3_l);
275  SLLI_4V(in0_r, in1_r, in2_r, in3_r, 6);
276  SLLI_4V(in0_l, in1_l, in2_l, in3_l, 6);
277  ST_SH4(in0_r, in1_r, in2_r, in3_r, dst, dst_stride);
278  ST_SH4(in0_l, in1_l, in2_l, in3_l, (dst + 8), dst_stride);
279  dst += (4 * dst_stride);
280 
281  ILVR_B4_SH(zero, src8, zero, src9, zero, src10, zero, src11,
282  in0_r, in1_r, in2_r, in3_r);
283  ILVL_B4_SH(zero, src8, zero, src9, zero, src10, zero, src11,
284  in0_l, in1_l, in2_l, in3_l);
285  SLLI_4V(in0_r, in1_r, in2_r, in3_r, 6);
286  SLLI_4V(in0_l, in1_l, in2_l, in3_l, 6);
287  ST_SH4(in0_r, in1_r, in2_r, in3_r, dst, dst_stride);
288  ST_SH4(in0_l, in1_l, in2_l, in3_l, (dst + 8), dst_stride);
289  } else if (0 == (height % 8)) {
290  uint32_t loop_cnt;
291  v16i8 src0, src1, src2, src3, src4, src5, src6, src7;
292  v8i16 in0_r, in1_r, in2_r, in3_r, in0_l, in1_l, in2_l, in3_l;
293 
294  for (loop_cnt = (height >> 3); loop_cnt--;) {
295  LD_SB8(src, src_stride, src0, src1, src2, src3, src4, src5, src6,
296  src7);
297  src += (8 * src_stride);
298  ILVR_B4_SH(zero, src0, zero, src1, zero, src2, zero, src3, in0_r,
299  in1_r, in2_r, in3_r);
300  ILVL_B4_SH(zero, src0, zero, src1, zero, src2, zero, src3, in0_l,
301  in1_l, in2_l, in3_l);
302  SLLI_4V(in0_r, in1_r, in2_r, in3_r, 6);
303  SLLI_4V(in0_l, in1_l, in2_l, in3_l, 6);
304  ST_SH4(in0_r, in1_r, in2_r, in3_r, dst, dst_stride);
305  ST_SH4(in0_l, in1_l, in2_l, in3_l, (dst + 8), dst_stride);
306  dst += (4 * dst_stride);
307 
308  ILVR_B4_SH(zero, src4, zero, src5, zero, src6, zero, src7, in0_r,
309  in1_r, in2_r, in3_r);
310  ILVL_B4_SH(zero, src4, zero, src5, zero, src6, zero, src7, in0_l,
311  in1_l, in2_l, in3_l);
312  SLLI_4V(in0_r, in1_r, in2_r, in3_r, 6);
313  SLLI_4V(in0_l, in1_l, in2_l, in3_l, 6);
314  ST_SH4(in0_r, in1_r, in2_r, in3_r, dst, dst_stride);
315  ST_SH4(in0_l, in1_l, in2_l, in3_l, (dst + 8), dst_stride);
316  dst += (4 * dst_stride);
317  }
318  }
319 }
320 
321 static void hevc_copy_24w_msa(const uint8_t *src, int32_t src_stride,
322  int16_t *dst, int32_t dst_stride,
323  int32_t height)
324 {
325  uint32_t loop_cnt;
326  v16i8 zero = { 0 };
327  v16i8 src0, src1, src2, src3, src4, src5, src6, src7;
328  v8i16 in0_r, in1_r, in2_r, in3_r, in0_l, in1_l, in2_l, in3_l;
329 
330  for (loop_cnt = (height >> 2); loop_cnt--;) {
331  LD_SB4(src, src_stride, src0, src1, src2, src3);
332  LD_SB4((src + 16), src_stride, src4, src5, src6, src7);
333  src += (4 * src_stride);
334  ILVR_B4_SH(zero, src0, zero, src1, zero, src2, zero, src3, in0_r, in1_r,
335  in2_r, in3_r);
336  ILVL_B4_SH(zero, src0, zero, src1, zero, src2, zero, src3, in0_l, in1_l,
337  in2_l, in3_l);
338  SLLI_4V(in0_r, in1_r, in2_r, in3_r, 6);
339  SLLI_4V(in0_l, in1_l, in2_l, in3_l, 6);
340  ST_SH4(in0_r, in1_r, in2_r, in3_r, dst, dst_stride);
341  ST_SH4(in0_l, in1_l, in2_l, in3_l, (dst + 8), dst_stride);
342  ILVR_B4_SH(zero, src4, zero, src5, zero, src6, zero, src7, in0_r, in1_r,
343  in2_r, in3_r);
344  SLLI_4V(in0_r, in1_r, in2_r, in3_r, 6);
345  ST_SH4(in0_r, in1_r, in2_r, in3_r, (dst + 16), dst_stride);
346  dst += (4 * dst_stride);
347  }
348 }
349 
350 static void hevc_copy_32w_msa(const uint8_t *src, int32_t src_stride,
351  int16_t *dst, int32_t dst_stride,
352  int32_t height)
353 {
354  uint32_t loop_cnt;
355  v16i8 zero = { 0 };
356  v16i8 src0, src1, src2, src3, src4, src5, src6, src7;
357  v8i16 in0_r, in1_r, in2_r, in3_r, in0_l, in1_l, in2_l, in3_l;
358 
359  for (loop_cnt = (height >> 2); loop_cnt--;) {
360  LD_SB4(src, src_stride, src0, src2, src4, src6);
361  LD_SB4((src + 16), src_stride, src1, src3, src5, src7);
362  src += (4 * src_stride);
363 
364  ILVR_B4_SH(zero, src0, zero, src1, zero, src2, zero, src3, in0_r, in1_r,
365  in2_r, in3_r);
366  ILVL_B4_SH(zero, src0, zero, src1, zero, src2, zero, src3, in0_l, in1_l,
367  in2_l, in3_l);
368  SLLI_4V(in0_r, in1_r, in2_r, in3_r, 6);
369  SLLI_4V(in0_l, in1_l, in2_l, in3_l, 6);
370  ST_SH4(in0_r, in0_l, in1_r, in1_l, dst, 8);
371  dst += dst_stride;
372  ST_SH4(in2_r, in2_l, in3_r, in3_l, dst, 8);
373  dst += dst_stride;
374 
375  ILVR_B4_SH(zero, src4, zero, src5, zero, src6, zero, src7, in0_r, in1_r,
376  in2_r, in3_r);
377  ILVL_B4_SH(zero, src4, zero, src5, zero, src6, zero, src7, in0_l, in1_l,
378  in2_l, in3_l);
379  SLLI_4V(in0_r, in1_r, in2_r, in3_r, 6);
380  SLLI_4V(in0_l, in1_l, in2_l, in3_l, 6);
381  ST_SH4(in0_r, in0_l, in1_r, in1_l, dst, 8);
382  dst += dst_stride;
383  ST_SH4(in2_r, in2_l, in3_r, in3_l, dst, 8);
384  dst += dst_stride;
385  }
386 }
387 
388 static void hevc_copy_48w_msa(const uint8_t *src, int32_t src_stride,
389  int16_t *dst, int32_t dst_stride,
390  int32_t height)
391 {
392  uint32_t loop_cnt;
393  v16i8 zero = { 0 };
394  v16i8 src0, src1, src2, src3, src4, src5, src6, src7;
395  v16i8 src8, src9, src10, src11;
396  v8i16 in0_r, in1_r, in2_r, in3_r, in4_r, in5_r;
397  v8i16 in0_l, in1_l, in2_l, in3_l, in4_l, in5_l;
398 
399  for (loop_cnt = (height >> 2); loop_cnt--;) {
400  LD_SB3(src, 16, src0, src1, src2);
401  src += src_stride;
402  LD_SB3(src, 16, src3, src4, src5);
403  src += src_stride;
404  LD_SB3(src, 16, src6, src7, src8);
405  src += src_stride;
406  LD_SB3(src, 16, src9, src10, src11);
407  src += src_stride;
408 
409  ILVR_B4_SH(zero, src0, zero, src1, zero, src2, zero, src3,
410  in0_r, in1_r, in2_r, in3_r);
411  ILVL_B4_SH(zero, src0, zero, src1, zero, src2, zero, src3,
412  in0_l, in1_l, in2_l, in3_l);
413  ILVR_B2_SH(zero, src4, zero, src5, in4_r, in5_r);
414  ILVL_B2_SH(zero, src4, zero, src5, in4_l, in5_l);
415  SLLI_4V(in0_r, in1_r, in2_r, in3_r, 6);
416  SLLI_4V(in0_l, in1_l, in2_l, in3_l, 6);
417  SLLI_4V(in4_r, in5_r, in4_l, in5_l, 6);
418  ST_SH6(in0_r, in0_l, in1_r, in1_l, in2_r, in2_l, dst, 8);
419  dst += dst_stride;
420  ST_SH6(in3_r, in3_l, in4_r, in4_l, in5_r, in5_l, dst, 8);
421  dst += dst_stride;
422 
423  ILVR_B4_SH(zero, src6, zero, src7, zero, src8, zero, src9,
424  in0_r, in1_r, in2_r, in3_r);
425  ILVL_B4_SH(zero, src6, zero, src7, zero, src8, zero, src9,
426  in0_l, in1_l, in2_l, in3_l);
427  ILVR_B2_SH(zero, src10, zero, src11, in4_r, in5_r);
428  ILVL_B2_SH(zero, src10, zero, src11, in4_l, in5_l);
429  SLLI_4V(in0_r, in1_r, in2_r, in3_r, 6);
430  SLLI_4V(in0_l, in1_l, in2_l, in3_l, 6);
431  SLLI_4V(in4_r, in5_r, in4_l, in5_l, 6);
432  ST_SH6(in0_r, in0_l, in1_r, in1_l, in2_r, in2_l, dst, 8);
433  dst += dst_stride;
434  ST_SH6(in3_r, in3_l, in4_r, in4_l, in5_r, in5_l, dst, 8);
435  dst += dst_stride;
436  }
437 }
438 
439 static void hevc_copy_64w_msa(const uint8_t *src, int32_t src_stride,
440  int16_t *dst, int32_t dst_stride,
441  int32_t height)
442 {
443  uint32_t loop_cnt;
444  v16i8 zero = { 0 };
445  v16i8 src0, src1, src2, src3, src4, src5, src6, src7;
446  v8i16 in0_r, in1_r, in2_r, in3_r, in0_l, in1_l, in2_l, in3_l;
447 
448  for (loop_cnt = (height >> 1); loop_cnt--;) {
449  LD_SB4(src, 16, src0, src1, src2, src3);
450  src += src_stride;
451  LD_SB4(src, 16, src4, src5, src6, src7);
452  src += src_stride;
453 
454  ILVR_B4_SH(zero, src0, zero, src1, zero, src2, zero, src3,
455  in0_r, in1_r, in2_r, in3_r);
456  ILVL_B4_SH(zero, src0, zero, src1, zero, src2, zero, src3,
457  in0_l, in1_l, in2_l, in3_l);
458  SLLI_4V(in0_r, in1_r, in2_r, in3_r, 6);
459  SLLI_4V(in0_l, in1_l, in2_l, in3_l, 6);
460  ST_SH4(in0_r, in0_l, in1_r, in1_l, dst, 8);
461  ST_SH4(in2_r, in2_l, in3_r, in3_l, (dst + 32), 8);
462  dst += dst_stride;
463 
464  ILVR_B4_SH(zero, src4, zero, src5, zero, src6, zero, src7,
465  in0_r, in1_r, in2_r, in3_r);
466  ILVL_B4_SH(zero, src4, zero, src5, zero, src6, zero, src7,
467  in0_l, in1_l, in2_l, in3_l);
468  SLLI_4V(in0_r, in1_r, in2_r, in3_r, 6);
469  SLLI_4V(in0_l, in1_l, in2_l, in3_l, 6);
470  ST_SH4(in0_r, in0_l, in1_r, in1_l, dst, 8);
471  ST_SH4(in2_r, in2_l, in3_r, in3_l, (dst + 32), 8);
472  dst += dst_stride;
473  }
474 }
475 
476 static void hevc_hz_8t_4w_msa(const uint8_t *src, int32_t src_stride,
477  int16_t *dst, int32_t dst_stride,
478  const int8_t *filter, int32_t height)
479 {
480  uint32_t loop_cnt;
481  uint32_t res = (height & 0x07) >> 1;
482  v16i8 src0, src1, src2, src3, src4, src5, src6, src7;
483  v8i16 filt0, filt1, filt2, filt3;
484  v16i8 mask1, mask2, mask3;
485  v16i8 vec0, vec1, vec2, vec3;
486  v8i16 dst0, dst1, dst2, dst3;
487  v8i16 filter_vec, const_vec;
488  v16i8 mask0 = LD_SB(ff_hevc_mask_arr + 16);
489 
490  src -= 3;
491  const_vec = __msa_ldi_h(128);
492  const_vec <<= 6;
493 
494  filter_vec = LD_SH(filter);
495  SPLATI_H4_SH(filter_vec, 0, 1, 2, 3, filt0, filt1, filt2, filt3);
496 
497  mask1 = mask0 + 2;
498  mask2 = mask0 + 4;
499  mask3 = mask0 + 6;
500 
501  for (loop_cnt = (height >> 3); loop_cnt--;) {
502  LD_SB8(src, src_stride, src0, src1, src2, src3, src4, src5, src6, src7);
503  src += (8 * src_stride);
504  XORI_B8_128_SB(src0, src1, src2, src3, src4, src5, src6, src7);
505 
506  VSHF_B4_SB(src0, src1, mask0, mask1, mask2, mask3,
507  vec0, vec1, vec2, vec3);
508  dst0 = const_vec;
509  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt1, filt2, filt3,
510  dst0, dst0, dst0, dst0);
511  VSHF_B4_SB(src2, src3, mask0, mask1, mask2, mask3,
512  vec0, vec1, vec2, vec3);
513  dst1 = const_vec;
514  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt1, filt2, filt3,
515  dst1, dst1, dst1, dst1);
516  VSHF_B4_SB(src4, src5, mask0, mask1, mask2, mask3,
517  vec0, vec1, vec2, vec3);
518  dst2 = const_vec;
519  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt1, filt2, filt3,
520  dst2, dst2, dst2, dst2);
521  VSHF_B4_SB(src6, src7, mask0, mask1, mask2, mask3,
522  vec0, vec1, vec2, vec3);
523  dst3 = const_vec;
524  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt1, filt2, filt3,
525  dst3, dst3, dst3, dst3);
526 
527  ST_D8(dst0, dst1, dst2, dst3, 0, 1, 0, 1, 0, 1, 0, 1, dst, dst_stride);
528  dst += (8 * dst_stride);
529  }
530  for (; res--; ) {
531  LD_SB2(src, src_stride, src0, src1);
532  src += 2 * src_stride;
533  XORI_B2_128_SB(src0, src1);
534  VSHF_B4_SB(src0, src1, mask0, mask1, mask2, mask3,
535  vec0, vec1, vec2, vec3);
536  dst0 = const_vec;
537  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt1, filt2, filt3,
538  dst0, dst0, dst0, dst0);
539  ST_D2(dst0, 0, 1, dst, dst_stride);
540  dst += 2 * dst_stride;
541  }
542 }
543 
544 static void hevc_hz_8t_8w_msa(const uint8_t *src, int32_t src_stride,
545  int16_t *dst, int32_t dst_stride,
546  const int8_t *filter, int32_t height)
547 {
548  uint32_t loop_cnt;
549  v16i8 src0, src1, src2, src3;
550  v8i16 filt0, filt1, filt2, filt3;
551  v16i8 mask1, mask2, mask3;
552  v16i8 vec0, vec1, vec2, vec3;
553  v8i16 dst0, dst1, dst2, dst3;
554  v8i16 filter_vec, const_vec;
555  v16i8 mask0 = LD_SB(ff_hevc_mask_arr);
556 
557  src -= 3;
558  const_vec = __msa_ldi_h(128);
559  const_vec <<= 6;
560 
561  filter_vec = LD_SH(filter);
562  SPLATI_H4_SH(filter_vec, 0, 1, 2, 3, filt0, filt1, filt2, filt3);
563 
564  mask1 = mask0 + 2;
565  mask2 = mask0 + 4;
566  mask3 = mask0 + 6;
567 
568  for (loop_cnt = (height >> 2); loop_cnt--;) {
569  LD_SB4(src, src_stride, src0, src1, src2, src3);
570  src += (4 * src_stride);
571  XORI_B4_128_SB(src0, src1, src2, src3);
572 
573  VSHF_B4_SB(src0, src0, mask0, mask1, mask2, mask3,
574  vec0, vec1, vec2, vec3);
575  dst0 = const_vec;
576  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt1, filt2, filt3,
577  dst0, dst0, dst0, dst0);
578  VSHF_B4_SB(src1, src1, mask0, mask1, mask2, mask3,
579  vec0, vec1, vec2, vec3);
580  dst1 = const_vec;
581  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt1, filt2, filt3,
582  dst1, dst1, dst1, dst1);
583  VSHF_B4_SB(src2, src2, mask0, mask1, mask2, mask3,
584  vec0, vec1, vec2, vec3);
585  dst2 = const_vec;
586  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt1, filt2, filt3,
587  dst2, dst2, dst2, dst2);
588  VSHF_B4_SB(src3, src3, mask0, mask1, mask2, mask3,
589  vec0, vec1, vec2, vec3);
590  dst3 = const_vec;
591  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt1, filt2, filt3,
592  dst3, dst3, dst3, dst3);
593 
594  ST_SH4(dst0, dst1, dst2, dst3, dst, dst_stride);
595  dst += (4 * dst_stride);
596  }
597 }
598 
599 static void hevc_hz_8t_12w_msa(const uint8_t *src, int32_t src_stride,
600  int16_t *dst, int32_t dst_stride,
601  const int8_t *filter, int32_t height)
602 {
603  uint32_t loop_cnt;
604  int64_t res0, res1, res2, res3;
605  v16i8 src0, src1, src2, src3, src4, src5, src6, src7;
606  v16i8 mask0, mask1, mask2, mask3, mask4, mask5, mask6, mask7;
607  v16i8 vec0, vec1, vec2, vec3, vec4, vec5;
608  v8i16 filt0, filt1, filt2, filt3, dst0, dst1, dst2, dst3, dst4, dst5;
609  v8i16 filter_vec, const_vec;
610 
611  src -= 3;
612  const_vec = __msa_ldi_h(128);
613  const_vec <<= 6;
614 
615  filter_vec = LD_SH(filter);
616  SPLATI_H4_SH(filter_vec, 0, 1, 2, 3, filt0, filt1, filt2, filt3);
617 
618  mask0 = LD_SB(ff_hevc_mask_arr);
619  mask1 = mask0 + 2;
620  mask2 = mask0 + 4;
621  mask3 = mask0 + 6;
622  mask4 = LD_SB(ff_hevc_mask_arr + 16);
623  mask5 = mask4 + 2;
624  mask6 = mask4 + 4;
625  mask7 = mask4 + 6;
626 
627  for (loop_cnt = 4; loop_cnt--;) {
628  LD_SB4(src, src_stride, src0, src1, src2, src3);
629  LD_SB4(src + 8, src_stride, src4, src5, src6, src7);
630  src += (4 * src_stride);
631  XORI_B8_128_SB(src0, src1, src2, src3, src4, src5, src6, src7);
632 
633  dst0 = const_vec;
634  dst1 = const_vec;
635  dst2 = const_vec;
636  dst3 = const_vec;
637  dst4 = const_vec;
638  dst5 = const_vec;
639  VSHF_B2_SB(src0, src0, src1, src1, mask0, mask0, vec0, vec1);
640  VSHF_B2_SB(src2, src2, src3, src3, mask0, mask0, vec2, vec3);
641  VSHF_B2_SB(src4, src5, src6, src7, mask4, mask4, vec4, vec5);
642  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt0, filt0, filt0, dst0,
643  dst1, dst2, dst3);
644  DPADD_SB2_SH(vec4, vec5, filt0, filt0, dst4, dst5);
645  VSHF_B2_SB(src0, src0, src1, src1, mask1, mask1, vec0, vec1);
646  VSHF_B2_SB(src2, src2, src3, src3, mask1, mask1, vec2, vec3);
647  VSHF_B2_SB(src4, src5, src6, src7, mask5, mask5, vec4, vec5);
648  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt1, filt1, filt1, filt1, dst0,
649  dst1, dst2, dst3);
650  DPADD_SB2_SH(vec4, vec5, filt1, filt1, dst4, dst5);
651  VSHF_B2_SB(src0, src0, src1, src1, mask2, mask2, vec0, vec1);
652  VSHF_B2_SB(src2, src2, src3, src3, mask2, mask2, vec2, vec3);
653  VSHF_B2_SB(src4, src5, src6, src7, mask6, mask6, vec4, vec5);
654  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt2, filt2, filt2, filt2, dst0,
655  dst1, dst2, dst3);
656  DPADD_SB2_SH(vec4, vec5, filt2, filt2, dst4, dst5);
657  VSHF_B2_SB(src0, src0, src1, src1, mask3, mask3, vec0, vec1);
658  VSHF_B2_SB(src2, src2, src3, src3, mask3, mask3, vec2, vec3);
659  VSHF_B2_SB(src4, src5, src6, src7, mask7, mask7, vec4, vec5);
660  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt3, filt3, filt3, filt3, dst0,
661  dst1, dst2, dst3);
662  DPADD_SB2_SH(vec4, vec5, filt3, filt3, dst4, dst5);
663 
664  res0 = __msa_copy_s_d((v2i64) dst4, 0);
665  res1 = __msa_copy_s_d((v2i64) dst4, 1);
666  res2 = __msa_copy_s_d((v2i64) dst5, 0);
667  res3 = __msa_copy_s_d((v2i64) dst5, 1);
668  ST_SH4(dst0, dst1, dst2, dst3, dst, dst_stride);
669  SD4(res0, res1, res2, res3, (dst + 8), dst_stride);
670  dst += (4 * dst_stride);
671  }
672 }
673 
674 static void hevc_hz_8t_16w_msa(const uint8_t *src, int32_t src_stride,
675  int16_t *dst, int32_t dst_stride,
676  const int8_t *filter, int32_t height)
677 {
678  uint32_t loop_cnt;
679  v16i8 src0, src1, src2, src3;
680  v8i16 filt0, filt1, filt2, filt3;
681  v16i8 mask1, mask2, mask3;
682  v16i8 vec0, vec1, vec2, vec3;
683  v8i16 dst0, dst1, dst2, dst3;
684  v8i16 filter_vec, const_vec;
685  v16i8 mask0 = LD_SB(ff_hevc_mask_arr);
686 
687  src -= 3;
688  const_vec = __msa_ldi_h(128);
689  const_vec <<= 6;
690 
691  filter_vec = LD_SH(filter);
692  SPLATI_H4_SH(filter_vec, 0, 1, 2, 3, filt0, filt1, filt2, filt3);
693 
694  mask1 = mask0 + 2;
695  mask2 = mask0 + 4;
696  mask3 = mask0 + 6;
697 
698  for (loop_cnt = (height >> 1); loop_cnt--;) {
699  LD_SB2(src, src_stride, src0, src2);
700  LD_SB2(src + 8, src_stride, src1, src3);
701  src += (2 * src_stride);
702  XORI_B4_128_SB(src0, src1, src2, src3);
703 
704  dst0 = const_vec;
705  dst1 = const_vec;
706  dst2 = const_vec;
707  dst3 = const_vec;
708  VSHF_B2_SB(src0, src0, src1, src1, mask0, mask0, vec0, vec1);
709  VSHF_B2_SB(src2, src2, src3, src3, mask0, mask0, vec2, vec3);
710  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt0, filt0, filt0, dst0,
711  dst1, dst2, dst3);
712  VSHF_B2_SB(src0, src0, src1, src1, mask1, mask1, vec0, vec1);
713  VSHF_B2_SB(src2, src2, src3, src3, mask1, mask1, vec2, vec3);
714  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt1, filt1, filt1, filt1, dst0,
715  dst1, dst2, dst3);
716  VSHF_B2_SB(src0, src0, src1, src1, mask2, mask2, vec0, vec1);
717  VSHF_B2_SB(src2, src2, src3, src3, mask2, mask2, vec2, vec3);
718  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt2, filt2, filt2, filt2, dst0,
719  dst1, dst2, dst3);
720  VSHF_B2_SB(src0, src0, src1, src1, mask3, mask3, vec0, vec1);
721  VSHF_B2_SB(src2, src2, src3, src3, mask3, mask3, vec2, vec3);
722  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt3, filt3, filt3, filt3, dst0,
723  dst1, dst2, dst3);
724 
725  ST_SH2(dst0, dst2, dst, dst_stride);
726  ST_SH2(dst1, dst3, dst + 8, dst_stride);
727  dst += (2 * dst_stride);
728  }
729 }
730 
731 static void hevc_hz_8t_24w_msa(const uint8_t *src, int32_t src_stride,
732  int16_t *dst, int32_t dst_stride,
733  const int8_t *filter, int32_t height)
734 {
735  uint32_t loop_cnt;
736  v16i8 src0, src1, src2, src3;
737  v8i16 filt0, filt1, filt2, filt3;
738  v16i8 mask1, mask2, mask3, mask4, mask5, mask6, mask7;
739  v16i8 vec0, vec1, vec2, vec3, vec4, vec5;
740  v8i16 dst0, dst1, dst2, dst3, dst4, dst5;
741  v8i16 filter_vec, const_vec;
742  v16i8 mask0 = LD_SB(ff_hevc_mask_arr);
743 
744  src -= 3;
745  filter_vec = LD_SH(filter);
746  SPLATI_H4_SH(filter_vec, 0, 1, 2, 3, filt0, filt1, filt2, filt3);
747 
748  mask1 = mask0 + 2;
749  mask2 = mask0 + 4;
750  mask3 = mask0 + 6;
751  mask4 = mask0 + 8;
752  mask5 = mask0 + 10;
753  mask6 = mask0 + 12;
754  mask7 = mask0 + 14;
755 
756  const_vec = __msa_ldi_h(128);
757  const_vec <<= 6;
758 
759  for (loop_cnt = (height >> 1); loop_cnt--;) {
760  LD_SB2(src, 16, src0, src1);
761  src += src_stride;
762  LD_SB2(src, 16, src2, src3);
763  src += src_stride;
764  XORI_B4_128_SB(src0, src1, src2, src3);
765 
766  dst0 = const_vec;
767  dst1 = const_vec;
768  dst2 = const_vec;
769  dst3 = const_vec;
770  dst4 = const_vec;
771  dst5 = const_vec;
772  VSHF_B2_SB(src0, src0, src0, src1, mask0, mask4, vec0, vec1);
773  VSHF_B2_SB(src1, src1, src2, src2, mask0, mask0, vec2, vec3);
774  VSHF_B2_SB(src2, src3, src3, src3, mask4, mask0, vec4, vec5);
775  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt0, filt0, filt0, dst0,
776  dst1, dst2, dst3);
777  DPADD_SB2_SH(vec4, vec5, filt0, filt0, dst4, dst5);
778  VSHF_B2_SB(src0, src0, src0, src1, mask1, mask5, vec0, vec1);
779  VSHF_B2_SB(src1, src1, src2, src2, mask1, mask1, vec2, vec3);
780  VSHF_B2_SB(src2, src3, src3, src3, mask5, mask1, vec4, vec5);
781  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt1, filt1, filt1, filt1, dst0,
782  dst1, dst2, dst3);
783  DPADD_SB2_SH(vec4, vec5, filt1, filt1, dst4, dst5);
784  VSHF_B2_SB(src0, src0, src0, src1, mask2, mask6, vec0, vec1);
785  VSHF_B2_SB(src1, src1, src2, src2, mask2, mask2, vec2, vec3);
786  VSHF_B2_SB(src2, src3, src3, src3, mask6, mask2, vec4, vec5);
787  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt2, filt2, filt2, filt2, dst0,
788  dst1, dst2, dst3);
789  DPADD_SB2_SH(vec4, vec5, filt2, filt2, dst4, dst5);
790  VSHF_B2_SB(src0, src0, src0, src1, mask3, mask7, vec0, vec1);
791  VSHF_B2_SB(src1, src1, src2, src2, mask3, mask3, vec2, vec3);
792  VSHF_B2_SB(src2, src3, src3, src3, mask7, mask3, vec4, vec5);
793  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt3, filt3, filt3, filt3, dst0,
794  dst1, dst2, dst3);
795  DPADD_SB2_SH(vec4, vec5, filt3, filt3, dst4, dst5);
796 
797  ST_SH2(dst0, dst1, dst, 8);
798  ST_SH(dst2, dst + 16);
799  dst += dst_stride;
800  ST_SH2(dst3, dst4, dst, 8);
801  ST_SH(dst5, dst + 16);
802  dst += dst_stride;
803  }
804 }
805 
806 static void hevc_hz_8t_32w_msa(const uint8_t *src, int32_t src_stride,
807  int16_t *dst, int32_t dst_stride,
808  const int8_t *filter, int32_t height)
809 {
810  uint32_t loop_cnt;
811  v16i8 src0, src1, src2;
812  v8i16 filt0, filt1, filt2, filt3;
813  v16i8 mask1, mask2, mask3, mask4, mask5, mask6, mask7;
814  v16i8 vec0, vec1, vec2, vec3;
815  v8i16 dst0, dst1, dst2, dst3;
816  v8i16 filter_vec, const_vec;
817  v16i8 mask0 = LD_SB(ff_hevc_mask_arr);
818 
819  src -= 3;
820  filter_vec = LD_SH(filter);
821  SPLATI_H4_SH(filter_vec, 0, 1, 2, 3, filt0, filt1, filt2, filt3);
822 
823  mask1 = mask0 + 2;
824  mask2 = mask0 + 4;
825  mask3 = mask0 + 6;
826  mask4 = mask0 + 8;
827  mask5 = mask0 + 10;
828  mask6 = mask0 + 12;
829  mask7 = mask0 + 14;
830 
831  const_vec = __msa_ldi_h(128);
832  const_vec <<= 6;
833 
834  for (loop_cnt = height; loop_cnt--;) {
835  LD_SB2(src, 16, src0, src1);
836  src2 = LD_SB(src + 24);
837  src += src_stride;
838  XORI_B3_128_SB(src0, src1, src2);
839 
840  VSHF_B4_SB(src0, src0, mask0, mask1, mask2, mask3,
841  vec0, vec1, vec2, vec3);
842  dst0 = const_vec;
843  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt1, filt2, filt3,
844  dst0, dst0, dst0, dst0);
845  VSHF_B4_SB(src0, src1, mask4, mask5, mask6, mask7,
846  vec0, vec1, vec2, vec3);
847  dst1 = const_vec;
848  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt1, filt2, filt3,
849  dst1, dst1, dst1, dst1);
850  VSHF_B4_SB(src1, src1, mask0, mask1, mask2, mask3,
851  vec0, vec1, vec2, vec3);
852  dst2 = const_vec;
853  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt1, filt2, filt3,
854  dst2, dst2, dst2, dst2);
855  VSHF_B4_SB(src2, src2, mask0, mask1, mask2, mask3,
856  vec0, vec1, vec2, vec3);
857  dst3 = const_vec;
858  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt1, filt2, filt3,
859  dst3, dst3, dst3, dst3);
860 
861  ST_SH4(dst0, dst1, dst2, dst3, dst, 8);
862  dst += dst_stride;
863  }
864 }
865 
866 static void hevc_hz_8t_48w_msa(const uint8_t *src, int32_t src_stride,
867  int16_t *dst, int32_t dst_stride,
868  const int8_t *filter, int32_t height)
869 {
870  uint32_t loop_cnt;
871  v16i8 src0, src1, src2, src3;
872  v8i16 filt0, filt1, filt2, filt3;
873  v16i8 mask1, mask2, mask3, mask4, mask5, mask6, mask7;
874  v16i8 vec0, vec1, vec2, vec3, vec4, vec5;
875  v8i16 dst0, dst1, dst2, dst3, dst4, dst5;
876  v8i16 filter_vec, const_vec;
877  v16i8 mask0 = LD_SB(ff_hevc_mask_arr);
878 
879  src -= 3;
880  filter_vec = LD_SH(filter);
881  SPLATI_H4_SH(filter_vec, 0, 1, 2, 3, filt0, filt1, filt2, filt3);
882 
883  mask1 = mask0 + 2;
884  mask2 = mask0 + 4;
885  mask3 = mask0 + 6;
886  mask4 = mask0 + 8;
887  mask5 = mask0 + 10;
888  mask6 = mask0 + 12;
889  mask7 = mask0 + 14;
890 
891  const_vec = __msa_ldi_h(128);
892  const_vec <<= 6;
893 
894  for (loop_cnt = height; loop_cnt--;) {
895  LD_SB3(src, 16, src0, src1, src2);
896  src3 = LD_SB(src + 40);
897  src += src_stride;
898  XORI_B4_128_SB(src0, src1, src2, src3);
899 
900  dst0 = const_vec;
901  dst1 = const_vec;
902  dst2 = const_vec;
903  dst3 = const_vec;
904  dst4 = const_vec;
905  dst5 = const_vec;
906  VSHF_B2_SB(src0, src0, src0, src1, mask0, mask4, vec0, vec1);
907  VSHF_B2_SB(src1, src1, src1, src2, mask0, mask4, vec2, vec3);
908  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt0, filt0, filt0, dst0,
909  dst1, dst2, dst3);
910  VSHF_B2_SB(src0, src0, src0, src1, mask1, mask5, vec0, vec1);
911  VSHF_B2_SB(src1, src1, src1, src2, mask1, mask5, vec2, vec3);
912  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt1, filt1, filt1, filt1, dst0,
913  dst1, dst2, dst3);
914  VSHF_B2_SB(src0, src0, src0, src1, mask2, mask6, vec0, vec1);
915  VSHF_B2_SB(src1, src1, src1, src2, mask2, mask6, vec2, vec3);
916  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt2, filt2, filt2, filt2, dst0,
917  dst1, dst2, dst3);
918  VSHF_B2_SB(src0, src0, src0, src1, mask3, mask7, vec0, vec1);
919  VSHF_B2_SB(src1, src1, src1, src2, mask3, mask7, vec2, vec3);
920  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt3, filt3, filt3, filt3, dst0,
921  dst1, dst2, dst3);
922  ST_SH4(dst0, dst1, dst2, dst3, dst, 8);
923 
924  VSHF_B2_SB(src2, src2, src3, src3, mask0, mask0, vec4, vec5);
925  DPADD_SB2_SH(vec4, vec5, filt0, filt0, dst4, dst5);
926  VSHF_B2_SB(src2, src2, src3, src3, mask1, mask1, vec4, vec5);
927  DPADD_SB2_SH(vec4, vec5, filt1, filt1, dst4, dst5);
928  VSHF_B2_SB(src2, src2, src3, src3, mask2, mask2, vec4, vec5);
929  DPADD_SB2_SH(vec4, vec5, filt2, filt2, dst4, dst5);
930  VSHF_B2_SB(src2, src2, src3, src3, mask3, mask3, vec4, vec5);
931  DPADD_SB2_SH(vec4, vec5, filt3, filt3, dst4, dst5);
932  ST_SH2(dst4, dst5, (dst + 32), 8);
933  dst += dst_stride;
934  }
935 }
936 
937 static void hevc_hz_8t_64w_msa(const uint8_t *src, int32_t src_stride,
938  int16_t *dst, int32_t dst_stride,
939  const int8_t *filter, int32_t height)
940 {
941  uint32_t loop_cnt;
942  v16i8 src0, src1, src2, src3, src4;
943  v8i16 filt0, filt1, filt2, filt3;
944  v16i8 mask1, mask2, mask3, mask4, mask5, mask6, mask7;
945  v16i8 vec0, vec1, vec2, vec3;
946  v8i16 dst0, dst1, dst2, dst3, dst4, dst5, dst6, dst7;
947  v8i16 filter_vec, const_vec;
948  v16i8 mask0 = LD_SB(ff_hevc_mask_arr);
949 
950  src -= 3;
951 
952  filter_vec = LD_SH(filter);
953  SPLATI_H4_SH(filter_vec, 0, 1, 2, 3, filt0, filt1, filt2, filt3);
954 
955  mask1 = mask0 + 2;
956  mask2 = mask0 + 4;
957  mask3 = mask0 + 6;
958  mask4 = mask0 + 8;
959  mask5 = mask0 + 10;
960  mask6 = mask0 + 12;
961  mask7 = mask0 + 14;
962 
963  const_vec = __msa_ldi_h(128);
964  const_vec <<= 6;
965 
966  for (loop_cnt = height; loop_cnt--;) {
967  LD_SB4(src, 16, src0, src1, src2, src3);
968  src4 = LD_SB(src + 56);
969  src += src_stride;
970  XORI_B5_128_SB(src0, src1, src2, src3, src4);
971 
972  VSHF_B4_SB(src0, src0, mask0, mask1, mask2, mask3,
973  vec0, vec1, vec2, vec3);
974  dst0 = const_vec;
975  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt1, filt2, filt3,
976  dst0, dst0, dst0, dst0);
977  ST_SH(dst0, dst);
978 
979  VSHF_B4_SB(src0, src1, mask4, mask5, mask6, mask7,
980  vec0, vec1, vec2, vec3);
981  dst1 = const_vec;
982  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt1, filt2, filt3,
983  dst1, dst1, dst1, dst1);
984  ST_SH(dst1, dst + 8);
985 
986  VSHF_B4_SB(src1, src1, mask0, mask1, mask2, mask3,
987  vec0, vec1, vec2, vec3);
988  dst2 = const_vec;
989  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt1, filt2, filt3,
990  dst2, dst2, dst2, dst2);
991  ST_SH(dst2, dst + 16);
992 
993  VSHF_B4_SB(src1, src2, mask4, mask5, mask6, mask7,
994  vec0, vec1, vec2, vec3);
995  dst3 = const_vec;
996  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt1, filt2, filt3,
997  dst3, dst3, dst3, dst3);
998  ST_SH(dst3, dst + 24);
999 
1000  VSHF_B4_SB(src2, src2, mask0, mask1, mask2, mask3,
1001  vec0, vec1, vec2, vec3);
1002  dst4 = const_vec;
1003  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt1, filt2, filt3,
1004  dst4, dst4, dst4, dst4);
1005  ST_SH(dst4, dst + 32);
1006 
1007  VSHF_B4_SB(src2, src3, mask4, mask5, mask6, mask7,
1008  vec0, vec1, vec2, vec3);
1009  dst5 = const_vec;
1010  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt1, filt2, filt3,
1011  dst5, dst5, dst5, dst5);
1012  ST_SH(dst5, dst + 40);
1013 
1014  VSHF_B4_SB(src3, src3, mask0, mask1, mask2, mask3,
1015  vec0, vec1, vec2, vec3);
1016  dst6 = const_vec;
1017  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt1, filt2, filt3,
1018  dst6, dst6, dst6, dst6);
1019  ST_SH(dst6, dst + 48);
1020 
1021  VSHF_B4_SB(src4, src4, mask0, mask1, mask2, mask3,
1022  vec0, vec1, vec2, vec3);
1023  dst7 = const_vec;
1024  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt1, filt2, filt3,
1025  dst7, dst7, dst7, dst7);
1026  ST_SH(dst7, dst + 56);
1027  dst += dst_stride;
1028  }
1029 }
1030 
1031 static void hevc_vt_8t_4w_msa(const uint8_t *src, int32_t src_stride,
1032  int16_t *dst, int32_t dst_stride,
1033  const int8_t *filter, int32_t height)
1034 {
1035  int32_t loop_cnt;
1036  int32_t res = (height & 0x07) >> 1;
1037  v16i8 src0, src1, src2, src3, src4, src5, src6, src7, src8;
1038  v16i8 src9, src10, src11, src12, src13, src14;
1039  v16i8 src10_r, src32_r, src54_r, src76_r, src98_r;
1040  v16i8 src21_r, src43_r, src65_r, src87_r, src109_r;
1041  v16i8 src1110_r, src1211_r, src1312_r, src1413_r;
1042  v16i8 src2110, src4332, src6554, src8776, src10998;
1043  v16i8 src12111110, src14131312;
1044  v8i16 dst10, dst32, dst54, dst76;
1045  v8i16 filt0, filt1, filt2, filt3;
1046  v8i16 filter_vec, const_vec;
1047 
1048  src -= (3 * src_stride);
1049 
1050  const_vec = __msa_ldi_h(128);
1051  const_vec <<= 6;
1052 
1053  filter_vec = LD_SH(filter);
1054  SPLATI_H4_SH(filter_vec, 0, 1, 2, 3, filt0, filt1, filt2, filt3);
1055 
1056  LD_SB7(src, src_stride, src0, src1, src2, src3, src4, src5, src6);
1057  src += (7 * src_stride);
1058  ILVR_B4_SB(src1, src0, src3, src2, src5, src4, src2, src1,
1059  src10_r, src32_r, src54_r, src21_r);
1060  ILVR_B2_SB(src4, src3, src6, src5, src43_r, src65_r);
1061  ILVR_D3_SB(src21_r, src10_r, src43_r, src32_r, src65_r, src54_r,
1062  src2110, src4332, src6554);
1063  XORI_B3_128_SB(src2110, src4332, src6554);
1064 
1065  for (loop_cnt = (height >> 3); loop_cnt--;) {
1066  LD_SB8(src, src_stride,
1067  src7, src8, src9, src10, src11, src12, src13, src14);
1068  src += (8 * src_stride);
1069 
1070  ILVR_B4_SB(src7, src6, src8, src7, src9, src8, src10, src9,
1071  src76_r, src87_r, src98_r, src109_r);
1072  ILVR_B4_SB(src11, src10, src12, src11, src13, src12, src14, src13,
1073  src1110_r, src1211_r, src1312_r, src1413_r);
1074  ILVR_D4_SB(src87_r, src76_r, src109_r, src98_r,
1075  src1211_r, src1110_r, src1413_r, src1312_r,
1076  src8776, src10998, src12111110, src14131312);
1077  XORI_B4_128_SB(src8776, src10998, src12111110, src14131312);
1078 
1079  dst10 = const_vec;
1080  DPADD_SB4_SH(src2110, src4332, src6554, src8776,
1081  filt0, filt1, filt2, filt3, dst10, dst10, dst10, dst10);
1082  dst32 = const_vec;
1083  DPADD_SB4_SH(src4332, src6554, src8776, src10998,
1084  filt0, filt1, filt2, filt3, dst32, dst32, dst32, dst32);
1085  dst54 = const_vec;
1086  DPADD_SB4_SH(src6554, src8776, src10998, src12111110,
1087  filt0, filt1, filt2, filt3, dst54, dst54, dst54, dst54);
1088  dst76 = const_vec;
1089  DPADD_SB4_SH(src8776, src10998, src12111110, src14131312,
1090  filt0, filt1, filt2, filt3, dst76, dst76, dst76, dst76);
1091 
1092  ST_D8(dst10, dst32, dst54, dst76, 0, 1, 0, 1, 0, 1, 0, 1, dst, dst_stride);
1093  dst += (8 * dst_stride);
1094 
1095  src2110 = src10998;
1096  src4332 = src12111110;
1097  src6554 = src14131312;
1098  src6 = src14;
1099  }
1100  for (; res--; ) {
1101  LD_SB2(src, src_stride, src7, src8);
1102  src += 2 * src_stride;
1103  ILVR_B2_SB(src7, src6, src8, src7, src76_r, src87_r);
1104  src8776 = (v16i8)__msa_ilvr_d((v2i64) src87_r, src76_r);
1105  src8776 = (v16i8)__msa_xori_b((v16i8) src8776, 128);
1106  dst10 = const_vec;
1107  DPADD_SB4_SH(src2110, src4332, src6554, src8776,
1108  filt0, filt1, filt2, filt3, dst10, dst10, dst10, dst10);
1109  ST_D2(dst10, 0, 1, dst, dst_stride);
1110  dst += 2 * dst_stride;
1111  src2110 = src4332;
1112  src4332 = src6554;
1113  src6554 = src8776;
1114  src6 = src8;
1115  }
1116 }
1117 
1118 static void hevc_vt_8t_8w_msa(const uint8_t *src, int32_t src_stride,
1119  int16_t *dst, int32_t dst_stride,
1120  const int8_t *filter, int32_t height)
1121 {
1122  int32_t loop_cnt;
1123  v16i8 src0, src1, src2, src3, src4, src5, src6, src7, src8, src9, src10;
1124  v16i8 src10_r, src32_r, src54_r, src76_r, src98_r;
1125  v16i8 src21_r, src43_r, src65_r, src87_r, src109_r;
1126  v8i16 dst0_r, dst1_r, dst2_r, dst3_r;
1127  v8i16 filter_vec, const_vec;
1128  v8i16 filt0, filt1, filt2, filt3;
1129 
1130  src -= (3 * src_stride);
1131  const_vec = __msa_ldi_h(128);
1132  const_vec <<= 6;
1133 
1134  filter_vec = LD_SH(filter);
1135  SPLATI_H4_SH(filter_vec, 0, 1, 2, 3, filt0, filt1, filt2, filt3);
1136 
1137  LD_SB7(src, src_stride, src0, src1, src2, src3, src4, src5, src6);
1138  src += (7 * src_stride);
1139  XORI_B7_128_SB(src0, src1, src2, src3, src4, src5, src6);
1140  ILVR_B4_SB(src1, src0, src3, src2, src5, src4, src2, src1,
1141  src10_r, src32_r, src54_r, src21_r);
1142  ILVR_B2_SB(src4, src3, src6, src5, src43_r, src65_r);
1143 
1144  for (loop_cnt = (height >> 2); loop_cnt--;) {
1145  LD_SB4(src, src_stride, src7, src8, src9, src10);
1146  src += (4 * src_stride);
1147  XORI_B4_128_SB(src7, src8, src9, src10);
1148  ILVR_B4_SB(src7, src6, src8, src7, src9, src8, src10, src9,
1149  src76_r, src87_r, src98_r, src109_r);
1150 
1151  dst0_r = const_vec;
1152  DPADD_SB4_SH(src10_r, src32_r, src54_r, src76_r,
1153  filt0, filt1, filt2, filt3,
1154  dst0_r, dst0_r, dst0_r, dst0_r);
1155  dst1_r = const_vec;
1156  DPADD_SB4_SH(src21_r, src43_r, src65_r, src87_r,
1157  filt0, filt1, filt2, filt3,
1158  dst1_r, dst1_r, dst1_r, dst1_r);
1159  dst2_r = const_vec;
1160  DPADD_SB4_SH(src32_r, src54_r, src76_r, src98_r,
1161  filt0, filt1, filt2, filt3,
1162  dst2_r, dst2_r, dst2_r, dst2_r);
1163  dst3_r = const_vec;
1164  DPADD_SB4_SH(src43_r, src65_r, src87_r, src109_r,
1165  filt0, filt1, filt2, filt3,
1166  dst3_r, dst3_r, dst3_r, dst3_r);
1167 
1168  ST_SH4(dst0_r, dst1_r, dst2_r, dst3_r, dst, dst_stride);
1169  dst += (4 * dst_stride);
1170 
1171  src10_r = src54_r;
1172  src32_r = src76_r;
1173  src54_r = src98_r;
1174  src21_r = src65_r;
1175  src43_r = src87_r;
1176  src65_r = src109_r;
1177  src6 = src10;
1178  }
1179 }
1180 
1181 static void hevc_vt_8t_12w_msa(const uint8_t *src, int32_t src_stride,
1182  int16_t *dst, int32_t dst_stride,
1183  const int8_t *filter, int32_t height)
1184 {
1185  int32_t loop_cnt;
1186  v16i8 src0, src1, src2, src3, src4, src5, src6, src7, src8, src9, src10;
1187  v16i8 src10_r, src32_r, src54_r, src76_r, src98_r;
1188  v16i8 src21_r, src43_r, src65_r, src87_r, src109_r;
1189  v8i16 dst0_r, dst1_r, dst2_r, dst3_r;
1190  v16i8 src10_l, src32_l, src54_l, src76_l, src98_l;
1191  v16i8 src21_l, src43_l, src65_l, src87_l, src109_l;
1192  v16i8 src2110, src4332, src6554, src8776, src10998;
1193  v8i16 dst0_l, dst1_l;
1194  v8i16 filter_vec, const_vec;
1195  v8i16 filt0, filt1, filt2, filt3;
1196 
1197  src -= (3 * src_stride);
1198  const_vec = __msa_ldi_h(128);
1199  const_vec <<= 6;
1200 
1201  filter_vec = LD_SH(filter);
1202  SPLATI_H4_SH(filter_vec, 0, 1, 2, 3, filt0, filt1, filt2, filt3);
1203 
1204  LD_SB7(src, src_stride, src0, src1, src2, src3, src4, src5, src6);
1205  src += (7 * src_stride);
1206  XORI_B7_128_SB(src0, src1, src2, src3, src4, src5, src6);
1207  ILVR_B4_SB(src1, src0, src3, src2, src5, src4, src2, src1,
1208  src10_r, src32_r, src54_r, src21_r);
1209  ILVR_B2_SB(src4, src3, src6, src5, src43_r, src65_r);
1210  ILVL_B4_SB(src1, src0, src3, src2, src5, src4, src2, src1,
1211  src10_l, src32_l, src54_l, src21_l);
1212  ILVL_B2_SB(src4, src3, src6, src5, src43_l, src65_l);
1213  ILVR_D3_SB(src21_l, src10_l, src43_l, src32_l, src65_l, src54_l,
1214  src2110, src4332, src6554);
1215 
1216  for (loop_cnt = (height >> 2); loop_cnt--;) {
1217  LD_SB4(src, src_stride, src7, src8, src9, src10);
1218  src += (4 * src_stride);
1219  XORI_B4_128_SB(src7, src8, src9, src10);
1220  ILVR_B4_SB(src7, src6, src8, src7, src9, src8, src10, src9,
1221  src76_r, src87_r, src98_r, src109_r);
1222  ILVL_B4_SB(src7, src6, src8, src7, src9, src8, src10, src9,
1223  src76_l, src87_l, src98_l, src109_l);
1224  ILVR_D2_SB(src87_l, src76_l, src109_l, src98_l, src8776, src10998);
1225 
1226  dst0_r = const_vec;
1227  DPADD_SB4_SH(src10_r, src32_r, src54_r, src76_r,
1228  filt0, filt1, filt2, filt3,
1229  dst0_r, dst0_r, dst0_r, dst0_r);
1230  dst1_r = const_vec;
1231  DPADD_SB4_SH(src21_r, src43_r, src65_r, src87_r,
1232  filt0, filt1, filt2, filt3,
1233  dst1_r, dst1_r, dst1_r, dst1_r);
1234  dst2_r = const_vec;
1235  DPADD_SB4_SH(src32_r, src54_r, src76_r, src98_r,
1236  filt0, filt1, filt2, filt3,
1237  dst2_r, dst2_r, dst2_r, dst2_r);
1238  dst3_r = const_vec;
1239  DPADD_SB4_SH(src43_r, src65_r, src87_r, src109_r,
1240  filt0, filt1, filt2, filt3,
1241  dst3_r, dst3_r, dst3_r, dst3_r);
1242  dst0_l = const_vec;
1243  DPADD_SB4_SH(src2110, src4332, src6554, src8776,
1244  filt0, filt1, filt2, filt3,
1245  dst0_l, dst0_l, dst0_l, dst0_l);
1246  dst1_l = const_vec;
1247  DPADD_SB4_SH(src4332, src6554, src8776, src10998,
1248  filt0, filt1, filt2, filt3,
1249  dst1_l, dst1_l, dst1_l, dst1_l);
1250 
1251  ST_SH4(dst0_r, dst1_r, dst2_r, dst3_r, dst, dst_stride);
1252  ST_D4(dst0_l, dst1_l, 0, 1, 0, 1, dst + 8, dst_stride);
1253  dst += (4 * dst_stride);
1254 
1255  src10_r = src54_r;
1256  src32_r = src76_r;
1257  src54_r = src98_r;
1258  src21_r = src65_r;
1259  src43_r = src87_r;
1260  src65_r = src109_r;
1261  src2110 = src6554;
1262  src4332 = src8776;
1263  src6554 = src10998;
1264  src6 = src10;
1265  }
1266 }
1267 
1268 static void hevc_vt_8t_16multx4mult_msa(const uint8_t *src,
1269  int32_t src_stride,
1270  int16_t *dst,
1271  int32_t dst_stride,
1272  const int8_t *filter,
1273  int32_t height,
1274  int32_t width)
1275 {
1276  const uint8_t *src_tmp;
1277  int16_t *dst_tmp;
1278  int32_t loop_cnt, cnt;
1279  v16i8 src0, src1, src2, src3, src4, src5, src6, src7, src8, src9, src10;
1280  v16i8 src10_r, src32_r, src54_r, src76_r, src98_r;
1281  v16i8 src21_r, src43_r, src65_r, src87_r, src109_r;
1282  v8i16 dst0_r, dst1_r, dst2_r, dst3_r;
1283  v16i8 src10_l, src32_l, src54_l, src76_l, src98_l;
1284  v16i8 src21_l, src43_l, src65_l, src87_l, src109_l;
1285  v8i16 dst0_l, dst1_l, dst2_l, dst3_l;
1286  v8i16 filter_vec, const_vec;
1287  v8i16 filt0, filt1, filt2, filt3;
1288 
1289  src -= (3 * src_stride);
1290  const_vec = __msa_ldi_h(128);
1291  const_vec <<= 6;
1292 
1293  filter_vec = LD_SH(filter);
1294  SPLATI_H4_SH(filter_vec, 0, 1, 2, 3, filt0, filt1, filt2, filt3);
1295 
1296  for (cnt = width >> 4; cnt--;) {
1297  src_tmp = src;
1298  dst_tmp = dst;
1299 
1300  LD_SB7(src_tmp, src_stride, src0, src1, src2, src3, src4, src5, src6);
1301  src_tmp += (7 * src_stride);
1302  XORI_B7_128_SB(src0, src1, src2, src3, src4, src5, src6);
1303  ILVR_B4_SB(src1, src0, src3, src2, src5, src4, src2, src1,
1304  src10_r, src32_r, src54_r, src21_r);
1305  ILVR_B2_SB(src4, src3, src6, src5, src43_r, src65_r);
1306  ILVL_B4_SB(src1, src0, src3, src2, src5, src4, src2, src1,
1307  src10_l, src32_l, src54_l, src21_l);
1308  ILVL_B2_SB(src4, src3, src6, src5, src43_l, src65_l);
1309 
1310  for (loop_cnt = (height >> 2); loop_cnt--;) {
1311  LD_SB4(src_tmp, src_stride, src7, src8, src9, src10);
1312  src_tmp += (4 * src_stride);
1313  XORI_B4_128_SB(src7, src8, src9, src10);
1314  ILVR_B4_SB(src7, src6, src8, src7, src9, src8, src10, src9,
1315  src76_r, src87_r, src98_r, src109_r);
1316  ILVL_B4_SB(src7, src6, src8, src7, src9, src8, src10, src9,
1317  src76_l, src87_l, src98_l, src109_l);
1318 
1319  dst0_r = const_vec;
1320  DPADD_SB4_SH(src10_r, src32_r, src54_r, src76_r,
1321  filt0, filt1, filt2, filt3,
1322  dst0_r, dst0_r, dst0_r, dst0_r);
1323  dst1_r = const_vec;
1324  DPADD_SB4_SH(src21_r, src43_r, src65_r, src87_r,
1325  filt0, filt1, filt2, filt3,
1326  dst1_r, dst1_r, dst1_r, dst1_r);
1327  dst2_r = const_vec;
1328  DPADD_SB4_SH(src32_r, src54_r, src76_r, src98_r,
1329  filt0, filt1, filt2, filt3,
1330  dst2_r, dst2_r, dst2_r, dst2_r);
1331  dst3_r = const_vec;
1332  DPADD_SB4_SH(src43_r, src65_r, src87_r, src109_r,
1333  filt0, filt1, filt2, filt3,
1334  dst3_r, dst3_r, dst3_r, dst3_r);
1335  dst0_l = const_vec;
1336  DPADD_SB4_SH(src10_l, src32_l, src54_l, src76_l,
1337  filt0, filt1, filt2, filt3,
1338  dst0_l, dst0_l, dst0_l, dst0_l);
1339  dst1_l = const_vec;
1340  DPADD_SB4_SH(src21_l, src43_l, src65_l, src87_l,
1341  filt0, filt1, filt2, filt3,
1342  dst1_l, dst1_l, dst1_l, dst1_l);
1343  dst2_l = const_vec;
1344  DPADD_SB4_SH(src32_l, src54_l, src76_l, src98_l,
1345  filt0, filt1, filt2, filt3,
1346  dst2_l, dst2_l, dst2_l, dst2_l);
1347  dst3_l = const_vec;
1348  DPADD_SB4_SH(src43_l, src65_l, src87_l, src109_l,
1349  filt0, filt1, filt2, filt3,
1350  dst3_l, dst3_l, dst3_l, dst3_l);
1351 
1352  ST_SH4(dst0_r, dst1_r, dst2_r, dst3_r, dst_tmp, dst_stride);
1353  ST_SH4(dst0_l, dst1_l, dst2_l, dst3_l, dst_tmp + 8, dst_stride);
1354  dst_tmp += (4 * dst_stride);
1355 
1356  src10_r = src54_r;
1357  src32_r = src76_r;
1358  src54_r = src98_r;
1359  src21_r = src65_r;
1360  src43_r = src87_r;
1361  src65_r = src109_r;
1362  src10_l = src54_l;
1363  src32_l = src76_l;
1364  src54_l = src98_l;
1365  src21_l = src65_l;
1366  src43_l = src87_l;
1367  src65_l = src109_l;
1368  src6 = src10;
1369  }
1370 
1371  src += 16;
1372  dst += 16;
1373  }
1374 }
1375 
1376 static void hevc_vt_8t_16w_msa(const uint8_t *src, int32_t src_stride,
1377  int16_t *dst, int32_t dst_stride,
1378  const int8_t *filter, int32_t height)
1379 {
1380  hevc_vt_8t_16multx4mult_msa(src, src_stride, dst, dst_stride,
1381  filter, height, 16);
1382 }
1383 
1384 static void hevc_vt_8t_24w_msa(const uint8_t *src, int32_t src_stride,
1385  int16_t *dst, int32_t dst_stride,
1386  const int8_t *filter, int32_t height)
1387 {
1388  hevc_vt_8t_16multx4mult_msa(src, src_stride, dst, dst_stride,
1389  filter, height, 16);
1390  hevc_vt_8t_8w_msa(src + 16, src_stride, dst + 16, dst_stride,
1391  filter, height);
1392 }
1393 
1394 static void hevc_vt_8t_32w_msa(const uint8_t *src, int32_t src_stride,
1395  int16_t *dst, int32_t dst_stride,
1396  const int8_t *filter, int32_t height)
1397 {
1398  hevc_vt_8t_16multx4mult_msa(src, src_stride, dst, dst_stride,
1399  filter, height, 32);
1400 }
1401 
1402 static void hevc_vt_8t_48w_msa(const uint8_t *src, int32_t src_stride,
1403  int16_t *dst, int32_t dst_stride,
1404  const int8_t *filter, int32_t height)
1405 {
1406  hevc_vt_8t_16multx4mult_msa(src, src_stride, dst, dst_stride,
1407  filter, height, 48);
1408 }
1409 
1410 static void hevc_vt_8t_64w_msa(const uint8_t *src, int32_t src_stride,
1411  int16_t *dst, int32_t dst_stride,
1412  const int8_t *filter, int32_t height)
1413 {
1414  hevc_vt_8t_16multx4mult_msa(src, src_stride, dst, dst_stride,
1415  filter, height, 64);
1416 }
1417 
1418 static void hevc_hv_8t_4w_msa(const uint8_t *src, int32_t src_stride,
1419  int16_t *dst, int32_t dst_stride,
1420  const int8_t *filter_x, const int8_t *filter_y,
1421  int32_t height)
1422 {
1423  uint32_t loop_cnt;
1424  v16i8 src0, src1, src2, src3, src4, src5, src6, src7, src8, src9, src10;
1425  v8i16 filt0, filt1, filt2, filt3;
1426  v8i16 filt_h0, filt_h1, filt_h2, filt_h3;
1427  v16i8 mask1, mask2, mask3;
1428  v8i16 filter_vec, const_vec;
1429  v16i8 vec0, vec1, vec2, vec3, vec4, vec5, vec6, vec7;
1430  v16i8 vec8, vec9, vec10, vec11, vec12, vec13, vec14, vec15;
1431  v8i16 dst30, dst41, dst52, dst63, dst66, dst97, dst108;
1432  v4i32 dst0_r, dst1_r, dst2_r, dst3_r;
1433  v8i16 dst10_r, dst32_r, dst54_r, dst76_r, dst98_r;
1434  v8i16 dst21_r, dst43_r, dst65_r, dst87_r, dst109_r;
1435  v16i8 mask0 = LD_SB(ff_hevc_mask_arr + 16);
1436 
1437  src -= ((3 * src_stride) + 3);
1438  filter_vec = LD_SH(filter_x);
1439  SPLATI_H4_SH(filter_vec, 0, 1, 2, 3, filt0, filt1, filt2, filt3);
1440 
1441  filter_vec = LD_SH(filter_y);
1442  UNPCK_R_SB_SH(filter_vec, filter_vec);
1443 
1444  SPLATI_W4_SH(filter_vec, filt_h0, filt_h1, filt_h2, filt_h3);
1445 
1446  mask1 = mask0 + 2;
1447  mask2 = mask0 + 4;
1448  mask3 = mask0 + 6;
1449 
1450  const_vec = __msa_ldi_h(128);
1451  const_vec <<= 6;
1452 
1453  LD_SB7(src, src_stride, src0, src1, src2, src3, src4, src5, src6);
1454  src += (7 * src_stride);
1455  XORI_B7_128_SB(src0, src1, src2, src3, src4, src5, src6);
1456 
1457  VSHF_B4_SB(src0, src3, mask0, mask1, mask2, mask3, vec0, vec1, vec2, vec3);
1458  VSHF_B4_SB(src1, src4, mask0, mask1, mask2, mask3, vec4, vec5, vec6, vec7);
1459  VSHF_B4_SB(src2, src5, mask0, mask1, mask2, mask3,
1460  vec8, vec9, vec10, vec11);
1461  VSHF_B4_SB(src3, src6, mask0, mask1, mask2, mask3,
1462  vec12, vec13, vec14, vec15);
1463  dst30 = const_vec;
1464  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt1, filt2, filt3,
1465  dst30, dst30, dst30, dst30);
1466  dst41 = const_vec;
1467  DPADD_SB4_SH(vec4, vec5, vec6, vec7, filt0, filt1, filt2, filt3,
1468  dst41, dst41, dst41, dst41);
1469  dst52 = const_vec;
1470  DPADD_SB4_SH(vec8, vec9, vec10, vec11, filt0, filt1, filt2, filt3,
1471  dst52, dst52, dst52, dst52);
1472  dst63 = const_vec;
1473  DPADD_SB4_SH(vec12, vec13, vec14, vec15, filt0, filt1, filt2, filt3,
1474  dst63, dst63, dst63, dst63);
1475 
1476  ILVRL_H2_SH(dst41, dst30, dst10_r, dst43_r);
1477  ILVRL_H2_SH(dst52, dst41, dst21_r, dst54_r);
1478  ILVRL_H2_SH(dst63, dst52, dst32_r, dst65_r);
1479  dst66 = (v8i16) __msa_splati_d((v2i64) dst63, 1);
1480 
1481  for (loop_cnt = height >> 2; loop_cnt--;) {
1482  LD_SB4(src, src_stride, src7, src8, src9, src10);
1483  src += (4 * src_stride);
1484  XORI_B4_128_SB(src7, src8, src9, src10);
1485 
1486  VSHF_B4_SB(src7, src9, mask0, mask1, mask2, mask3,
1487  vec0, vec1, vec2, vec3);
1488  VSHF_B4_SB(src8, src10, mask0, mask1, mask2, mask3,
1489  vec4, vec5, vec6, vec7);
1490  dst97 = const_vec;
1491  dst108 = const_vec;
1492  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt1, filt2, filt3,
1493  dst97, dst97, dst97, dst97);
1494  DPADD_SB4_SH(vec4, vec5, vec6, vec7, filt0, filt1, filt2, filt3,
1495  dst108, dst108, dst108, dst108);
1496 
1497  dst76_r = __msa_ilvr_h(dst97, dst66);
1498  ILVRL_H2_SH(dst108, dst97, dst87_r, dst109_r);
1499  dst66 = (v8i16) __msa_splati_d((v2i64) dst97, 1);
1500  dst98_r = __msa_ilvr_h(dst66, dst108);
1501 
1502  dst0_r = HEVC_FILT_8TAP(dst10_r, dst32_r, dst54_r, dst76_r,
1503  filt_h0, filt_h1, filt_h2, filt_h3);
1504  dst1_r = HEVC_FILT_8TAP(dst21_r, dst43_r, dst65_r, dst87_r,
1505  filt_h0, filt_h1, filt_h2, filt_h3);
1506  dst2_r = HEVC_FILT_8TAP(dst32_r, dst54_r, dst76_r, dst98_r,
1507  filt_h0, filt_h1, filt_h2, filt_h3);
1508  dst3_r = HEVC_FILT_8TAP(dst43_r, dst65_r, dst87_r, dst109_r,
1509  filt_h0, filt_h1, filt_h2, filt_h3);
1510  SRA_4V(dst0_r, dst1_r, dst2_r, dst3_r, 6);
1511  PCKEV_H2_SW(dst1_r, dst0_r, dst3_r, dst2_r, dst0_r, dst2_r);
1512  ST_D4(dst0_r, dst2_r, 0, 1, 0, 1, dst, dst_stride);
1513  dst += (4 * dst_stride);
1514 
1515  dst10_r = dst54_r;
1516  dst32_r = dst76_r;
1517  dst54_r = dst98_r;
1518  dst21_r = dst65_r;
1519  dst43_r = dst87_r;
1520  dst65_r = dst109_r;
1521  dst66 = (v8i16) __msa_splati_d((v2i64) dst108, 1);
1522  }
1523 }
1524 
1525 static void hevc_hv_8t_8multx1mult_msa(const uint8_t *src,
1526  int32_t src_stride,
1527  int16_t *dst,
1528  int32_t dst_stride,
1529  const int8_t *filter_x,
1530  const int8_t *filter_y,
1531  int32_t height, int32_t width)
1532 {
1533  uint32_t loop_cnt, cnt;
1534  const uint8_t *src_tmp;
1535  int16_t *dst_tmp;
1536  v16i8 src0, src1, src2, src3, src4, src5, src6, src7;
1537  v8i16 filt0, filt1, filt2, filt3;
1538  v8i16 filt_h0, filt_h1, filt_h2, filt_h3;
1539  v16i8 mask1, mask2, mask3;
1540  v8i16 filter_vec, const_vec;
1541  v16i8 vec0, vec1, vec2, vec3, vec4, vec5, vec6, vec7;
1542  v16i8 vec8, vec9, vec10, vec11, vec12, vec13, vec14, vec15;
1543  v8i16 dst0, dst1, dst2, dst3, dst4, dst5, dst6, dst7;
1544  v4i32 dst0_r, dst0_l;
1545  v8i16 dst10_r, dst32_r, dst54_r, dst76_r;
1546  v8i16 dst10_l, dst32_l, dst54_l, dst76_l;
1547  v16i8 mask0 = { 0, 1, 1, 2, 2, 3, 3, 4, 4, 5, 5, 6, 6, 7, 7, 8 };
1548 
1549  src -= ((3 * src_stride) + 3);
1550  filter_vec = LD_SH(filter_x);
1551  SPLATI_H4_SH(filter_vec, 0, 1, 2, 3, filt0, filt1, filt2, filt3);
1552 
1553  filter_vec = LD_SH(filter_y);
1554  UNPCK_R_SB_SH(filter_vec, filter_vec);
1555 
1556  SPLATI_W4_SH(filter_vec, filt_h0, filt_h1, filt_h2, filt_h3);
1557 
1558  mask1 = mask0 + 2;
1559  mask2 = mask0 + 4;
1560  mask3 = mask0 + 6;
1561 
1562  const_vec = __msa_ldi_h(128);
1563  const_vec <<= 6;
1564 
1565  for (cnt = width >> 3; cnt--;) {
1566  src_tmp = src;
1567  dst_tmp = dst;
1568 
1569  LD_SB7(src_tmp, src_stride, src0, src1, src2, src3, src4, src5, src6);
1570  src_tmp += (7 * src_stride);
1571  XORI_B7_128_SB(src0, src1, src2, src3, src4, src5, src6);
1572 
1573  /* row 0 row 1 row 2 row 3 */
1574  VSHF_B4_SB(src0, src0, mask0, mask1, mask2, mask3,
1575  vec0, vec1, vec2, vec3);
1576  VSHF_B4_SB(src1, src1, mask0, mask1, mask2, mask3,
1577  vec4, vec5, vec6, vec7);
1578  VSHF_B4_SB(src2, src2, mask0, mask1, mask2, mask3,
1579  vec8, vec9, vec10, vec11);
1580  VSHF_B4_SB(src3, src3, mask0, mask1, mask2, mask3,
1581  vec12, vec13, vec14, vec15);
1582  dst0 = const_vec;
1583  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt1, filt2, filt3,
1584  dst0, dst0, dst0, dst0);
1585  dst1 = const_vec;
1586  DPADD_SB4_SH(vec4, vec5, vec6, vec7, filt0, filt1, filt2, filt3,
1587  dst1, dst1, dst1, dst1);
1588  dst2 = const_vec;
1589  DPADD_SB4_SH(vec8, vec9, vec10, vec11, filt0, filt1, filt2, filt3,
1590  dst2, dst2, dst2, dst2);
1591  dst3 = const_vec;
1592  DPADD_SB4_SH(vec12, vec13, vec14, vec15, filt0, filt1, filt2, filt3,
1593  dst3, dst3, dst3, dst3);
1594 
1595  /* row 4 row 5 row 6 */
1596  VSHF_B4_SB(src4, src4, mask0, mask1, mask2, mask3,
1597  vec0, vec1, vec2, vec3);
1598  VSHF_B4_SB(src5, src5, mask0, mask1, mask2, mask3,
1599  vec4, vec5, vec6, vec7);
1600  VSHF_B4_SB(src6, src6, mask0, mask1, mask2, mask3,
1601  vec8, vec9, vec10, vec11);
1602  dst4 = const_vec;
1603  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt1, filt2, filt3,
1604  dst4, dst4, dst4, dst4);
1605  dst5 = const_vec;
1606  DPADD_SB4_SH(vec4, vec5, vec6, vec7, filt0, filt1, filt2, filt3,
1607  dst5, dst5, dst5, dst5);
1608  dst6 = const_vec;
1609  DPADD_SB4_SH(vec8, vec9, vec10, vec11, filt0, filt1, filt2, filt3,
1610  dst6, dst6, dst6, dst6);
1611 
1612  for (loop_cnt = height; loop_cnt--;) {
1613  src7 = LD_SB(src_tmp);
1614  src7 = (v16i8) __msa_xori_b((v16u8) src7, 128);
1615  src_tmp += src_stride;
1616 
1617  VSHF_B4_SB(src7, src7, mask0, mask1, mask2, mask3,
1618  vec0, vec1, vec2, vec3);
1619  dst7 = const_vec;
1620  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt1, filt2, filt3,
1621  dst7, dst7, dst7, dst7);
1622 
1623  ILVRL_H2_SH(dst1, dst0, dst10_r, dst10_l);
1624  ILVRL_H2_SH(dst3, dst2, dst32_r, dst32_l);
1625  ILVRL_H2_SH(dst5, dst4, dst54_r, dst54_l);
1626  ILVRL_H2_SH(dst7, dst6, dst76_r, dst76_l);
1627  dst0_r = HEVC_FILT_8TAP(dst10_r, dst32_r, dst54_r, dst76_r,
1628  filt_h0, filt_h1, filt_h2, filt_h3);
1629  dst0_l = HEVC_FILT_8TAP(dst10_l, dst32_l, dst54_l, dst76_l,
1630  filt_h0, filt_h1, filt_h2, filt_h3);
1631  dst0_r >>= 6;
1632  dst0_l >>= 6;
1633 
1634  dst0_r = (v4i32) __msa_pckev_h((v8i16) dst0_l, (v8i16) dst0_r);
1635  ST_SW(dst0_r, dst_tmp);
1636  dst_tmp += dst_stride;
1637 
1638  dst0 = dst1;
1639  dst1 = dst2;
1640  dst2 = dst3;
1641  dst3 = dst4;
1642  dst4 = dst5;
1643  dst5 = dst6;
1644  dst6 = dst7;
1645  }
1646 
1647  src += 8;
1648  dst += 8;
1649  }
1650 }
1651 
1652 static void hevc_hv_8t_8w_msa(const uint8_t *src, int32_t src_stride,
1653  int16_t *dst, int32_t dst_stride,
1654  const int8_t *filter_x, const int8_t *filter_y,
1655  int32_t height)
1656 {
1657  hevc_hv_8t_8multx1mult_msa(src, src_stride, dst, dst_stride,
1658  filter_x, filter_y, height, 8);
1659 }
1660 
1661 static void hevc_hv_8t_12w_msa(const uint8_t *src, int32_t src_stride,
1662  int16_t *dst, int32_t dst_stride,
1663  const int8_t *filter_x, const int8_t *filter_y,
1664  int32_t height)
1665 {
1666  uint32_t loop_cnt;
1667  const uint8_t *src_tmp;
1668  int16_t *dst_tmp;
1669  v16i8 src0, src1, src2, src3, src4, src5, src6, src7, src8, src9, src10;
1670  v16i8 mask0, mask1, mask2, mask3, mask4, mask5, mask6, mask7;
1671  v16i8 vec0, vec1, vec2, vec3, vec4, vec5, vec6, vec7;
1672  v16i8 vec8, vec9, vec10, vec11, vec12, vec13, vec14, vec15;
1673  v8i16 filt0, filt1, filt2, filt3, filt_h0, filt_h1, filt_h2, filt_h3;
1674  v8i16 filter_vec, const_vec;
1675  v8i16 dst0, dst1, dst2, dst3, dst4, dst5, dst6, dst7;
1676  v8i16 dst30, dst41, dst52, dst63, dst66, dst97, dst108;
1677  v8i16 dst10_r, dst32_r, dst54_r, dst76_r, dst98_r, dst21_r, dst43_r;
1678  v8i16 dst65_r, dst87_r, dst109_r, dst10_l, dst32_l, dst54_l, dst76_l;
1679  v4i32 dst0_r, dst0_l, dst1_r, dst2_r, dst3_r;
1680 
1681  src -= ((3 * src_stride) + 3);
1682  filter_vec = LD_SH(filter_x);
1683  SPLATI_H4_SH(filter_vec, 0, 1, 2, 3, filt0, filt1, filt2, filt3);
1684 
1685  filter_vec = LD_SH(filter_y);
1686  UNPCK_R_SB_SH(filter_vec, filter_vec);
1687 
1688  SPLATI_W4_SH(filter_vec, filt_h0, filt_h1, filt_h2, filt_h3);
1689 
1690  mask0 = LD_SB(ff_hevc_mask_arr);
1691  mask1 = mask0 + 2;
1692  mask2 = mask0 + 4;
1693  mask3 = mask0 + 6;
1694 
1695  const_vec = __msa_ldi_h(128);
1696  const_vec <<= 6;
1697 
1698  src_tmp = src;
1699  dst_tmp = dst;
1700 
1701  LD_SB7(src_tmp, src_stride, src0, src1, src2, src3, src4, src5, src6);
1702  src_tmp += (7 * src_stride);
1703  XORI_B7_128_SB(src0, src1, src2, src3, src4, src5, src6);
1704 
1705  /* row 0 row 1 row 2 row 3 */
1706  VSHF_B4_SB(src0, src0, mask0, mask1, mask2, mask3, vec0, vec1, vec2, vec3);
1707  VSHF_B4_SB(src1, src1, mask0, mask1, mask2, mask3, vec4, vec5, vec6, vec7);
1708  VSHF_B4_SB(src2, src2, mask0, mask1, mask2, mask3, vec8, vec9, vec10,
1709  vec11);
1710  VSHF_B4_SB(src3, src3, mask0, mask1, mask2, mask3, vec12, vec13, vec14,
1711  vec15);
1712  dst0 = const_vec;
1713  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt1, filt2, filt3, dst0, dst0,
1714  dst0, dst0);
1715  dst1 = const_vec;
1716  DPADD_SB4_SH(vec4, vec5, vec6, vec7, filt0, filt1, filt2, filt3, dst1, dst1,
1717  dst1, dst1);
1718  dst2 = const_vec;
1719  DPADD_SB4_SH(vec8, vec9, vec10, vec11, filt0, filt1, filt2, filt3, dst2,
1720  dst2, dst2, dst2);
1721  dst3 = const_vec;
1722  DPADD_SB4_SH(vec12, vec13, vec14, vec15, filt0, filt1, filt2, filt3, dst3,
1723  dst3, dst3, dst3);
1724 
1725  /* row 4 row 5 row 6 */
1726  VSHF_B4_SB(src4, src4, mask0, mask1, mask2, mask3, vec0, vec1, vec2, vec3);
1727  VSHF_B4_SB(src5, src5, mask0, mask1, mask2, mask3, vec4, vec5, vec6, vec7);
1728  VSHF_B4_SB(src6, src6, mask0, mask1, mask2, mask3, vec8, vec9, vec10,
1729  vec11);
1730  dst4 = const_vec;
1731  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt1, filt2, filt3, dst4, dst4,
1732  dst4, dst4);
1733  dst5 = const_vec;
1734  DPADD_SB4_SH(vec4, vec5, vec6, vec7, filt0, filt1, filt2, filt3, dst5, dst5,
1735  dst5, dst5);
1736  dst6 = const_vec;
1737  DPADD_SB4_SH(vec8, vec9, vec10, vec11, filt0, filt1, filt2, filt3, dst6,
1738  dst6, dst6, dst6);
1739 
1740  for (loop_cnt = height; loop_cnt--;) {
1741  src7 = LD_SB(src_tmp);
1742  src7 = (v16i8) __msa_xori_b((v16u8) src7, 128);
1743  src_tmp += src_stride;
1744 
1745  VSHF_B4_SB(src7, src7, mask0, mask1, mask2, mask3, vec0, vec1, vec2,
1746  vec3);
1747  dst7 = const_vec;
1748  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt1, filt2, filt3, dst7,
1749  dst7, dst7, dst7);
1750 
1751  ILVRL_H2_SH(dst1, dst0, dst10_r, dst10_l);
1752  ILVRL_H2_SH(dst3, dst2, dst32_r, dst32_l);
1753  ILVRL_H2_SH(dst5, dst4, dst54_r, dst54_l);
1754  ILVRL_H2_SH(dst7, dst6, dst76_r, dst76_l);
1755  dst0_r = HEVC_FILT_8TAP(dst10_r, dst32_r, dst54_r, dst76_r, filt_h0,
1756  filt_h1, filt_h2, filt_h3);
1757  dst0_l = HEVC_FILT_8TAP(dst10_l, dst32_l, dst54_l, dst76_l, filt_h0,
1758  filt_h1, filt_h2, filt_h3);
1759  dst0_r >>= 6;
1760  dst0_l >>= 6;
1761 
1762  dst0_r = (v4i32) __msa_pckev_h((v8i16) dst0_l, (v8i16) dst0_r);
1763  ST_SW(dst0_r, dst_tmp);
1764  dst_tmp += dst_stride;
1765 
1766  dst0 = dst1;
1767  dst1 = dst2;
1768  dst2 = dst3;
1769  dst3 = dst4;
1770  dst4 = dst5;
1771  dst5 = dst6;
1772  dst6 = dst7;
1773  }
1774 
1775  src += 8;
1776  dst += 8;
1777 
1778  mask4 = LD_SB(ff_hevc_mask_arr + 16);
1779  mask5 = mask4 + 2;
1780  mask6 = mask4 + 4;
1781  mask7 = mask4 + 6;
1782 
1783  LD_SB7(src, src_stride, src0, src1, src2, src3, src4, src5, src6);
1784  src += (7 * src_stride);
1785  XORI_B7_128_SB(src0, src1, src2, src3, src4, src5, src6);
1786 
1787  VSHF_B4_SB(src0, src3, mask4, mask5, mask6, mask7, vec0, vec1, vec2, vec3);
1788  VSHF_B4_SB(src1, src4, mask4, mask5, mask6, mask7, vec4, vec5, vec6, vec7);
1789  VSHF_B4_SB(src2, src5, mask4, mask5, mask6, mask7, vec8, vec9, vec10,
1790  vec11);
1791  VSHF_B4_SB(src3, src6, mask4, mask5, mask6, mask7, vec12, vec13, vec14,
1792  vec15);
1793  dst30 = const_vec;
1794  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt1, filt2, filt3, dst30,
1795  dst30, dst30, dst30);
1796  dst41 = const_vec;
1797  DPADD_SB4_SH(vec4, vec5, vec6, vec7, filt0, filt1, filt2, filt3, dst41,
1798  dst41, dst41, dst41);
1799  dst52 = const_vec;
1800  DPADD_SB4_SH(vec8, vec9, vec10, vec11, filt0, filt1, filt2, filt3, dst52,
1801  dst52, dst52, dst52);
1802  dst63 = const_vec;
1803  DPADD_SB4_SH(vec12, vec13, vec14, vec15, filt0, filt1, filt2, filt3, dst63,
1804  dst63, dst63, dst63);
1805 
1806  ILVRL_H2_SH(dst41, dst30, dst10_r, dst43_r);
1807  ILVRL_H2_SH(dst52, dst41, dst21_r, dst54_r);
1808  ILVRL_H2_SH(dst63, dst52, dst32_r, dst65_r);
1809 
1810  dst66 = (v8i16) __msa_splati_d((v2i64) dst63, 1);
1811 
1812  for (loop_cnt = height >> 2; loop_cnt--;) {
1813  LD_SB4(src, src_stride, src7, src8, src9, src10);
1814  src += (4 * src_stride);
1815  XORI_B4_128_SB(src7, src8, src9, src10);
1816 
1817  VSHF_B4_SB(src7, src9, mask4, mask5, mask6, mask7, vec0, vec1, vec2,
1818  vec3);
1819  VSHF_B4_SB(src8, src10, mask4, mask5, mask6, mask7, vec4, vec5, vec6,
1820  vec7);
1821  dst97 = const_vec;
1822  dst108 = const_vec;
1823  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt1, filt2, filt3, dst97,
1824  dst97, dst97, dst97);
1825  DPADD_SB4_SH(vec4, vec5, vec6, vec7, filt0, filt1, filt2, filt3, dst108,
1826  dst108, dst108, dst108);
1827 
1828  dst76_r = __msa_ilvr_h(dst97, dst66);
1829  ILVRL_H2_SH(dst108, dst97, dst87_r, dst109_r);
1830  dst66 = (v8i16) __msa_splati_d((v2i64) dst97, 1);
1831  dst98_r = __msa_ilvr_h(dst66, dst108);
1832 
1833  dst0_r = HEVC_FILT_8TAP(dst10_r, dst32_r, dst54_r, dst76_r, filt_h0,
1834  filt_h1, filt_h2, filt_h3);
1835  dst1_r = HEVC_FILT_8TAP(dst21_r, dst43_r, dst65_r, dst87_r, filt_h0,
1836  filt_h1, filt_h2, filt_h3);
1837  dst2_r = HEVC_FILT_8TAP(dst32_r, dst54_r, dst76_r, dst98_r, filt_h0,
1838  filt_h1, filt_h2, filt_h3);
1839  dst3_r = HEVC_FILT_8TAP(dst43_r, dst65_r, dst87_r, dst109_r, filt_h0,
1840  filt_h1, filt_h2, filt_h3);
1841  SRA_4V(dst0_r, dst1_r, dst2_r, dst3_r, 6);
1842  PCKEV_H2_SW(dst1_r, dst0_r, dst3_r, dst2_r, dst0_r, dst2_r);
1843  ST_D4(dst0_r, dst2_r, 0, 1, 0, 1, dst, dst_stride);
1844  dst += (4 * dst_stride);
1845 
1846  dst10_r = dst54_r;
1847  dst32_r = dst76_r;
1848  dst54_r = dst98_r;
1849  dst21_r = dst65_r;
1850  dst43_r = dst87_r;
1851  dst65_r = dst109_r;
1852  dst66 = (v8i16) __msa_splati_d((v2i64) dst108, 1);
1853  }
1854 }
1855 
1856 static void hevc_hv_8t_16w_msa(const uint8_t *src, int32_t src_stride,
1857  int16_t *dst, int32_t dst_stride,
1858  const int8_t *filter_x, const int8_t *filter_y,
1859  int32_t height)
1860 {
1861  hevc_hv_8t_8multx1mult_msa(src, src_stride, dst, dst_stride,
1862  filter_x, filter_y, height, 16);
1863 }
1864 
1865 static void hevc_hv_8t_24w_msa(const uint8_t *src, int32_t src_stride,
1866  int16_t *dst, int32_t dst_stride,
1867  const int8_t *filter_x, const int8_t *filter_y,
1868  int32_t height)
1869 {
1870  hevc_hv_8t_8multx1mult_msa(src, src_stride, dst, dst_stride,
1871  filter_x, filter_y, height, 24);
1872 }
1873 
1874 static void hevc_hv_8t_32w_msa(const uint8_t *src, int32_t src_stride,
1875  int16_t *dst, int32_t dst_stride,
1876  const int8_t *filter_x, const int8_t *filter_y,
1877  int32_t height)
1878 {
1879  hevc_hv_8t_8multx1mult_msa(src, src_stride, dst, dst_stride,
1880  filter_x, filter_y, height, 32);
1881 }
1882 
1883 static void hevc_hv_8t_48w_msa(const uint8_t *src, int32_t src_stride,
1884  int16_t *dst, int32_t dst_stride,
1885  const int8_t *filter_x, const int8_t *filter_y,
1886  int32_t height)
1887 {
1888  hevc_hv_8t_8multx1mult_msa(src, src_stride, dst, dst_stride,
1889  filter_x, filter_y, height, 48);
1890 }
1891 
1892 static void hevc_hv_8t_64w_msa(const uint8_t *src, int32_t src_stride,
1893  int16_t *dst, int32_t dst_stride,
1894  const int8_t *filter_x, const int8_t *filter_y,
1895  int32_t height)
1896 {
1897  hevc_hv_8t_8multx1mult_msa(src, src_stride, dst, dst_stride,
1898  filter_x, filter_y, height, 64);
1899 }
1900 
1901 static void hevc_hz_4t_4x2_msa(const uint8_t *src,
1902  int32_t src_stride,
1903  int16_t *dst,
1904  int32_t dst_stride,
1905  const int8_t *filter)
1906 {
1907  v8i16 filt0, filt1;
1908  v16i8 src0, src1;
1909  v16i8 mask1, vec0, vec1;
1910  v8i16 dst0;
1911  v8i16 filter_vec, const_vec;
1912  v16i8 mask0 = LD_SB(ff_hevc_mask_arr + 16);
1913 
1914  src -= 1;
1915 
1916  filter_vec = LD_SH(filter);
1917  SPLATI_H2_SH(filter_vec, 0, 1, filt0, filt1);
1918 
1919  mask1 = mask0 + 2;
1920 
1921  const_vec = __msa_ldi_h(128);
1922  const_vec <<= 6;
1923 
1924  LD_SB2(src, src_stride, src0, src1);
1925  XORI_B2_128_SB(src0, src1);
1926 
1927  VSHF_B2_SB(src0, src1, src0, src1, mask0, mask1, vec0, vec1);
1928  dst0 = const_vec;
1929  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst0, dst0);
1930 
1931  ST_D2(dst0, 0, 1, dst, dst_stride);
1932 }
1933 
1934 static void hevc_hz_4t_4x4_msa(const uint8_t *src,
1935  int32_t src_stride,
1936  int16_t *dst,
1937  int32_t dst_stride,
1938  const int8_t *filter)
1939 {
1940  v8i16 filt0, filt1;
1941  v16i8 src0, src1, src2, src3;
1942  v16i8 mask1, vec0, vec1;
1943  v8i16 dst0, dst1;
1944  v8i16 filter_vec, const_vec;
1945  v16i8 mask0 = LD_SB(ff_hevc_mask_arr + 16);
1946 
1947  src -= 1;
1948 
1949  filter_vec = LD_SH(filter);
1950  SPLATI_H2_SH(filter_vec, 0, 1, filt0, filt1);
1951 
1952  mask1 = mask0 + 2;
1953 
1954  const_vec = __msa_ldi_h(128);
1955  const_vec <<= 6;
1956 
1957  LD_SB4(src, src_stride, src0, src1, src2, src3);
1958  XORI_B4_128_SB(src0, src1, src2, src3);
1959 
1960  VSHF_B2_SB(src0, src1, src0, src1, mask0, mask1, vec0, vec1);
1961  dst0 = const_vec;
1962  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst0, dst0);
1963 
1964  VSHF_B2_SB(src2, src3, src2, src3, mask0, mask1, vec0, vec1);
1965  dst1 = const_vec;
1966  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst1, dst1);
1967 
1968  ST_D4(dst0, dst1, 0, 1, 0, 1, dst, dst_stride);
1969 }
1970 
1971 static void hevc_hz_4t_4x8multiple_msa(const uint8_t *src,
1972  int32_t src_stride,
1973  int16_t *dst,
1974  int32_t dst_stride,
1975  const int8_t *filter,
1976  int32_t height)
1977 {
1978  uint32_t loop_cnt;
1979  v8i16 filt0, filt1;
1980  v16i8 src0, src1, src2, src3, src4, src5, src6, src7;
1981  v16i8 mask1, vec0, vec1;
1982  v8i16 dst0, dst1, dst2, dst3;
1983  v8i16 filter_vec, const_vec;
1984  v16i8 mask0 = LD_SB(ff_hevc_mask_arr + 16);
1985 
1986  src -= 1;
1987 
1988  filter_vec = LD_SH(filter);
1989  SPLATI_H2_SH(filter_vec, 0, 1, filt0, filt1);
1990 
1991  mask1 = mask0 + 2;
1992 
1993  const_vec = __msa_ldi_h(128);
1994  const_vec <<= 6;
1995 
1996  for (loop_cnt = (height >> 3); loop_cnt--;) {
1997  LD_SB8(src, src_stride, src0, src1, src2, src3, src4, src5, src6, src7);
1998  src += (8 * src_stride);
1999 
2000  XORI_B8_128_SB(src0, src1, src2, src3, src4, src5, src6, src7);
2001 
2002  VSHF_B2_SB(src0, src1, src0, src1, mask0, mask1, vec0, vec1);
2003  dst0 = const_vec;
2004  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst0, dst0);
2005  VSHF_B2_SB(src2, src3, src2, src3, mask0, mask1, vec0, vec1);
2006  dst1 = const_vec;
2007  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst1, dst1);
2008  VSHF_B2_SB(src4, src5, src4, src5, mask0, mask1, vec0, vec1);
2009  dst2 = const_vec;
2010  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst2, dst2);
2011  VSHF_B2_SB(src6, src7, src6, src7, mask0, mask1, vec0, vec1);
2012  dst3 = const_vec;
2013  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst3, dst3);
2014 
2015  ST_D8(dst0, dst1, dst2, dst3, 0, 1, 0, 1, 0, 1, 0, 1, dst, dst_stride);
2016  dst += (8 * dst_stride);
2017  }
2018 }
2019 
2020 static void hevc_hz_4t_4w_msa(const uint8_t *src,
2021  int32_t src_stride,
2022  int16_t *dst,
2023  int32_t dst_stride,
2024  const int8_t *filter,
2025  int32_t height)
2026 {
2027  if (2 == height) {
2028  hevc_hz_4t_4x2_msa(src, src_stride, dst, dst_stride, filter);
2029  } else if (4 == height) {
2030  hevc_hz_4t_4x4_msa(src, src_stride, dst, dst_stride, filter);
2031  } else if (0 == height % 8) {
2032  hevc_hz_4t_4x8multiple_msa(src, src_stride, dst, dst_stride,
2033  filter, height);
2034  }
2035 }
2036 
2037 static void hevc_hz_4t_6w_msa(const uint8_t *src,
2038  int32_t src_stride,
2039  int16_t *dst,
2040  int32_t dst_stride,
2041  const int8_t *filter,
2042  int32_t height)
2043 {
2044  uint32_t loop_cnt;
2045  uint64_t dst_val0, dst_val1, dst_val2, dst_val3;
2046  uint32_t dst_val_int0, dst_val_int1, dst_val_int2, dst_val_int3;
2047  v8i16 filt0, filt1, dst0, dst1, dst2, dst3;
2048  v16i8 src0, src1, src2, src3;
2049  v16i8 mask0 = LD_SB(ff_hevc_mask_arr);
2050  v16i8 mask1;
2051  v16i8 vec0, vec1;
2052  v8i16 filter_vec, const_vec;
2053 
2054  src -= 1;
2055 
2056  filter_vec = LD_SH(filter);
2057  SPLATI_H2_SH(filter_vec, 0, 1, filt0, filt1);
2058 
2059  mask1 = mask0 + 2;
2060 
2061  const_vec = __msa_ldi_h(128);
2062  const_vec <<= 6;
2063 
2064  for (loop_cnt = 2; loop_cnt--;) {
2065  LD_SB4(src, src_stride, src0, src1, src2, src3);
2066  src += (4 * src_stride);
2067 
2068  XORI_B4_128_SB(src0, src1, src2, src3);
2069 
2070  VSHF_B2_SB(src0, src0, src0, src0, mask0, mask1, vec0, vec1);
2071  dst0 = const_vec;
2072  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst0, dst0);
2073  VSHF_B2_SB(src1, src1, src1, src1, mask0, mask1, vec0, vec1);
2074  dst1 = const_vec;
2075  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst1, dst1);
2076  VSHF_B2_SB(src2, src2, src2, src2, mask0, mask1, vec0, vec1);
2077  dst2 = const_vec;
2078  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst2, dst2);
2079  VSHF_B2_SB(src3, src3, src3, src3, mask0, mask1, vec0, vec1);
2080  dst3 = const_vec;
2081  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst3, dst3);
2082 
2083  dst_val0 = __msa_copy_u_d((v2i64) dst0, 0);
2084  dst_val1 = __msa_copy_u_d((v2i64) dst1, 0);
2085  dst_val2 = __msa_copy_u_d((v2i64) dst2, 0);
2086  dst_val3 = __msa_copy_u_d((v2i64) dst3, 0);
2087 
2088  dst_val_int0 = __msa_copy_u_w((v4i32) dst0, 2);
2089  dst_val_int1 = __msa_copy_u_w((v4i32) dst1, 2);
2090  dst_val_int2 = __msa_copy_u_w((v4i32) dst2, 2);
2091  dst_val_int3 = __msa_copy_u_w((v4i32) dst3, 2);
2092 
2093  SD(dst_val0, dst);
2094  SW(dst_val_int0, dst + 4);
2095  dst += dst_stride;
2096  SD(dst_val1, dst);
2097  SW(dst_val_int1, dst + 4);
2098  dst += dst_stride;
2099  SD(dst_val2, dst);
2100  SW(dst_val_int2, dst + 4);
2101  dst += dst_stride;
2102  SD(dst_val3, dst);
2103  SW(dst_val_int3, dst + 4);
2104  dst += dst_stride;
2105  }
2106 }
2107 
2108 static void hevc_hz_4t_8x2multiple_msa(const uint8_t *src,
2109  int32_t src_stride,
2110  int16_t *dst,
2111  int32_t dst_stride,
2112  const int8_t *filter,
2113  int32_t height)
2114 {
2115  uint32_t loop_cnt;
2116  v8i16 filt0, filt1, dst0, dst1;
2117  v16i8 src0, src1;
2118  v16i8 mask0 = LD_SB(ff_hevc_mask_arr);
2119  v16i8 mask1;
2120  v16i8 vec0, vec1;
2121  v8i16 filter_vec, const_vec;
2122 
2123  src -= 1;
2124 
2125  filter_vec = LD_SH(filter);
2126  SPLATI_H2_SH(filter_vec, 0, 1, filt0, filt1);
2127 
2128  mask1 = mask0 + 2;
2129 
2130  const_vec = __msa_ldi_h(128);
2131  const_vec <<= 6;
2132 
2133  for (loop_cnt = (height >> 1); loop_cnt--;) {
2134  LD_SB2(src, src_stride, src0, src1);
2135  src += (2 * src_stride);
2136 
2137  XORI_B2_128_SB(src0, src1);
2138 
2139  VSHF_B2_SB(src0, src0, src0, src0, mask0, mask1, vec0, vec1);
2140  dst0 = const_vec;
2141  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst0, dst0);
2142 
2143  VSHF_B2_SB(src1, src1, src1, src1, mask0, mask1, vec0, vec1);
2144  dst1 = const_vec;
2145  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst1, dst1);
2146 
2147  ST_SH2(dst0, dst1, dst, dst_stride);
2148  dst += (2 * dst_stride);
2149  }
2150 }
2151 
2152 static void hevc_hz_4t_8x4multiple_msa(const uint8_t *src,
2153  int32_t src_stride,
2154  int16_t *dst,
2155  int32_t dst_stride,
2156  const int8_t *filter,
2157  int32_t height)
2158 {
2159  uint32_t loop_cnt;
2160  v8i16 filt0, filt1;
2161  v16i8 src0, src1, src2, src3;
2162  v16i8 mask0 = LD_SB(ff_hevc_mask_arr);
2163  v16i8 mask1;
2164  v16i8 vec0, vec1;
2165  v8i16 dst0, dst1, dst2, dst3;
2166  v8i16 filter_vec, const_vec;
2167 
2168  src -= 1;
2169 
2170  filter_vec = LD_SH(filter);
2171  SPLATI_H2_SH(filter_vec, 0, 1, filt0, filt1);
2172 
2173  mask1 = mask0 + 2;
2174 
2175  const_vec = __msa_ldi_h(128);
2176  const_vec <<= 6;
2177 
2178  for (loop_cnt = (height >> 2); loop_cnt--;) {
2179  LD_SB4(src, src_stride, src0, src1, src2, src3);
2180  src += (4 * src_stride);
2181 
2182  XORI_B4_128_SB(src0, src1, src2, src3);
2183 
2184  VSHF_B2_SB(src0, src0, src0, src0, mask0, mask1, vec0, vec1);
2185  dst0 = const_vec;
2186  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst0, dst0);
2187 
2188  VSHF_B2_SB(src1, src1, src1, src1, mask0, mask1, vec0, vec1);
2189  dst1 = const_vec;
2190  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst1, dst1);
2191 
2192  VSHF_B2_SB(src2, src2, src2, src2, mask0, mask1, vec0, vec1);
2193  dst2 = const_vec;
2194  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst2, dst2);
2195 
2196  VSHF_B2_SB(src3, src3, src3, src3, mask0, mask1, vec0, vec1);
2197  dst3 = const_vec;
2198  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst3, dst3);
2199 
2200  ST_SH4(dst0, dst1, dst2, dst3, dst, dst_stride);
2201  dst += (4 * dst_stride);
2202  }
2203 }
2204 
2205 static void hevc_hz_4t_8w_msa(const uint8_t *src,
2206  int32_t src_stride,
2207  int16_t *dst,
2208  int32_t dst_stride,
2209  const int8_t *filter,
2210  int32_t height)
2211 {
2212  if (2 == height || 6 == height) {
2213  hevc_hz_4t_8x2multiple_msa(src, src_stride, dst, dst_stride,
2214  filter, height);
2215  } else {
2216  hevc_hz_4t_8x4multiple_msa(src, src_stride, dst, dst_stride,
2217  filter, height);
2218  }
2219 }
2220 
2221 static void hevc_hz_4t_12w_msa(const uint8_t *src,
2222  int32_t src_stride,
2223  int16_t *dst,
2224  int32_t dst_stride,
2225  const int8_t *filter,
2226  int32_t height)
2227 {
2228  uint32_t loop_cnt;
2229  v8i16 filt0, filt1;
2230  v16i8 src0, src1, src2, src3;
2231  v16i8 mask1;
2232  v16i8 vec0, vec1;
2233  v8i16 dst0, dst1, dst2, dst3, dst4, dst5;
2234  v8i16 filter_vec, const_vec;
2235  v16i8 mask3;
2236  v16i8 mask0 = LD_SB(ff_hevc_mask_arr);
2237  v16i8 mask2 = {
2238  8, 9, 9, 10, 10, 11, 11, 12, 24, 25, 25, 26, 26, 27, 27, 28
2239  };
2240 
2241  src -= 1;
2242 
2243  filter_vec = LD_SH(filter);
2244  SPLATI_H2_SH(filter_vec, 0, 1, filt0, filt1);
2245 
2246  mask1 = mask0 + 2;
2247  mask3 = mask2 + 2;
2248 
2249  const_vec = __msa_ldi_h(128);
2250  const_vec <<= 6;
2251 
2252  for (loop_cnt = (height >> 2); loop_cnt--;) {
2253  LD_SB4(src, src_stride, src0, src1, src2, src3);
2254  src += (4 * src_stride);
2255  XORI_B4_128_SB(src0, src1, src2, src3);
2256 
2257  VSHF_B2_SB(src0, src0, src0, src0, mask0, mask1, vec0, vec1);
2258  dst0 = const_vec;
2259  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst0, dst0);
2260  VSHF_B2_SB(src1, src1, src1, src1, mask0, mask1, vec0, vec1);
2261  dst1 = const_vec;
2262  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst1, dst1);
2263  VSHF_B2_SB(src2, src2, src2, src2, mask0, mask1, vec0, vec1);
2264  dst2 = const_vec;
2265  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst2, dst2);
2266  VSHF_B2_SB(src3, src3, src3, src3, mask0, mask1, vec0, vec1);
2267  dst3 = const_vec;
2268  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst3, dst3);
2269  VSHF_B2_SB(src0, src1, src0, src1, mask2, mask3, vec0, vec1);
2270  dst4 = const_vec;
2271  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst4, dst4);
2272  VSHF_B2_SB(src2, src3, src2, src3, mask2, mask3, vec0, vec1);
2273  dst5 = const_vec;
2274  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst5, dst5);
2275 
2276  ST_SH4(dst0, dst1, dst2, dst3, dst, dst_stride);
2277  ST_D4(dst4, dst5, 0, 1, 0, 1, dst + 8, dst_stride);
2278  dst += (4 * dst_stride);
2279  }
2280 }
2281 
2282 static void hevc_hz_4t_16w_msa(const uint8_t *src,
2283  int32_t src_stride,
2284  int16_t *dst,
2285  int32_t dst_stride,
2286  const int8_t *filter,
2287  int32_t height)
2288 {
2289  uint32_t loop_cnt;
2290  v16i8 src0, src1, src2, src3;
2291  v16i8 src4, src5, src6, src7;
2292  v8i16 filt0, filt1;
2293  v16i8 mask0 = LD_SB(ff_hevc_mask_arr);
2294  v16i8 mask1;
2295  v8i16 dst0, dst1, dst2, dst3, dst4, dst5, dst6, dst7;
2296  v16i8 vec0, vec1;
2297  v8i16 filter_vec, const_vec;
2298 
2299  src -= 1;
2300 
2301  filter_vec = LD_SH(filter);
2302  SPLATI_H2_SH(filter_vec, 0, 1, filt0, filt1);
2303 
2304  mask1 = mask0 + 2;
2305 
2306  const_vec = __msa_ldi_h(128);
2307  const_vec <<= 6;
2308 
2309  for (loop_cnt = (height >> 2); loop_cnt--;) {
2310  LD_SB4(src, src_stride, src0, src2, src4, src6);
2311  LD_SB4(src + 8, src_stride, src1, src3, src5, src7);
2312  src += (4 * src_stride);
2313 
2314  XORI_B8_128_SB(src0, src1, src2, src3, src4, src5, src6, src7);
2315 
2316  VSHF_B2_SB(src0, src0, src0, src0, mask0, mask1, vec0, vec1);
2317  dst0 = const_vec;
2318  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst0, dst0);
2319 
2320  VSHF_B2_SB(src1, src1, src1, src1, mask0, mask1, vec0, vec1);
2321  dst1 = const_vec;
2322  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst1, dst1);
2323 
2324  VSHF_B2_SB(src2, src2, src2, src2, mask0, mask1, vec0, vec1);
2325  dst2 = const_vec;
2326  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst2, dst2);
2327 
2328  VSHF_B2_SB(src3, src3, src3, src3, mask0, mask1, vec0, vec1);
2329  dst3 = const_vec;
2330  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst3, dst3);
2331 
2332  VSHF_B2_SB(src4, src4, src4, src4, mask0, mask1, vec0, vec1);
2333  dst4 = const_vec;
2334  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst4, dst4);
2335 
2336  VSHF_B2_SB(src5, src5, src5, src5, mask0, mask1, vec0, vec1);
2337  dst5 = const_vec;
2338  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst5, dst5);
2339 
2340  VSHF_B2_SB(src6, src6, src6, src6, mask0, mask1, vec0, vec1);
2341  dst6 = const_vec;
2342  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst6, dst6);
2343 
2344  VSHF_B2_SB(src7, src7, src7, src7, mask0, mask1, vec0, vec1);
2345  dst7 = const_vec;
2346  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst7, dst7);
2347 
2348  ST_SH4(dst0, dst2, dst4, dst6, dst, dst_stride);
2349  ST_SH4(dst1, dst3, dst5, dst7, dst + 8, dst_stride);
2350  dst += (4 * dst_stride);
2351  }
2352 }
2353 
2354 static void hevc_hz_4t_24w_msa(const uint8_t *src,
2355  int32_t src_stride,
2356  int16_t *dst,
2357  int32_t dst_stride,
2358  const int8_t *filter,
2359  int32_t height)
2360 {
2361  uint32_t loop_cnt;
2362  int16_t *dst_tmp = dst + 16;
2363  v16i8 src0, src1, src2, src3, src4, src5, src6, src7;
2364  v8i16 filt0, filt1;
2365  v16i8 mask0 = LD_SB(ff_hevc_mask_arr);
2366  v16i8 mask1, mask00, mask11;
2367  v16i8 vec0, vec1;
2368  v8i16 dst0, dst1, dst2, dst3;
2369  v8i16 filter_vec, const_vec;
2370 
2371  src -= 1;
2372 
2373  filter_vec = LD_SH(filter);
2374  SPLATI_H2_SH(filter_vec, 0, 1, filt0, filt1);
2375 
2376  mask1 = mask0 + 2;
2377  mask00 = mask0 + 8;
2378  mask11 = mask0 + 10;
2379 
2380  const_vec = __msa_ldi_h(128);
2381  const_vec <<= 6;
2382 
2383  for (loop_cnt = (height >> 2); loop_cnt--;) {
2384  /* 16 width */
2385  LD_SB4(src, src_stride, src0, src2, src4, src6);
2386  LD_SB4(src + 16, src_stride, src1, src3, src5, src7);
2387  src += (4 * src_stride);
2388 
2389  XORI_B8_128_SB(src0, src1, src2, src3, src4, src5, src6, src7);
2390 
2391  VSHF_B2_SB(src0, src0, src0, src0, mask0, mask1, vec0, vec1);
2392  dst0 = const_vec;
2393  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst0, dst0);
2394 
2395  VSHF_B2_SB(src0, src1, src0, src1, mask00, mask11, vec0, vec1);
2396  dst1 = const_vec;
2397  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst1, dst1);
2398 
2399  VSHF_B2_SB(src2, src2, src2, src2, mask0, mask1, vec0, vec1);
2400  dst2 = const_vec;
2401  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst2, dst2);
2402 
2403  VSHF_B2_SB(src2, src3, src2, src3, mask00, mask11, vec0, vec1);
2404  dst3 = const_vec;
2405  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst3, dst3);
2406 
2407  ST_SH2(dst0, dst1, dst, 8);
2408  dst += dst_stride;
2409  ST_SH2(dst2, dst3, dst, 8);
2410  dst += dst_stride;
2411 
2412  VSHF_B2_SB(src4, src4, src4, src4, mask0, mask1, vec0, vec1);
2413  dst0 = const_vec;
2414  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst0, dst0);
2415 
2416  VSHF_B2_SB(src4, src5, src4, src5, mask00, mask11, vec0, vec1);
2417  dst1 = const_vec;
2418  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst1, dst1);
2419 
2420  VSHF_B2_SB(src6, src6, src6, src6, mask0, mask1, vec0, vec1);
2421  dst2 = const_vec;
2422  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst2, dst2);
2423 
2424  VSHF_B2_SB(src6, src7, src6, src7, mask00, mask11, vec0, vec1);
2425  dst3 = const_vec;
2426  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst3, dst3);
2427 
2428  ST_SH2(dst0, dst1, dst, 8);
2429  dst += dst_stride;
2430  ST_SH2(dst2, dst3, dst, 8);
2431  dst += dst_stride;
2432 
2433  /* 8 width */
2434  VSHF_B2_SB(src1, src1, src1, src1, mask0, mask1, vec0, vec1);
2435  dst0 = const_vec;
2436  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst0, dst0);
2437 
2438  VSHF_B2_SB(src3, src3, src3, src3, mask0, mask1, vec0, vec1);
2439  dst1 = const_vec;
2440  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst1, dst1);
2441 
2442  VSHF_B2_SB(src5, src5, src5, src5, mask0, mask1, vec0, vec1);
2443  dst2 = const_vec;
2444  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst2, dst2);
2445 
2446  VSHF_B2_SB(src7, src7, src7, src7, mask0, mask1, vec0, vec1);
2447  dst3 = const_vec;
2448  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst3, dst3);
2449 
2450  ST_SH4(dst0, dst1, dst2, dst3, dst_tmp, dst_stride);
2451  dst_tmp += (4 * dst_stride);
2452  }
2453 }
2454 
2455 static void hevc_hz_4t_32w_msa(const uint8_t *src,
2456  int32_t src_stride,
2457  int16_t *dst,
2458  int32_t dst_stride,
2459  const int8_t *filter,
2460  int32_t height)
2461 {
2462  uint32_t loop_cnt;
2463  v16i8 src0, src1, src2;
2464  v8i16 filt0, filt1;
2465  v16i8 mask0 = LD_SB(ff_hevc_mask_arr);
2466  v16i8 mask1, mask2, mask3;
2467  v8i16 dst0, dst1, dst2, dst3;
2468  v16i8 vec0, vec1, vec2, vec3;
2469  v8i16 filter_vec, const_vec;
2470 
2471  src -= 1;
2472 
2473  filter_vec = LD_SH(filter);
2474  SPLATI_H2_SH(filter_vec, 0, 1, filt0, filt1);
2475 
2476  const_vec = __msa_ldi_h(128);
2477  const_vec <<= 6;
2478 
2479  mask1 = mask0 + 2;
2480  mask2 = mask0 + 8;
2481  mask3 = mask0 + 10;
2482 
2483  for (loop_cnt = height; loop_cnt--;) {
2484  LD_SB2(src, 16, src0, src1);
2485  src2 = LD_SB(src + 24);
2486  src += src_stride;
2487 
2488  XORI_B3_128_SB(src0, src1, src2);
2489 
2490  dst0 = const_vec;
2491  dst1 = const_vec;
2492  dst2 = const_vec;
2493  dst3 = const_vec;
2494  VSHF_B2_SB(src0, src0, src0, src1, mask0, mask2, vec0, vec1);
2495  VSHF_B2_SB(src1, src1, src2, src2, mask0, mask0, vec2, vec3);
2496  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt0, filt0, filt0, filt0, dst0,
2497  dst1, dst2, dst3);
2498  VSHF_B2_SB(src0, src0, src0, src1, mask1, mask3, vec0, vec1);
2499  VSHF_B2_SB(src1, src1, src2, src2, mask1, mask1, vec2, vec3);
2500  DPADD_SB4_SH(vec0, vec1, vec2, vec3, filt1, filt1, filt1, filt1, dst0,
2501  dst1, dst2, dst3);
2502  ST_SH4(dst0, dst1, dst2, dst3, dst, 8);
2503  dst += dst_stride;
2504  }
2505 }
2506 
2507 static void hevc_vt_4t_4x2_msa(const uint8_t *src,
2508  int32_t src_stride,
2509  int16_t *dst,
2510  int32_t dst_stride,
2511  const int8_t *filter)
2512 {
2513  v16i8 src0, src1, src2, src3, src4;
2514  v16i8 src10_r, src32_r, src21_r, src43_r;
2515  v16i8 src2110, src4332;
2516  v8i16 dst10;
2517  v8i16 filt0, filt1;
2518  v8i16 filter_vec, const_vec;
2519 
2520  src -= src_stride;
2521 
2522  const_vec = __msa_ldi_h(128);
2523  const_vec <<= 6;
2524 
2525  filter_vec = LD_SH(filter);
2526  SPLATI_H2_SH(filter_vec, 0, 1, filt0, filt1);
2527 
2528  LD_SB5(src, src_stride, src0, src1, src2, src3, src4);
2529  ILVR_B4_SB(src1, src0, src2, src1, src3, src2, src4, src3,
2530  src10_r, src21_r, src32_r, src43_r);
2531 
2532  ILVR_D2_SB(src21_r, src10_r, src43_r, src32_r, src2110, src4332);
2533  XORI_B2_128_SB(src2110, src4332);
2534  dst10 = const_vec;
2535  DPADD_SB2_SH(src2110, src4332, filt0, filt1, dst10, dst10);
2536 
2537  ST_D2(dst10, 0, 1, dst, dst_stride);
2538 }
2539 
2540 static void hevc_vt_4t_4x4_msa(const uint8_t *src,
2541  int32_t src_stride,
2542  int16_t *dst,
2543  int32_t dst_stride,
2544  const int8_t *filter,
2545  int32_t height)
2546 {
2547  v16i8 src0, src1, src2, src3, src4, src5, src6;
2548  v16i8 src10_r, src32_r, src54_r, src21_r, src43_r, src65_r;
2549  v16i8 src2110, src4332, src6554;
2550  v8i16 dst10, dst32;
2551  v8i16 filt0, filt1;
2552  v8i16 filter_vec, const_vec;
2553 
2554  src -= src_stride;
2555 
2556  const_vec = __msa_ldi_h(128);
2557  const_vec <<= 6;
2558 
2559  filter_vec = LD_SH(filter);
2560  SPLATI_H2_SH(filter_vec, 0, 1, filt0, filt1);
2561 
2562  LD_SB7(src, src_stride, src0, src1, src2, src3, src4, src5, src6);
2563  ILVR_B4_SB(src1, src0, src2, src1, src3, src2, src4, src3,
2564  src10_r, src21_r, src32_r, src43_r);
2565  ILVR_B2_SB(src5, src4, src6, src5, src54_r, src65_r);
2566  ILVR_D3_SB(src21_r, src10_r, src43_r, src32_r, src65_r, src54_r,
2567  src2110, src4332, src6554);
2568  XORI_B3_128_SB(src2110, src4332, src6554);
2569  dst10 = const_vec;
2570  DPADD_SB2_SH(src2110, src4332, filt0, filt1, dst10, dst10);
2571  dst32 = const_vec;
2572  DPADD_SB2_SH(src4332, src6554, filt0, filt1, dst32, dst32);
2573 
2574  ST_D4(dst10, dst32, 0, 1, 0, 1, dst, dst_stride);
2575 }
2576 
2577 static void hevc_vt_4t_4x8_msa(const uint8_t *src,
2578  int32_t src_stride,
2579  int16_t *dst,
2580  int32_t dst_stride,
2581  const int8_t *filter,
2582  int32_t height)
2583 {
2584  v16i8 src0, src1, src2, src3, src4, src5, src6, src7, src8, src9, src10;
2585  v16i8 src10_r, src32_r, src54_r, src76_r, src98_r;
2586  v16i8 src21_r, src43_r, src65_r, src87_r, src109_r;
2587  v16i8 src2110, src4332, src6554, src8776, src10998;
2588  v8i16 dst10, dst32, dst54, dst76;
2589  v8i16 filt0, filt1;
2590  v8i16 filter_vec, const_vec;
2591 
2592  src -= src_stride;
2593  const_vec = __msa_ldi_h(128);
2594  const_vec <<= 6;
2595 
2596  filter_vec = LD_SH(filter);
2597  SPLATI_H2_SH(filter_vec, 0, 1, filt0, filt1);
2598 
2599  LD_SB3(src, src_stride, src0, src1, src2);
2600  src += (3 * src_stride);
2601 
2602  ILVR_B2_SB(src1, src0, src2, src1, src10_r, src21_r);
2603  src2110 = (v16i8) __msa_ilvr_d((v2i64) src21_r, (v2i64) src10_r);
2604  src2110 = (v16i8) __msa_xori_b((v16u8) src2110, 128);
2605 
2606  LD_SB8(src, src_stride, src3, src4, src5, src6, src7, src8, src9, src10);
2607  src += (8 * src_stride);
2608  ILVR_B4_SB(src3, src2, src4, src3, src5, src4, src6, src5,
2609  src32_r, src43_r, src54_r, src65_r);
2610  ILVR_B4_SB(src7, src6, src8, src7, src9, src8, src10, src9,
2611  src76_r, src87_r, src98_r, src109_r);
2612  ILVR_D4_SB(src43_r, src32_r, src65_r, src54_r, src87_r, src76_r, src109_r,
2613  src98_r, src4332, src6554, src8776, src10998);
2614  XORI_B4_128_SB(src4332, src6554, src8776, src10998);
2615  dst10 = const_vec;
2616  dst32 = const_vec;
2617  dst54 = const_vec;
2618  dst76 = const_vec;
2619  DPADD_SB2_SH(src2110, src4332, filt0, filt1, dst10, dst10);
2620  DPADD_SB2_SH(src4332, src6554, filt0, filt1, dst32, dst32);
2621  DPADD_SB2_SH(src6554, src8776, filt0, filt1, dst54, dst54);
2622  DPADD_SB2_SH(src8776, src10998, filt0, filt1, dst76, dst76);
2623  ST_D8(dst10, dst32, dst54, dst76, 0, 1, 0, 1, 0, 1, 0, 1, dst, dst_stride);
2624 }
2625 
2626 static void hevc_vt_4t_4x16_msa(const uint8_t *src, int32_t src_stride,
2627  int16_t *dst, int32_t dst_stride,
2628  const int8_t *filter, int32_t height)
2629 {
2630  v16i8 src0, src1, src2, src3, src4, src5, src6, src7, src8, src9, src10;
2631  v16i8 src10_r, src32_r, src54_r, src76_r, src98_r, src21_r, src43_r;
2632  v16i8 src65_r, src87_r, src109_r, src2110, src4332, src6554, src8776;
2633  v16i8 src10998;
2634  v8i16 dst10, dst32, dst54, dst76, filt0, filt1, filter_vec, const_vec;
2635 
2636  src -= src_stride;
2637  const_vec = __msa_ldi_h(128);
2638  const_vec <<= 6;
2639 
2640  filter_vec = LD_SH(filter);
2641  SPLATI_H2_SH(filter_vec, 0, 1, filt0, filt1);
2642 
2643  LD_SB3(src, src_stride, src0, src1, src2);
2644  src += (3 * src_stride);
2645 
2646  ILVR_B2_SB(src1, src0, src2, src1, src10_r, src21_r);
2647  src2110 = (v16i8) __msa_ilvr_d((v2i64) src21_r, (v2i64) src10_r);
2648  src2110 = (v16i8) __msa_xori_b((v16u8) src2110, 128);
2649 
2650  LD_SB8(src, src_stride, src3, src4, src5, src6, src7, src8, src9, src10);
2651  src += (8 * src_stride);
2652  ILVR_B4_SB(src3, src2, src4, src3, src5, src4, src6, src5, src32_r, src43_r,
2653  src54_r, src65_r);
2654  ILVR_B4_SB(src7, src6, src8, src7, src9, src8, src10, src9, src76_r,
2655  src87_r, src98_r, src109_r);
2656  ILVR_D4_SB(src43_r, src32_r, src65_r, src54_r, src87_r, src76_r, src109_r,
2657  src98_r, src4332, src6554, src8776, src10998);
2658  XORI_B4_128_SB(src4332, src6554, src8776, src10998);
2659 
2660  dst10 = const_vec;
2661  dst32 = const_vec;
2662  dst54 = const_vec;
2663  dst76 = const_vec;
2664  DPADD_SB2_SH(src2110, src4332, filt0, filt1, dst10, dst10);
2665  DPADD_SB2_SH(src4332, src6554, filt0, filt1, dst32, dst32);
2666  DPADD_SB2_SH(src6554, src8776, filt0, filt1, dst54, dst54);
2667  DPADD_SB2_SH(src8776, src10998, filt0, filt1, dst76, dst76);
2668  ST_D8(dst10, dst32, dst54, dst76, 0, 1, 0, 1, 0, 1, 0, 1, dst, dst_stride);
2669  dst += (8 * dst_stride);
2670 
2671  src2 = src10;
2672  src2110 = src10998;
2673 
2674  LD_SB8(src, src_stride, src3, src4, src5, src6, src7, src8, src9, src10);
2675  src += (8 * src_stride);
2676 
2677  ILVR_B4_SB(src3, src2, src4, src3, src5, src4, src6, src5, src32_r, src43_r,
2678  src54_r, src65_r);
2679  ILVR_B4_SB(src7, src6, src8, src7, src9, src8, src10, src9, src76_r,
2680  src87_r, src98_r, src109_r);
2681  ILVR_D4_SB(src43_r, src32_r, src65_r, src54_r, src87_r, src76_r, src109_r,
2682  src98_r, src4332, src6554, src8776, src10998);
2683  XORI_B4_128_SB(src4332, src6554, src8776, src10998);
2684 
2685  dst10 = const_vec;
2686  dst32 = const_vec;
2687  dst54 = const_vec;
2688  dst76 = const_vec;
2689  DPADD_SB2_SH(src2110, src4332, filt0, filt1, dst10, dst10);
2690  DPADD_SB2_SH(src4332, src6554, filt0, filt1, dst32, dst32);
2691  DPADD_SB2_SH(src6554, src8776, filt0, filt1, dst54, dst54);
2692  DPADD_SB2_SH(src8776, src10998, filt0, filt1, dst76, dst76);
2693  ST_D8(dst10, dst32, dst54, dst76, 0, 1, 0, 1, 0, 1, 0, 1, dst, dst_stride);
2694 }
2695 
2696 static void hevc_vt_4t_4w_msa(const uint8_t *src,
2697  int32_t src_stride,
2698  int16_t *dst,
2699  int32_t dst_stride,
2700  const int8_t *filter,
2701  int32_t height)
2702 {
2703  if (2 == height) {
2704  hevc_vt_4t_4x2_msa(src, src_stride, dst, dst_stride, filter);
2705  } else if (4 == height) {
2706  hevc_vt_4t_4x4_msa(src, src_stride, dst, dst_stride, filter, height);
2707  } else if (8 == height) {
2708  hevc_vt_4t_4x8_msa(src, src_stride, dst, dst_stride, filter, height);
2709  } else if (16 == height) {
2710  hevc_vt_4t_4x16_msa(src, src_stride, dst, dst_stride, filter, height);
2711  }
2712 }
2713 
2714 static void hevc_vt_4t_6w_msa(const uint8_t *src,
2715  int32_t src_stride,
2716  int16_t *dst,
2717  int32_t dst_stride,
2718  const int8_t *filter,
2719  int32_t height)
2720 {
2721  int32_t loop_cnt;
2722  int32_t res = height & 0x03;
2723  uint32_t dst_val_int0, dst_val_int1, dst_val_int2, dst_val_int3;
2724  uint64_t dst_val0, dst_val1, dst_val2, dst_val3;
2725  v16i8 src0, src1, src2, src3, src4;
2726  v16i8 src10_r, src32_r, src21_r, src43_r;
2727  v8i16 dst0_r, dst1_r, dst2_r, dst3_r;
2728  v8i16 filt0, filt1;
2729  v8i16 filter_vec, const_vec;
2730 
2731  src -= src_stride;
2732  const_vec = __msa_ldi_h(128);
2733  const_vec <<= 6;
2734 
2735  filter_vec = LD_SH(filter);
2736  SPLATI_H2_SH(filter_vec, 0, 1, filt0, filt1);
2737 
2738  LD_SB3(src, src_stride, src0, src1, src2);
2739  src += (3 * src_stride);
2740  XORI_B3_128_SB(src0, src1, src2);
2741  ILVR_B2_SB(src1, src0, src2, src1, src10_r, src21_r);
2742 
2743  for (loop_cnt = (height >> 2); loop_cnt--;) {
2744  LD_SB2(src, src_stride, src3, src4);
2745  src += (2 * src_stride);
2746  XORI_B2_128_SB(src3, src4);
2747  ILVR_B2_SB(src3, src2, src4, src3, src32_r, src43_r);
2748 
2749  dst0_r = const_vec;
2750  DPADD_SB2_SH(src10_r, src32_r, filt0, filt1, dst0_r, dst0_r);
2751  dst1_r = const_vec;
2752  DPADD_SB2_SH(src21_r, src43_r, filt0, filt1, dst1_r, dst1_r);
2753 
2754  LD_SB2(src, src_stride, src1, src2);
2755  src += (2 * src_stride);
2756  XORI_B2_128_SB(src1, src2);
2757  ILVR_B2_SB(src1, src4, src2, src1, src10_r, src21_r);
2758 
2759  dst2_r = const_vec;
2760  DPADD_SB2_SH(src32_r, src10_r, filt0, filt1, dst2_r, dst2_r);
2761  dst3_r = const_vec;
2762  DPADD_SB2_SH(src43_r, src21_r, filt0, filt1, dst3_r, dst3_r);
2763 
2764  dst_val0 = __msa_copy_u_d((v2i64) dst0_r, 0);
2765  dst_val1 = __msa_copy_u_d((v2i64) dst1_r, 0);
2766  dst_val2 = __msa_copy_u_d((v2i64) dst2_r, 0);
2767  dst_val3 = __msa_copy_u_d((v2i64) dst3_r, 0);
2768 
2769  dst_val_int0 = __msa_copy_u_w((v4i32) dst0_r, 2);
2770  dst_val_int1 = __msa_copy_u_w((v4i32) dst1_r, 2);
2771  dst_val_int2 = __msa_copy_u_w((v4i32) dst2_r, 2);
2772  dst_val_int3 = __msa_copy_u_w((v4i32) dst3_r, 2);
2773 
2774  SD(dst_val0, dst);
2775  SW(dst_val_int0, dst + 4);
2776  dst += dst_stride;
2777  SD(dst_val1, dst);
2778  SW(dst_val_int1, dst + 4);
2779  dst += dst_stride;
2780  SD(dst_val2, dst);
2781  SW(dst_val_int2, dst + 4);
2782  dst += dst_stride;
2783  SD(dst_val3, dst);
2784  SW(dst_val_int3, dst + 4);
2785  dst += dst_stride;
2786  }
2787  if (res) {
2788  LD_SB2(src, src_stride, src3, src4);
2789  XORI_B2_128_SB(src3, src4);
2790  ILVR_B2_SB(src3, src2, src4, src3, src32_r, src43_r);
2791 
2792  dst0_r = const_vec;
2793  DPADD_SB2_SH(src10_r, src32_r, filt0, filt1, dst0_r, dst0_r);
2794  dst1_r = const_vec;
2795  DPADD_SB2_SH(src21_r, src43_r, filt0, filt1, dst1_r, dst1_r);
2796 
2797  dst_val0 = __msa_copy_u_d((v2i64) dst0_r, 0);
2798  dst_val1 = __msa_copy_u_d((v2i64) dst1_r, 0);
2799 
2800  dst_val_int0 = __msa_copy_u_w((v4i32) dst0_r, 2);
2801  dst_val_int1 = __msa_copy_u_w((v4i32) dst1_r, 2);
2802 
2803  SD(dst_val0, dst);
2804  SW(dst_val_int0, dst + 4);
2805  dst += dst_stride;
2806  SD(dst_val1, dst);
2807  SW(dst_val_int1, dst + 4);
2808  dst += dst_stride;
2809  }
2810 }
2811 
2812 static void hevc_vt_4t_8x2_msa(const uint8_t *src,
2813  int32_t src_stride,
2814  int16_t *dst,
2815  int32_t dst_stride,
2816  const int8_t *filter)
2817 {
2818  v16i8 src0, src1, src2, src3, src4;
2819  v16i8 src10_r, src32_r, src21_r, src43_r;
2820  v8i16 dst0_r, dst1_r;
2821  v8i16 filt0, filt1;
2822  v8i16 filter_vec, const_vec;
2823 
2824  src -= src_stride;
2825  const_vec = __msa_ldi_h(128);
2826  const_vec <<= 6;
2827 
2828  filter_vec = LD_SH(filter);
2829  SPLATI_H2_SH(filter_vec, 0, 1, filt0, filt1);
2830 
2831  LD_SB3(src, src_stride, src0, src1, src2);
2832  src += (3 * src_stride);
2833  XORI_B3_128_SB(src0, src1, src2);
2834  ILVR_B2_SB(src1, src0, src2, src1, src10_r, src21_r);
2835 
2836  LD_SB2(src, src_stride, src3, src4);
2837  XORI_B2_128_SB(src3, src4);
2838  ILVR_B2_SB(src3, src2, src4, src3, src32_r, src43_r);
2839  dst0_r = const_vec;
2840  DPADD_SB2_SH(src10_r, src32_r, filt0, filt1, dst0_r, dst0_r);
2841  dst1_r = const_vec;
2842  DPADD_SB2_SH(src21_r, src43_r, filt0, filt1, dst1_r, dst1_r);
2843 
2844  ST_SH2(dst0_r, dst1_r, dst, dst_stride);
2845 }
2846 
2847 static void hevc_vt_4t_8x6_msa(const uint8_t *src,
2848  int32_t src_stride,
2849  int16_t *dst,
2850  int32_t dst_stride,
2851  const int8_t *filter)
2852 {
2853  v16i8 src0, src1, src2, src3, src4;
2854  v16i8 src10_r, src32_r, src21_r, src43_r;
2855  v8i16 dst0_r, dst1_r;
2856  v8i16 filt0, filt1;
2857  v8i16 filter_vec, const_vec;
2858 
2859  src -= src_stride;
2860  const_vec = __msa_ldi_h(128);
2861  const_vec <<= 6;
2862 
2863  filter_vec = LD_SH(filter);
2864  SPLATI_H2_SH(filter_vec, 0, 1, filt0, filt1);
2865 
2866  LD_SB3(src, src_stride, src0, src1, src2);
2867  src += (3 * src_stride);
2868  XORI_B3_128_SB(src0, src1, src2);
2869  ILVR_B2_SB(src1, src0, src2, src1, src10_r, src21_r);
2870 
2871  LD_SB2(src, src_stride, src3, src4);
2872  src += (2 * src_stride);
2873  XORI_B2_128_SB(src3, src4);
2874 
2875  ILVR_B2_SB(src3, src2, src4, src3, src32_r, src43_r);
2876  dst0_r = const_vec;
2877  DPADD_SB2_SH(src10_r, src32_r, filt0, filt1, dst0_r, dst0_r);
2878  dst1_r = const_vec;
2879  DPADD_SB2_SH(src21_r, src43_r, filt0, filt1, dst1_r, dst1_r);
2880 
2881  ST_SH2(dst0_r, dst1_r, dst, dst_stride);
2882  dst += (2 * dst_stride);
2883 
2884  LD_SB2(src, src_stride, src1, src2);
2885  src += (2 * src_stride);
2886  XORI_B2_128_SB(src1, src2);
2887 
2888  ILVR_B2_SB(src1, src4, src2, src1, src10_r, src21_r);
2889  dst0_r = const_vec;
2890  DPADD_SB2_SH(src32_r, src10_r, filt0, filt1, dst0_r, dst0_r);
2891  dst1_r = const_vec;
2892  DPADD_SB2_SH(src43_r, src21_r, filt0, filt1, dst1_r, dst1_r);
2893 
2894  ST_SH2(dst0_r, dst1_r, dst, dst_stride);
2895  dst += (2 * dst_stride);
2896 
2897  LD_SB2(src, src_stride, src3, src4);
2898  XORI_B2_128_SB(src3, src4);
2899 
2900  ILVR_B2_SB(src3, src2, src4, src3, src32_r, src43_r);
2901  dst0_r = const_vec;
2902  DPADD_SB2_SH(src10_r, src32_r, filt0, filt1, dst0_r, dst0_r);
2903  dst1_r = const_vec;
2904  DPADD_SB2_SH(src21_r, src43_r, filt0, filt1, dst1_r, dst1_r);
2905 
2906  ST_SH2(dst0_r, dst1_r, dst, dst_stride);
2907 }
2908 
2909 static void hevc_vt_4t_8x4multiple_msa(const uint8_t *src,
2910  int32_t src_stride,
2911  int16_t *dst,
2912  int32_t dst_stride,
2913  const int8_t *filter,
2914  int32_t height)
2915 {
2916  int32_t loop_cnt;
2917  v16i8 src0, src1, src2, src3, src4, src5, src6;
2918  v16i8 src10_r, src32_r, src21_r, src43_r, src54_r, src65_r;
2919  v8i16 dst0_r, dst1_r, dst2_r, dst3_r;
2920  v8i16 filt0, filt1;
2921  v8i16 filter_vec, const_vec;
2922 
2923  src -= src_stride;
2924  const_vec = __msa_ldi_h(128);
2925  const_vec <<= 6;
2926 
2927  filter_vec = LD_SH(filter);
2928  SPLATI_H2_SH(filter_vec, 0, 1, filt0, filt1);
2929 
2930  LD_SB3(src, src_stride, src0, src1, src2);
2931  src += (3 * src_stride);
2932  XORI_B3_128_SB(src0, src1, src2);
2933  ILVR_B2_SB(src1, src0, src2, src1, src10_r, src21_r);
2934 
2935  for (loop_cnt = (height >> 2); loop_cnt--;) {
2936  LD_SB4(src, src_stride, src3, src4, src5, src6);
2937  src += (4 * src_stride);
2938  XORI_B4_128_SB(src3, src4, src5, src6);
2939  ILVR_B2_SB(src3, src2, src4, src3, src32_r, src43_r);
2940  ILVR_B2_SB(src5, src4, src6, src5, src54_r, src65_r);
2941  dst0_r = const_vec;
2942  dst1_r = const_vec;
2943  dst2_r = const_vec;
2944  dst3_r = const_vec;
2945  DPADD_SB2_SH(src10_r, src32_r, filt0, filt1, dst0_r, dst0_r);
2946  DPADD_SB2_SH(src21_r, src43_r, filt0, filt1, dst1_r, dst1_r);
2947  DPADD_SB2_SH(src32_r, src54_r, filt0, filt1, dst2_r, dst2_r);
2948  DPADD_SB2_SH(src43_r, src65_r, filt0, filt1, dst3_r, dst3_r);
2949  ST_SH4(dst0_r, dst1_r, dst2_r, dst3_r, dst, dst_stride);
2950  dst += (4 * dst_stride);
2951 
2952  src2 = src6;
2953  src10_r = src54_r;
2954  src21_r = src65_r;
2955  }
2956 }
2957 
2958 static void hevc_vt_4t_8w_msa(const uint8_t *src,
2959  int32_t src_stride,
2960  int16_t *dst,
2961  int32_t dst_stride,
2962  const int8_t *filter,
2963  int32_t height)
2964 {
2965  if (2 == height) {
2966  hevc_vt_4t_8x2_msa(src, src_stride, dst, dst_stride, filter);
2967  } else if (6 == height) {
2968  hevc_vt_4t_8x6_msa(src, src_stride, dst, dst_stride, filter);
2969  } else {
2970  hevc_vt_4t_8x4multiple_msa(src, src_stride, dst, dst_stride,
2971  filter, height);
2972  }
2973 }
2974 
2975 static void hevc_vt_4t_12w_msa(const uint8_t *src,
2976  int32_t src_stride,
2977  int16_t *dst,
2978  int32_t dst_stride,
2979  const int8_t *filter,
2980  int32_t height)
2981 {
2982  int32_t loop_cnt;
2983  v16i8 src0, src1, src2, src3, src4, src5, src6;
2984  v16i8 src10_r, src32_r, src21_r, src43_r;
2985  v8i16 dst0_r, dst1_r, dst2_r, dst3_r;
2986  v16i8 src10_l, src32_l, src54_l, src21_l, src43_l, src65_l;
2987  v16i8 src2110, src4332;
2988  v16i8 src54_r, src65_r, src6554;
2989  v8i16 dst0_l, dst1_l;
2990  v8i16 filt0, filt1;
2991  v8i16 filter_vec, const_vec;
2992 
2993  src -= (1 * src_stride);
2994  const_vec = __msa_ldi_h(128);
2995  const_vec <<= 6;
2996 
2997  filter_vec = LD_SH(filter);
2998  SPLATI_H2_SH(filter_vec, 0, 1, filt0, filt1);
2999 
3000  LD_SB3(src, src_stride, src0, src1, src2);
3001  src += (3 * src_stride);
3002  XORI_B3_128_SB(src0, src1, src2);
3003  ILVR_B2_SB(src1, src0, src2, src1, src10_r, src21_r);
3004  ILVL_B2_SB(src1, src0, src2, src1, src10_l, src21_l);
3005  src2110 = (v16i8) __msa_ilvr_d((v2i64) src21_l, (v2i64) src10_l);
3006 
3007  for (loop_cnt = 4; loop_cnt--;) {
3008  LD_SB2(src, src_stride, src3, src4);
3009  src += (2 * src_stride);
3010  LD_SB2(src, src_stride, src5, src6);
3011  src += (2 * src_stride);
3012  XORI_B2_128_SB(src3, src4);
3013  XORI_B2_128_SB(src5, src6);
3014 
3015  ILVR_B2_SB(src3, src2, src4, src3, src32_r, src43_r);
3016  ILVL_B2_SB(src3, src2, src4, src3, src32_l, src43_l);
3017  src4332 = (v16i8) __msa_ilvr_d((v2i64) src43_l, (v2i64) src32_l);
3018  ILVR_B2_SB(src5, src4, src6, src5, src54_r, src65_r);
3019  ILVL_B2_SB(src5, src4, src6, src5, src54_l, src65_l);
3020  src6554 = (v16i8) __msa_ilvr_d((v2i64) src65_l, (v2i64) src54_l);
3021 
3022  dst0_r = const_vec;
3023  DPADD_SB2_SH(src10_r, src32_r, filt0, filt1, dst0_r, dst0_r);
3024  dst1_r = const_vec;
3025  DPADD_SB2_SH(src21_r, src43_r, filt0, filt1, dst1_r, dst1_r);
3026  dst2_r = const_vec;
3027  DPADD_SB2_SH(src32_r, src54_r, filt0, filt1, dst2_r, dst2_r);
3028  dst3_r = const_vec;
3029  DPADD_SB2_SH(src43_r, src65_r, filt0, filt1, dst3_r, dst3_r);
3030  dst0_l = const_vec;
3031  DPADD_SB2_SH(src2110, src4332, filt0, filt1, dst0_l, dst0_l);
3032  dst1_l = const_vec;
3033  DPADD_SB2_SH(src4332, src6554, filt0, filt1, dst1_l, dst1_l);
3034 
3035  ST_SH4(dst0_r, dst1_r, dst2_r, dst3_r, dst, dst_stride);
3036  ST_D4(dst0_l, dst1_l, 0, 1, 0, 1, dst + 8, dst_stride);
3037  dst += (4 * dst_stride);
3038 
3039  src2 = src6;
3040  src10_r = src54_r;
3041  src21_r = src65_r;
3042  src2110 = src6554;
3043  }
3044 }
3045 
3046 static void hevc_vt_4t_16w_msa(const uint8_t *src,
3047  int32_t src_stride,
3048  int16_t *dst,
3049  int32_t dst_stride,
3050  const int8_t *filter,
3051  int32_t height)
3052 {
3053  int32_t loop_cnt;
3054  v16i8 src0, src1, src2, src3, src4, src5;
3055  v16i8 src10_r, src32_r, src21_r, src43_r;
3056  v16i8 src10_l, src32_l, src21_l, src43_l;
3057  v8i16 dst0_r, dst1_r, dst0_l, dst1_l;
3058  v8i16 filt0, filt1;
3059  v8i16 filter_vec, const_vec;
3060 
3061  src -= src_stride;
3062  const_vec = __msa_ldi_h(128);
3063  const_vec <<= 6;
3064 
3065  filter_vec = LD_SH(filter);
3066  SPLATI_H2_SH(filter_vec, 0, 1, filt0, filt1);
3067 
3068  LD_SB3(src, src_stride, src0, src1, src2);
3069  src += (3 * src_stride);
3070  XORI_B3_128_SB(src0, src1, src2);
3071  ILVR_B2_SB(src1, src0, src2, src1, src10_r, src21_r);
3072  ILVL_B2_SB(src1, src0, src2, src1, src10_l, src21_l);
3073 
3074  for (loop_cnt = (height >> 2); loop_cnt--;) {
3075  LD_SB2(src, src_stride, src3, src4);
3076  src += (2 * src_stride);
3077  XORI_B2_128_SB(src3, src4);
3078  ILVR_B2_SB(src3, src2, src4, src3, src32_r, src43_r);
3079  ILVL_B2_SB(src3, src2, src4, src3, src32_l, src43_l);
3080  dst0_r = const_vec;
3081  DPADD_SB2_SH(src10_r, src32_r, filt0, filt1, dst0_r, dst0_r);
3082  dst0_l = const_vec;
3083  DPADD_SB2_SH(src10_l, src32_l, filt0, filt1, dst0_l, dst0_l);
3084  dst1_r = const_vec;
3085  DPADD_SB2_SH(src21_r, src43_r, filt0, filt1, dst1_r, dst1_r);
3086  dst1_l = const_vec;
3087  DPADD_SB2_SH(src21_l, src43_l, filt0, filt1, dst1_l, dst1_l);
3088  ST_SH2(dst0_r, dst0_l, dst, 8);
3089  dst += dst_stride;
3090  ST_SH2(dst1_r, dst1_l, dst, 8);
3091  dst += dst_stride;
3092 
3093  LD_SB2(src, src_stride, src5, src2);
3094  src += (2 * src_stride);
3095  XORI_B2_128_SB(src5, src2);
3096  ILVR_B2_SB(src5, src4, src2, src5, src10_r, src21_r);
3097  ILVL_B2_SB(src5, src4, src2, src5, src10_l, src21_l);
3098  dst0_r = const_vec;
3099  DPADD_SB2_SH(src32_r, src10_r, filt0, filt1, dst0_r, dst0_r);
3100  dst0_l = const_vec;
3101  DPADD_SB2_SH(src32_l, src10_l, filt0, filt1, dst0_l, dst0_l);
3102  dst1_r = const_vec;
3103  DPADD_SB2_SH(src43_r, src21_r, filt0, filt1, dst1_r, dst1_r);
3104  dst1_l = const_vec;
3105  DPADD_SB2_SH(src43_l, src21_l, filt0, filt1, dst1_l, dst1_l);
3106  ST_SH2(dst0_r, dst0_l, dst, 8);
3107  dst += dst_stride;
3108  ST_SH2(dst1_r, dst1_l, dst, 8);
3109  dst += dst_stride;
3110  }
3111 }
3112 
3113 static void hevc_vt_4t_24w_msa(const uint8_t *src,
3114  int32_t src_stride,
3115  int16_t *dst,
3116  int32_t dst_stride,
3117  const int8_t *filter,
3118  int32_t height)
3119 {
3120  int32_t loop_cnt;
3121  v16i8 src0, src1, src2, src3, src4, src5;
3122  v16i8 src6, src7, src8, src9, src10, src11;
3123  v16i8 src10_r, src32_r, src76_r, src98_r;
3124  v16i8 src21_r, src43_r, src87_r, src109_r;
3125  v8i16 dst0_r, dst1_r, dst2_r, dst3_r;
3126  v16i8 src10_l, src32_l, src21_l, src43_l;
3127  v8i16 dst0_l, dst1_l;
3128  v8i16 filt0, filt1;
3129  v8i16 filter_vec, const_vec;
3130 
3131  src -= src_stride;
3132  const_vec = __msa_ldi_h(128);
3133  const_vec <<= 6;
3134 
3135  filter_vec = LD_SH(filter);
3136  SPLATI_H2_SH(filter_vec, 0, 1, filt0, filt1);
3137 
3138  LD_SB3(src, src_stride, src0, src1, src2);
3139  XORI_B3_128_SB(src0, src1, src2);
3140  ILVR_B2_SB(src1, src0, src2, src1, src10_r, src21_r);
3141  ILVL_B2_SB(src1, src0, src2, src1, src10_l, src21_l);
3142 
3143  LD_SB3(src + 16, src_stride, src6, src7, src8);
3144  src += (3 * src_stride);
3145  XORI_B3_128_SB(src6, src7, src8);
3146  ILVR_B2_SB(src7, src6, src8, src7, src76_r, src87_r);
3147 
3148  for (loop_cnt = (height >> 2); loop_cnt--;) {
3149  LD_SB2(src, src_stride, src3, src4);
3150  XORI_B2_128_SB(src3, src4);
3151  ILVR_B2_SB(src3, src2, src4, src3, src32_r, src43_r);
3152  ILVL_B2_SB(src3, src2, src4, src3, src32_l, src43_l);
3153 
3154  LD_SB2(src + 16, src_stride, src9, src10);
3155  src += (2 * src_stride);
3156  XORI_B2_128_SB(src9, src10);
3157  ILVR_B2_SB(src9, src8, src10, src9, src98_r, src109_r);
3158 
3159  dst0_r = const_vec;
3160  DPADD_SB2_SH(src10_r, src32_r, filt0, filt1, dst0_r, dst0_r);
3161  dst0_l = const_vec;
3162  DPADD_SB2_SH(src10_l, src32_l, filt0, filt1, dst0_l, dst0_l);
3163  dst1_r = const_vec;
3164  DPADD_SB2_SH(src21_r, src43_r, filt0, filt1, dst1_r, dst1_r);
3165  dst1_l = const_vec;
3166  DPADD_SB2_SH(src21_l, src43_l, filt0, filt1, dst1_l, dst1_l);
3167  dst2_r = const_vec;
3168  DPADD_SB2_SH(src76_r, src98_r, filt0, filt1, dst2_r, dst2_r);
3169  dst3_r = const_vec;
3170  DPADD_SB2_SH(src87_r, src109_r, filt0, filt1, dst3_r, dst3_r);
3171 
3172  ST_SH2(dst0_r, dst0_l, dst, 8);
3173  ST_SH(dst2_r, dst + 16);
3174  dst += dst_stride;
3175  ST_SH2(dst1_r, dst1_l, dst, 8);
3176  ST_SH(dst3_r, dst + 16);
3177  dst += dst_stride;
3178 
3179  LD_SB2(src, src_stride, src5, src2);
3180  XORI_B2_128_SB(src5, src2);
3181  ILVR_B2_SB(src5, src4, src2, src5, src10_r, src21_r);
3182  ILVL_B2_SB(src5, src4, src2, src5, src10_l, src21_l);
3183 
3184  LD_SB2(src + 16, src_stride, src11, src8);
3185  src += (2 * src_stride);
3186  XORI_B2_128_SB(src11, src8);
3187  ILVR_B2_SB(src11, src10, src8, src11, src76_r, src87_r);
3188 
3189  dst0_r = const_vec;
3190  DPADD_SB2_SH(src32_r, src10_r, filt0, filt1, dst0_r, dst0_r);
3191  dst0_l = const_vec;
3192  DPADD_SB2_SH(src32_l, src10_l, filt0, filt1, dst0_l, dst0_l);
3193  dst1_r = const_vec;
3194  DPADD_SB2_SH(src43_r, src21_r, filt0, filt1, dst1_r, dst1_r);
3195  dst1_l = const_vec;
3196  DPADD_SB2_SH(src43_l, src21_l, filt0, filt1, dst1_l, dst1_l);
3197  dst2_r = const_vec;
3198  DPADD_SB2_SH(src98_r, src76_r, filt0, filt1, dst2_r, dst2_r);
3199  dst3_r = const_vec;
3200  DPADD_SB2_SH(src109_r, src87_r, filt0, filt1, dst3_r, dst3_r);
3201 
3202  ST_SH2(dst0_r, dst0_l, dst, 8);
3203  ST_SH(dst2_r, dst + 16);
3204  dst += dst_stride;
3205  ST_SH2(dst1_r, dst1_l, dst, 8);
3206  ST_SH(dst3_r, dst + 16);
3207  dst += dst_stride;
3208  }
3209 }
3210 
3211 static void hevc_vt_4t_32w_msa(const uint8_t *src,
3212  int32_t src_stride,
3213  int16_t *dst,
3214  int32_t dst_stride,
3215  const int8_t *filter,
3216  int32_t height)
3217 {
3218  int32_t loop_cnt;
3219  v16i8 src0, src1, src2, src3, src4, src5;
3220  v16i8 src6, src7, src8, src9, src10, src11;
3221  v16i8 src10_r, src32_r, src76_r, src98_r;
3222  v16i8 src21_r, src43_r, src87_r, src109_r;
3223  v8i16 dst0_r, dst1_r, dst2_r, dst3_r;
3224  v16i8 src10_l, src32_l, src76_l, src98_l;
3225  v16i8 src21_l, src43_l, src87_l, src109_l;
3226  v8i16 dst0_l, dst1_l, dst2_l, dst3_l;
3227  v8i16 filt0, filt1;
3228  v8i16 filter_vec, const_vec;
3229 
3230  src -= src_stride;
3231  const_vec = __msa_ldi_h(128);
3232  const_vec <<= 6;
3233 
3234  filter_vec = LD_SH(filter);
3235  SPLATI_H2_SH(filter_vec, 0, 1, filt0, filt1);
3236 
3237  LD_SB3(src, src_stride, src0, src1, src2);
3238  XORI_B3_128_SB(src0, src1, src2);
3239  ILVR_B2_SB(src1, src0, src2, src1, src10_r, src21_r);
3240  ILVL_B2_SB(src1, src0, src2, src1, src10_l, src21_l);
3241 
3242  LD_SB3(src + 16, src_stride, src6, src7, src8);
3243  src += (3 * src_stride);
3244  XORI_B3_128_SB(src6, src7, src8);
3245  ILVR_B2_SB(src7, src6, src8, src7, src76_r, src87_r);
3246  ILVL_B2_SB(src7, src6, src8, src7, src76_l, src87_l);
3247 
3248  for (loop_cnt = (height >> 2); loop_cnt--;) {
3249  LD_SB2(src, src_stride, src3, src4);
3250  XORI_B2_128_SB(src3, src4);
3251  ILVR_B2_SB(src3, src2, src4, src3, src32_r, src43_r);
3252  ILVL_B2_SB(src3, src2, src4, src3, src32_l, src43_l);
3253 
3254  LD_SB2(src + 16, src_stride, src9, src10);
3255  src += (2 * src_stride);
3256  XORI_B2_128_SB(src9, src10);
3257  ILVR_B2_SB(src9, src8, src10, src9, src98_r, src109_r);
3258  ILVL_B2_SB(src9, src8, src10, src9, src98_l, src109_l);
3259 
3260  dst0_r = const_vec;
3261  DPADD_SB2_SH(src10_r, src32_r, filt0, filt1, dst0_r, dst0_r);
3262  dst0_l = const_vec;
3263  DPADD_SB2_SH(src10_l, src32_l, filt0, filt1, dst0_l, dst0_l);
3264  dst1_r = const_vec;
3265  DPADD_SB2_SH(src21_r, src43_r, filt0, filt1, dst1_r, dst1_r);
3266  dst1_l = const_vec;
3267  DPADD_SB2_SH(src21_l, src43_l, filt0, filt1, dst1_l, dst1_l);
3268  dst2_r = const_vec;
3269  DPADD_SB2_SH(src76_r, src98_r, filt0, filt1, dst2_r, dst2_r);
3270  dst2_l = const_vec;
3271  DPADD_SB2_SH(src76_l, src98_l, filt0, filt1, dst2_l, dst2_l);
3272  dst3_r = const_vec;
3273  DPADD_SB2_SH(src87_r, src109_r, filt0, filt1, dst3_r, dst3_r);
3274  dst3_l = const_vec;
3275  DPADD_SB2_SH(src87_l, src109_l, filt0, filt1, dst3_l, dst3_l);
3276 
3277  ST_SH4(dst0_r, dst0_l, dst2_r, dst2_l, dst, 8);
3278  dst += dst_stride;
3279  ST_SH4(dst1_r, dst1_l, dst3_r, dst3_l, dst, 8);
3280  dst += dst_stride;
3281 
3282  LD_SB2(src, src_stride, src5, src2);
3283  XORI_B2_128_SB(src5, src2);
3284  ILVR_B2_SB(src5, src4, src2, src5, src10_r, src21_r);
3285  ILVL_B2_SB(src5, src4, src2, src5, src10_l, src21_l);
3286 
3287  LD_SB2(src + 16, src_stride, src11, src8);
3288  src += (2 * src_stride);
3289  XORI_B2_128_SB(src11, src8);
3290  ILVR_B2_SB(src11, src10, src8, src11, src76_r, src87_r);
3291  ILVL_B2_SB(src11, src10, src8, src11, src76_l, src87_l);
3292 
3293  dst0_r = const_vec;
3294  DPADD_SB2_SH(src32_r, src10_r, filt0, filt1, dst0_r, dst0_r);
3295  dst0_l = const_vec;
3296  DPADD_SB2_SH(src32_l, src10_l, filt0, filt1, dst0_l, dst0_l);
3297  dst1_r = const_vec;
3298  DPADD_SB2_SH(src43_r, src21_r, filt0, filt1, dst1_r, dst1_r);
3299  dst1_l = const_vec;
3300  DPADD_SB2_SH(src43_l, src21_l, filt0, filt1, dst1_l, dst1_l);
3301  dst2_r = const_vec;
3302  DPADD_SB2_SH(src98_r, src76_r, filt0, filt1, dst2_r, dst2_r);
3303  dst2_l = const_vec;
3304  DPADD_SB2_SH(src98_l, src76_l, filt0, filt1, dst2_l, dst2_l);
3305  dst3_r = const_vec;
3306  DPADD_SB2_SH(src109_r, src87_r, filt0, filt1, dst3_r, dst3_r);
3307  dst3_l = const_vec;
3308  DPADD_SB2_SH(src109_l, src87_l, filt0, filt1, dst3_l, dst3_l);
3309 
3310  ST_SH4(dst0_r, dst0_l, dst2_r, dst2_l, dst, 8);
3311  dst += dst_stride;
3312  ST_SH4(dst1_r, dst1_l, dst3_r, dst3_l, dst, 8);
3313  dst += dst_stride;
3314  }
3315 }
3316 
3317 static void hevc_hv_4t_4x2_msa(const uint8_t *src,
3318  int32_t src_stride,
3319  int16_t *dst,
3320  int32_t dst_stride,
3321  const int8_t *filter_x,
3322  const int8_t *filter_y)
3323 {
3324  v16i8 src0, src1, src2, src3, src4;
3325  v8i16 filt0, filt1;
3326  v8i16 filt_h0, filt_h1;
3327  v16i8 mask0 = LD_SB(ff_hevc_mask_arr + 16);
3328  v16i8 mask1;
3329  v8i16 filter_vec, const_vec;
3330  v16i8 vec0, vec1, vec2, vec3, vec4, vec5;
3331  v8i16 dst20, dst31, dst42, dst10, dst32, dst21, dst43;
3332  v4i32 dst0, dst1;
3333 
3334  src -= (src_stride + 1);
3335  filter_vec = LD_SH(filter_x);
3336  SPLATI_H2_SH(filter_vec, 0, 1, filt0, filt1);
3337 
3338  filter_vec = LD_SH(filter_y);
3339  UNPCK_R_SB_SH(filter_vec, filter_vec);
3340 
3341  SPLATI_W2_SH(filter_vec, 0, filt_h0, filt_h1);
3342 
3343  mask1 = mask0 + 2;
3344 
3345  const_vec = __msa_ldi_h(128);
3346  const_vec <<= 6;
3347 
3348  LD_SB5(src, src_stride, src0, src1, src2, src3, src4);
3349  XORI_B5_128_SB(src0, src1, src2, src3, src4);
3350  VSHF_B2_SB(src0, src2, src0, src2, mask0, mask1, vec0, vec1);
3351  VSHF_B2_SB(src1, src3, src1, src3, mask0, mask1, vec2, vec3);
3352  VSHF_B2_SB(src2, src4, src2, src4, mask0, mask1, vec4, vec5);
3353 
3354  dst20 = const_vec;
3355  dst31 = const_vec;
3356  dst42 = const_vec;
3357  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst20, dst20);
3358  DPADD_SB2_SH(vec2, vec3, filt0, filt1, dst31, dst31);
3359  DPADD_SB2_SH(vec4, vec5, filt0, filt1, dst42, dst42);
3360  ILVRL_H2_SH(dst31, dst20, dst10, dst32);
3361  ILVRL_H2_SH(dst42, dst31, dst21, dst43);
3362 
3363  dst0 = HEVC_FILT_4TAP(dst10, dst32, filt_h0, filt_h1);
3364  dst1 = HEVC_FILT_4TAP(dst21, dst43, filt_h0, filt_h1);
3365  dst0 >>= 6;
3366  dst1 >>= 6;
3367  dst0 = (v4i32) __msa_pckev_h((v8i16) dst1, (v8i16) dst0);
3368  ST_D2(dst0, 0, 1, dst, dst_stride);
3369 }
3370 
3371 static void hevc_hv_4t_4x4_msa(const uint8_t *src,
3372  int32_t src_stride,
3373  int16_t *dst,
3374  int32_t dst_stride,
3375  const int8_t *filter_x,
3376  const int8_t *filter_y)
3377 {
3378  v16i8 src0, src1, src2, src3, src4, src5, src6;
3379  v8i16 filt0, filt1;
3380  v8i16 filt_h0, filt_h1;
3381  v16i8 mask0 = LD_SB(ff_hevc_mask_arr + 16);
3382  v16i8 mask1;
3383  v16i8 vec0, vec1, vec2, vec3, vec4, vec5, vec6, vec7;
3384  v8i16 filter_vec, const_vec;
3385  v8i16 dst30, dst41, dst52, dst63, dst10, dst32, dst54, dst21, dst43, dst65;
3386  v4i32 dst0, dst1, dst2, dst3;
3387 
3388  src -= (src_stride + 1);
3389 
3390  filter_vec = LD_SH(filter_x);
3391  SPLATI_H2_SH(filter_vec, 0, 1, filt0, filt1);
3392 
3393  filter_vec = LD_SH(filter_y);
3394  UNPCK_R_SB_SH(filter_vec, filter_vec);
3395 
3396  SPLATI_W2_SH(filter_vec, 0, filt_h0, filt_h1);
3397 
3398  mask1 = mask0 + 2;
3399 
3400  const_vec = __msa_ldi_h(128);
3401  const_vec <<= 6;
3402 
3403  LD_SB7(src, src_stride, src0, src1, src2, src3, src4, src5, src6);
3404  XORI_B7_128_SB(src0, src1, src2, src3, src4, src5, src6);
3405 
3406  VSHF_B2_SB(src0, src3, src0, src3, mask0, mask1, vec0, vec1);
3407  VSHF_B2_SB(src1, src4, src1, src4, mask0, mask1, vec2, vec3);
3408  VSHF_B2_SB(src2, src5, src2, src5, mask0, mask1, vec4, vec5);
3409  VSHF_B2_SB(src3, src6, src3, src6, mask0, mask1, vec6, vec7);
3410 
3411  dst30 = const_vec;
3412  dst41 = const_vec;
3413  dst52 = const_vec;
3414  dst63 = const_vec;
3415  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst30, dst30);
3416  DPADD_SB2_SH(vec2, vec3, filt0, filt1, dst41, dst41);
3417  DPADD_SB2_SH(vec4, vec5, filt0, filt1, dst52, dst52);
3418  DPADD_SB2_SH(vec6, vec7, filt0, filt1, dst63, dst63);
3419 
3420  ILVRL_H2_SH(dst41, dst30, dst10, dst43);
3421  ILVRL_H2_SH(dst52, dst41, dst21, dst54);
3422  ILVRL_H2_SH(dst63, dst52, dst32, dst65);
3423 
3424  dst0 = HEVC_FILT_4TAP(dst10, dst32, filt_h0, filt_h1);
3425  dst1 = HEVC_FILT_4TAP(dst21, dst43, filt_h0, filt_h1);
3426  dst2 = HEVC_FILT_4TAP(dst32, dst54, filt_h0, filt_h1);
3427  dst3 = HEVC_FILT_4TAP(dst43, dst65, filt_h0, filt_h1);
3428  SRA_4V(dst0, dst1, dst2, dst3, 6);
3429  PCKEV_H2_SW(dst1, dst0, dst3, dst2, dst0, dst2);
3430  ST_D4(dst0, dst2, 0, 1, 0, 1, dst, dst_stride);
3431 }
3432 
3433 
3434 static void hevc_hv_4t_4multx8mult_msa(const uint8_t *src,
3435  int32_t src_stride,
3436  int16_t *dst,
3437  int32_t dst_stride,
3438  const int8_t *filter_x,
3439  const int8_t *filter_y,
3440  int32_t height)
3441 {
3442  uint32_t loop_cnt;
3443  v16i8 src0, src1, src2, src3, src4, src5, src6;
3444  v16i8 src7, src8, src9, src10;
3445  v8i16 filt0, filt1;
3446  v8i16 filt_h0, filt_h1;
3447  v16i8 mask0 = LD_SB(ff_hevc_mask_arr + 16);
3448  v16i8 mask1;
3449  v8i16 filter_vec, const_vec;
3450  v16i8 vec0, vec1, vec2, vec3, vec4, vec5, vec6, vec7;
3451  v8i16 dst10, dst21, dst22, dst73, dst84, dst95, dst106;
3452  v8i16 dst10_r, dst32_r, dst54_r, dst76_r, dst98_r;
3453  v8i16 dst21_r, dst43_r, dst65_r, dst87_r, dst109_r;
3454  v4i32 dst0, dst1, dst2, dst3, dst4, dst5, dst6, dst7;
3455 
3456  src -= (src_stride + 1);
3457  filter_vec = LD_SH(filter_x);
3458  SPLATI_H2_SH(filter_vec, 0, 1, filt0, filt1);
3459 
3460  filter_vec = LD_SH(filter_y);
3461  UNPCK_R_SB_SH(filter_vec, filter_vec);
3462 
3463  SPLATI_W2_SH(filter_vec, 0, filt_h0, filt_h1);
3464 
3465  mask1 = mask0 + 2;
3466 
3467  const_vec = __msa_ldi_h(128);
3468  const_vec <<= 6;
3469 
3470  LD_SB3(src, src_stride, src0, src1, src2);
3471  src += (3 * src_stride);
3472  XORI_B3_128_SB(src0, src1, src2);
3473  VSHF_B2_SB(src0, src1, src0, src1, mask0, mask1, vec0, vec1);
3474  VSHF_B2_SB(src1, src2, src1, src2, mask0, mask1, vec2, vec3);
3475  dst10 = const_vec;
3476  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst10, dst10);
3477  dst21 = const_vec;
3478  DPADD_SB2_SH(vec2, vec3, filt0, filt1, dst21, dst21);
3479  ILVRL_H2_SH(dst21, dst10, dst10_r, dst21_r);
3480  dst22 = (v8i16) __msa_splati_d((v2i64) dst21, 1);
3481 
3482  for (loop_cnt = height >> 3; loop_cnt--;) {
3483  LD_SB8(src, src_stride,
3484  src3, src4, src5, src6, src7, src8, src9, src10);
3485  src += (8 * src_stride);
3486  XORI_B8_128_SB(src3, src4, src5, src6, src7, src8, src9, src10);
3487 
3488  VSHF_B2_SB(src3, src7, src3, src7, mask0, mask1, vec0, vec1);
3489  VSHF_B2_SB(src4, src8, src4, src8, mask0, mask1, vec2, vec3);
3490  VSHF_B2_SB(src5, src9, src5, src9, mask0, mask1, vec4, vec5);
3491  VSHF_B2_SB(src6, src10, src6, src10, mask0, mask1, vec6, vec7);
3492 
3493  dst73 = const_vec;
3494  dst84 = const_vec;
3495  dst95 = const_vec;
3496  dst106 = const_vec;
3497  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst73, dst73);
3498  DPADD_SB2_SH(vec2, vec3, filt0, filt1, dst84, dst84);
3499  DPADD_SB2_SH(vec4, vec5, filt0, filt1, dst95, dst95);
3500  DPADD_SB2_SH(vec6, vec7, filt0, filt1, dst106, dst106);
3501 
3502  dst32_r = __msa_ilvr_h(dst73, dst22);
3503  ILVRL_H2_SH(dst84, dst73, dst43_r, dst87_r);
3504  ILVRL_H2_SH(dst95, dst84, dst54_r, dst98_r);
3505  ILVRL_H2_SH(dst106, dst95, dst65_r, dst109_r);
3506  dst22 = (v8i16) __msa_splati_d((v2i64) dst73, 1);
3507  dst76_r = __msa_ilvr_h(dst22, dst106);
3508 
3509  dst0 = HEVC_FILT_4TAP(dst10_r, dst32_r, filt_h0, filt_h1);
3510  dst1 = HEVC_FILT_4TAP(dst21_r, dst43_r, filt_h0, filt_h1);
3511  dst2 = HEVC_FILT_4TAP(dst32_r, dst54_r, filt_h0, filt_h1);
3512  dst3 = HEVC_FILT_4TAP(dst43_r, dst65_r, filt_h0, filt_h1);
3513  dst4 = HEVC_FILT_4TAP(dst54_r, dst76_r, filt_h0, filt_h1);
3514  dst5 = HEVC_FILT_4TAP(dst65_r, dst87_r, filt_h0, filt_h1);
3515  dst6 = HEVC_FILT_4TAP(dst76_r, dst98_r, filt_h0, filt_h1);
3516  dst7 = HEVC_FILT_4TAP(dst87_r, dst109_r, filt_h0, filt_h1);
3517  SRA_4V(dst0, dst1, dst2, dst3, 6);
3518  SRA_4V(dst4, dst5, dst6, dst7, 6);
3519  PCKEV_H4_SW(dst1, dst0, dst3, dst2, dst5, dst4, dst7, dst6,
3520  dst0, dst1, dst2, dst3);
3521  ST_D8(dst0, dst1, dst2, dst3, 0, 1, 0, 1, 0, 1, 0, 1, dst, dst_stride);
3522  dst += (8 * dst_stride);
3523 
3524  dst10_r = dst98_r;
3525  dst21_r = dst109_r;
3526  dst22 = (v8i16) __msa_splati_d((v2i64) dst106, 1);
3527  }
3528 }
3529 
3530 static void hevc_hv_4t_4w_msa(const uint8_t *src,
3531  int32_t src_stride,
3532  int16_t *dst,
3533  int32_t dst_stride,
3534  const int8_t *filter_x,
3535  const int8_t *filter_y,
3536  int32_t height)
3537 {
3538  if (2 == height) {
3539  hevc_hv_4t_4x2_msa(src, src_stride, dst, dst_stride,
3540  filter_x, filter_y);
3541  } else if (4 == height) {
3542  hevc_hv_4t_4x4_msa(src, src_stride, dst, dst_stride,
3543  filter_x, filter_y);
3544  } else if (0 == (height % 8)) {
3545  hevc_hv_4t_4multx8mult_msa(src, src_stride, dst, dst_stride,
3546  filter_x, filter_y, height);
3547  }
3548 }
3549 
3550 static void hevc_hv_4t_6w_msa(const uint8_t *src,
3551  int32_t src_stride,
3552  int16_t *dst,
3553  int32_t dst_stride,
3554  const int8_t *filter_x,
3555  const int8_t *filter_y,
3556  int32_t height)
3557 {
3558  v16i8 src0, src1, src2, src3, src4, src5, src6, src7, src8, src9, src10;
3559  v8i16 filt0, filt1;
3560  v8i16 filt_h0, filt_h1;
3561  v16i8 mask0 = LD_SB(ff_hevc_mask_arr);
3562  v16i8 mask1;
3563  v8i16 filter_vec, const_vec;
3564  v16i8 vec0, vec1, vec2, vec3, vec4, vec5, vec6, vec7;
3565  v8i16 dsth0, dsth1, dsth2, dsth3, dsth4, dsth5, dsth6, dsth7, dsth8, dsth9;
3566  v8i16 dsth10, tmp0, tmp1, tmp2, tmp3, tmp4, tmp5;
3567  v8i16 dst10_r, dst32_r, dst54_r, dst76_r, dst98_r, dst21_r, dst43_r;
3568  v8i16 dst65_r, dst87_r, dst109_r, dst10_l, dst32_l, dst54_l, dst76_l;
3569  v8i16 dst98_l, dst21_l, dst43_l, dst65_l, dst87_l, dst109_l;
3570  v8i16 dst1021_l, dst3243_l, dst5465_l, dst7687_l, dst98109_l;
3571  v4i32 dst0_r, dst1_r, dst2_r, dst3_r, dst4_r, dst5_r, dst6_r, dst7_r;
3572  v4i32 dst0_l, dst1_l, dst2_l, dst3_l;
3573 
3574  src -= (src_stride + 1);
3575  filter_vec = LD_SH(filter_x);
3576  SPLATI_H2_SH(filter_vec, 0, 1, filt0, filt1);
3577 
3578  filter_vec = LD_SH(filter_y);
3579  UNPCK_R_SB_SH(filter_vec, filter_vec);
3580 
3581  SPLATI_W2_SH(filter_vec, 0, filt_h0, filt_h1);
3582 
3583  mask1 = mask0 + 2;
3584 
3585  const_vec = __msa_ldi_h(128);
3586  const_vec <<= 6;
3587 
3588  LD_SB3(src, src_stride, src0, src1, src2);
3589  src += (3 * src_stride);
3590  XORI_B3_128_SB(src0, src1, src2);
3591 
3592  VSHF_B2_SB(src0, src0, src0, src0, mask0, mask1, vec0, vec1);
3593  VSHF_B2_SB(src1, src1, src1, src1, mask0, mask1, vec2, vec3);
3594  VSHF_B2_SB(src2, src2, src2, src2, mask0, mask1, vec4, vec5);
3595 
3596  dsth0 = const_vec;
3597  dsth1 = const_vec;
3598  dsth2 = const_vec;
3599  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dsth0, dsth0);
3600  DPADD_SB2_SH(vec2, vec3, filt0, filt1, dsth1, dsth1);
3601  DPADD_SB2_SH(vec4, vec5, filt0, filt1, dsth2, dsth2);
3602 
3603  ILVRL_H2_SH(dsth1, dsth0, dst10_r, dst10_l);
3604  ILVRL_H2_SH(dsth2, dsth1, dst21_r, dst21_l);
3605 
3606  LD_SB8(src, src_stride, src3, src4, src5, src6, src7, src8, src9, src10);
3607  XORI_B8_128_SB(src3, src4, src5, src6, src7, src8, src9, src10);
3608 
3609  VSHF_B2_SB(src3, src3, src3, src3, mask0, mask1, vec0, vec1);
3610  VSHF_B2_SB(src4, src4, src4, src4, mask0, mask1, vec2, vec3);
3611  VSHF_B2_SB(src5, src5, src5, src5, mask0, mask1, vec4, vec5);
3612  VSHF_B2_SB(src6, src6, src6, src6, mask0, mask1, vec6, vec7);
3613 
3614  dsth3 = const_vec;
3615  dsth4 = const_vec;
3616  dsth5 = const_vec;
3617  dsth6 = const_vec;
3618  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dsth3, dsth3);
3619  DPADD_SB2_SH(vec2, vec3, filt0, filt1, dsth4, dsth4);
3620  DPADD_SB2_SH(vec4, vec5, filt0, filt1, dsth5, dsth5);
3621  DPADD_SB2_SH(vec6, vec7, filt0, filt1, dsth6, dsth6);
3622 
3623  VSHF_B2_SB(src7, src7, src7, src7, mask0, mask1, vec0, vec1);
3624  VSHF_B2_SB(src8, src8, src8, src8, mask0, mask1, vec2, vec3);
3625  VSHF_B2_SB(src9, src9, src9, src9, mask0, mask1, vec4, vec5);
3626  VSHF_B2_SB(src10, src10, src10, src10, mask0, mask1, vec6, vec7);
3627 
3628  dsth7 = const_vec;
3629  dsth8 = const_vec;
3630  dsth9 = const_vec;
3631  dsth10 = const_vec;
3632  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dsth7, dsth7);
3633  DPADD_SB2_SH(vec2, vec3, filt0, filt1, dsth8, dsth8);
3634  DPADD_SB2_SH(vec4, vec5, filt0, filt1, dsth9, dsth9);
3635  DPADD_SB2_SH(vec6, vec7, filt0, filt1, dsth10, dsth10);
3636 
3637  ILVRL_H2_SH(dsth3, dsth2, dst32_r, dst32_l);
3638  ILVRL_H2_SH(dsth4, dsth3, dst43_r, dst43_l);
3639  ILVRL_H2_SH(dsth5, dsth4, dst54_r, dst54_l);
3640  ILVRL_H2_SH(dsth6, dsth5, dst65_r, dst65_l);
3641  ILVRL_H2_SH(dsth7, dsth6, dst76_r, dst76_l);
3642  ILVRL_H2_SH(dsth8, dsth7, dst87_r, dst87_l);
3643  ILVRL_H2_SH(dsth9, dsth8, dst98_r, dst98_l);
3644  ILVRL_H2_SH(dsth10, dsth9, dst109_r, dst109_l);
3645 
3646  PCKEV_D2_SH(dst21_l, dst10_l, dst43_l, dst32_l, dst1021_l, dst3243_l);
3647  PCKEV_D2_SH(dst65_l, dst54_l, dst87_l, dst76_l, dst5465_l, dst7687_l);
3648  dst98109_l = (v8i16) __msa_pckev_d((v2i64) dst109_l, (v2i64) dst98_l);
3649 
3650  dst0_r = HEVC_FILT_4TAP(dst10_r, dst32_r, filt_h0, filt_h1);
3651  dst1_r = HEVC_FILT_4TAP(dst21_r, dst43_r, filt_h0, filt_h1);
3652  dst2_r = HEVC_FILT_4TAP(dst32_r, dst54_r, filt_h0, filt_h1);
3653  dst3_r = HEVC_FILT_4TAP(dst43_r, dst65_r, filt_h0, filt_h1);
3654  dst4_r = HEVC_FILT_4TAP(dst54_r, dst76_r, filt_h0, filt_h1);
3655  dst5_r = HEVC_FILT_4TAP(dst65_r, dst87_r, filt_h0, filt_h1);
3656  dst6_r = HEVC_FILT_4TAP(dst76_r, dst98_r, filt_h0, filt_h1);
3657  dst7_r = HEVC_FILT_4TAP(dst87_r, dst109_r, filt_h0, filt_h1);
3658  dst0_l = HEVC_FILT_4TAP(dst1021_l, dst3243_l, filt_h0, filt_h1);
3659  dst1_l = HEVC_FILT_4TAP(dst3243_l, dst5465_l, filt_h0, filt_h1);
3660  dst2_l = HEVC_FILT_4TAP(dst5465_l, dst7687_l, filt_h0, filt_h1);
3661  dst3_l = HEVC_FILT_4TAP(dst7687_l, dst98109_l, filt_h0, filt_h1);
3662  SRA_4V(dst0_r, dst1_r, dst2_r, dst3_r, 6);
3663  SRA_4V(dst4_r, dst5_r, dst6_r, dst7_r, 6);
3664  SRA_4V(dst0_l, dst1_l, dst2_l, dst3_l, 6);
3665  PCKEV_H2_SH(dst1_r, dst0_r, dst3_r, dst2_r, tmp0, tmp1);
3666  PCKEV_H2_SH(dst5_r, dst4_r, dst7_r, dst6_r, tmp2, tmp3);
3667  PCKEV_H2_SH(dst1_l, dst0_l, dst3_l, dst2_l, tmp4, tmp5);
3668  ST_D4(tmp0, tmp1, 0, 1, 0, 1, dst, dst_stride);
3669  ST_W4(tmp4, 0, 1, 2, 3, dst + 4, dst_stride);
3670  dst += 4 * dst_stride;
3671  ST_D4(tmp2, tmp3, 0, 1, 0, 1, dst, dst_stride);
3672  ST_W4(tmp5, 0, 1, 2, 3, dst + 4, dst_stride);
3673 }
3674 
3675 static void hevc_hv_4t_8x2_msa(const uint8_t *src,
3676  int32_t src_stride,
3677  int16_t *dst,
3678  int32_t dst_stride,
3679  const int8_t *filter_x,
3680  const int8_t *filter_y)
3681 {
3682  v16i8 src0, src1, src2, src3, src4;
3683  v8i16 filt0, filt1;
3684  v8i16 filt_h0, filt_h1;
3685  v16i8 mask0 = LD_SB(ff_hevc_mask_arr);
3686  v16i8 mask1;
3687  v8i16 filter_vec, const_vec;
3688  v16i8 vec0, vec1, vec2, vec3, vec4, vec5, vec6, vec7, vec8, vec9;
3689  v8i16 dst0, dst1, dst2, dst3, dst4;
3690  v4i32 dst0_r, dst0_l, dst1_r, dst1_l;
3691  v8i16 dst10_r, dst32_r, dst21_r, dst43_r;
3692  v8i16 dst10_l, dst32_l, dst21_l, dst43_l;
3693 
3694  src -= (src_stride + 1);
3695 
3696  filter_vec = LD_SH(filter_x);
3697  SPLATI_H2_SH(filter_vec, 0, 1, filt0, filt1);
3698 
3699  filter_vec = LD_SH(filter_y);
3700  UNPCK_R_SB_SH(filter_vec, filter_vec);
3701 
3702  SPLATI_W2_SH(filter_vec, 0, filt_h0, filt_h1);
3703 
3704  mask1 = mask0 + 2;
3705 
3706  const_vec = __msa_ldi_h(128);
3707  const_vec <<= 6;
3708 
3709  LD_SB5(src, src_stride, src0, src1, src2, src3, src4);
3710  XORI_B5_128_SB(src0, src1, src2, src3, src4);
3711 
3712  VSHF_B2_SB(src0, src0, src0, src0, mask0, mask1, vec0, vec1);
3713  VSHF_B2_SB(src1, src1, src1, src1, mask0, mask1, vec2, vec3);
3714  VSHF_B2_SB(src2, src2, src2, src2, mask0, mask1, vec4, vec5);
3715  VSHF_B2_SB(src3, src3, src3, src3, mask0, mask1, vec6, vec7);
3716  VSHF_B2_SB(src4, src4, src4, src4, mask0, mask1, vec8, vec9);
3717 
3718  dst0 = const_vec;
3719  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst0, dst0);
3720  dst1 = const_vec;
3721  DPADD_SB2_SH(vec2, vec3, filt0, filt1, dst1, dst1);
3722  dst2 = const_vec;
3723  DPADD_SB2_SH(vec4, vec5, filt0, filt1, dst2, dst2);
3724  dst3 = const_vec;
3725  DPADD_SB2_SH(vec6, vec7, filt0, filt1, dst3, dst3);
3726  dst4 = const_vec;
3727  DPADD_SB2_SH(vec8, vec9, filt0, filt1, dst4, dst4);
3728 
3729  ILVRL_H2_SH(dst1, dst0, dst10_r, dst10_l);
3730  ILVRL_H2_SH(dst2, dst1, dst21_r, dst21_l);
3731  ILVRL_H2_SH(dst3, dst2, dst32_r, dst32_l);
3732  ILVRL_H2_SH(dst4, dst3, dst43_r, dst43_l);
3733  dst0_r = HEVC_FILT_4TAP(dst10_r, dst32_r, filt_h0, filt_h1);
3734  dst0_l = HEVC_FILT_4TAP(dst10_l, dst32_l, filt_h0, filt_h1);
3735  dst1_r = HEVC_FILT_4TAP(dst21_r, dst43_r, filt_h0, filt_h1);
3736  dst1_l = HEVC_FILT_4TAP(dst21_l, dst43_l, filt_h0, filt_h1);
3737  SRA_4V(dst0_r, dst0_l, dst1_r, dst1_l, 6);
3738  PCKEV_H2_SW(dst0_l, dst0_r, dst1_l, dst1_r, dst0_r, dst1_r);
3739  ST_SW2(dst0_r, dst1_r, dst, dst_stride);
3740 }
3741 
3742 static void hevc_hv_4t_8multx4_msa(const uint8_t *src, int32_t src_stride,
3743  int16_t *dst, int32_t dst_stride,
3744  const int8_t *filter_x,
3745  const int8_t *filter_y, int32_t width8mult)
3746 {
3747  int32_t cnt;
3748  v16i8 src0, src1, src2, src3, src4, src5, src6, mask0, mask1;
3749  v16i8 vec0, vec1, vec2, vec3, vec4, vec5, vec6, vec7;
3750  v8i16 filt0, filt1, filt_h0, filt_h1, filter_vec, const_vec;
3751  v8i16 dst0, dst1, dst2, dst3, dst4, dst5, dst6;
3752  v8i16 dst10_r, dst32_r, dst54_r, dst21_r, dst43_r, dst65_r;
3753  v8i16 dst10_l, dst32_l, dst54_l, dst21_l, dst43_l, dst65_l;
3754  v4i32 dst0_r, dst0_l, dst1_r, dst1_l, dst2_r, dst2_l, dst3_r, dst3_l;
3755 
3756  src -= (src_stride + 1);
3757 
3758  filter_vec = LD_SH(filter_x);
3759  SPLATI_H2_SH(filter_vec, 0, 1, filt0, filt1);
3760 
3761  filter_vec = LD_SH(filter_y);
3762  UNPCK_R_SB_SH(filter_vec, filter_vec);
3763 
3764  SPLATI_W2_SH(filter_vec, 0, filt_h0, filt_h1);
3765 
3766  mask0 = LD_SB(ff_hevc_mask_arr);
3767  mask1 = mask0 + 2;
3768 
3769  const_vec = __msa_ldi_h(128);
3770  const_vec <<= 6;
3771 
3772  for (cnt = width8mult; cnt--;) {
3773  LD_SB7(src, src_stride, src0, src1, src2, src3, src4, src5, src6);
3774  src += 8;
3775  XORI_B7_128_SB(src0, src1, src2, src3, src4, src5, src6);
3776 
3777  VSHF_B2_SB(src0, src0, src0, src0, mask0, mask1, vec0, vec1);
3778  VSHF_B2_SB(src1, src1, src1, src1, mask0, mask1, vec2, vec3);
3779  VSHF_B2_SB(src2, src2, src2, src2, mask0, mask1, vec4, vec5);
3780 
3781  dst0 = const_vec;
3782  dst1 = const_vec;
3783  dst2 = const_vec;
3784  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst0, dst0);
3785  DPADD_SB2_SH(vec2, vec3, filt0, filt1, dst1, dst1);
3786  DPADD_SB2_SH(vec4, vec5, filt0, filt1, dst2, dst2);
3787 
3788  ILVRL_H2_SH(dst1, dst0, dst10_r, dst10_l);
3789  ILVRL_H2_SH(dst2, dst1, dst21_r, dst21_l);
3790 
3791  VSHF_B2_SB(src3, src3, src3, src3, mask0, mask1, vec0, vec1);
3792  VSHF_B2_SB(src4, src4, src4, src4, mask0, mask1, vec2, vec3);
3793  VSHF_B2_SB(src5, src5, src5, src5, mask0, mask1, vec4, vec5);
3794  VSHF_B2_SB(src6, src6, src6, src6, mask0, mask1, vec6, vec7);
3795  dst3 = const_vec;
3796  dst4 = const_vec;
3797  dst5 = const_vec;
3798  dst6 = const_vec;
3799  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst3, dst3);
3800  DPADD_SB2_SH(vec2, vec3, filt0, filt1, dst4, dst4);
3801  DPADD_SB2_SH(vec4, vec5, filt0, filt1, dst5, dst5);
3802  DPADD_SB2_SH(vec6, vec7, filt0, filt1, dst6, dst6);
3803  ILVRL_H2_SH(dst3, dst2, dst32_r, dst32_l);
3804  ILVRL_H2_SH(dst4, dst3, dst43_r, dst43_l);
3805  ILVRL_H2_SH(dst5, dst4, dst54_r, dst54_l);
3806  ILVRL_H2_SH(dst6, dst5, dst65_r, dst65_l);
3807  dst0_r = HEVC_FILT_4TAP(dst10_r, dst32_r, filt_h0, filt_h1);
3808  dst0_l = HEVC_FILT_4TAP(dst10_l, dst32_l, filt_h0, filt_h1);
3809  dst1_r = HEVC_FILT_4TAP(dst21_r, dst43_r, filt_h0, filt_h1);
3810  dst1_l = HEVC_FILT_4TAP(dst21_l, dst43_l, filt_h0, filt_h1);
3811 
3812  dst2_r = HEVC_FILT_4TAP(dst32_r, dst54_r, filt_h0, filt_h1);
3813  dst2_l = HEVC_FILT_4TAP(dst32_l, dst54_l, filt_h0, filt_h1);
3814  dst3_r = HEVC_FILT_4TAP(dst43_r, dst65_r, filt_h0, filt_h1);
3815  dst3_l = HEVC_FILT_4TAP(dst43_l, dst65_l, filt_h0, filt_h1);
3816  SRA_4V(dst0_r, dst0_l, dst1_r, dst1_l, 6);
3817  SRA_4V(dst2_r, dst2_l, dst3_r, dst3_l, 6);
3818  PCKEV_H2_SW(dst0_l, dst0_r, dst1_l, dst1_r, dst0_r, dst1_r);
3819  PCKEV_H2_SW(dst2_l, dst2_r, dst3_l, dst3_r, dst2_r, dst3_r);
3820 
3821  ST_SW4(dst0_r, dst1_r, dst2_r, dst3_r, dst, dst_stride);
3822  dst += 8;
3823  }
3824 }
3825 
3826 static void hevc_hv_4t_8x6_msa(const uint8_t *src,
3827  int32_t src_stride,
3828  int16_t *dst,
3829  int32_t dst_stride,
3830  const int8_t *filter_x,
3831  const int8_t *filter_y)
3832 {
3833  v16i8 src0, src1, src2, src3, src4, src5, src6, src7, src8;
3834  v8i16 filt0, filt1;
3835  v8i16 filt_h0, filt_h1;
3836  v16i8 mask0 = LD_SB(ff_hevc_mask_arr);
3837  v16i8 mask1;
3838  v8i16 filter_vec, const_vec;
3839  v16i8 vec0, vec1, vec2, vec3, vec4, vec5, vec6, vec7, vec8, vec9;
3840  v16i8 vec10, vec11, vec12, vec13, vec14, vec15, vec16, vec17;
3841  v8i16 dst0, dst1, dst2, dst3, dst4, dst5, dst6, dst7, dst8;
3842  v4i32 dst0_r, dst0_l, dst1_r, dst1_l, dst2_r, dst2_l, dst3_r, dst3_l;
3843  v4i32 dst4_r, dst4_l, dst5_r, dst5_l;
3844  v8i16 dst10_r, dst32_r, dst10_l, dst32_l;
3845  v8i16 dst21_r, dst43_r, dst21_l, dst43_l;
3846  v8i16 dst54_r, dst54_l, dst65_r, dst65_l;
3847  v8i16 dst76_r, dst76_l, dst87_r, dst87_l;
3848 
3849  src -= (src_stride + 1);
3850 
3851  filter_vec = LD_SH(filter_x);
3852  SPLATI_H2_SH(filter_vec, 0, 1, filt0, filt1);
3853 
3854  filter_vec = LD_SH(filter_y);
3855  UNPCK_R_SB_SH(filter_vec, filter_vec);
3856 
3857  SPLATI_W2_SH(filter_vec, 0, filt_h0, filt_h1);
3858 
3859  mask1 = mask0 + 2;
3860 
3861  const_vec = __msa_ldi_h(128);
3862  const_vec <<= 6;
3863 
3864  LD_SB5(src, src_stride, src0, src1, src2, src3, src4);
3865  src += (5 * src_stride);
3866  LD_SB4(src, src_stride, src5, src6, src7, src8);
3867 
3868  XORI_B5_128_SB(src0, src1, src2, src3, src4);
3869  XORI_B4_128_SB(src5, src6, src7, src8);
3870 
3871  VSHF_B2_SB(src0, src0, src0, src0, mask0, mask1, vec0, vec1);
3872  VSHF_B2_SB(src1, src1, src1, src1, mask0, mask1, vec2, vec3);
3873  VSHF_B2_SB(src2, src2, src2, src2, mask0, mask1, vec4, vec5);
3874  VSHF_B2_SB(src3, src3, src3, src3, mask0, mask1, vec6, vec7);
3875  VSHF_B2_SB(src4, src4, src4, src4, mask0, mask1, vec8, vec9);
3876  VSHF_B2_SB(src5, src5, src5, src5, mask0, mask1, vec10, vec11);
3877  VSHF_B2_SB(src6, src6, src6, src6, mask0, mask1, vec12, vec13);
3878  VSHF_B2_SB(src7, src7, src7, src7, mask0, mask1, vec14, vec15);
3879  VSHF_B2_SB(src8, src8, src8, src8, mask0, mask1, vec16, vec17);
3880 
3881  dst0 = const_vec;
3882  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst0, dst0);
3883  dst1 = const_vec;
3884  DPADD_SB2_SH(vec2, vec3, filt0, filt1, dst1, dst1);
3885  dst2 = const_vec;
3886  DPADD_SB2_SH(vec4, vec5, filt0, filt1, dst2, dst2);
3887  dst3 = const_vec;
3888  DPADD_SB2_SH(vec6, vec7, filt0, filt1, dst3, dst3);
3889  dst4 = const_vec;
3890  DPADD_SB2_SH(vec8, vec9, filt0, filt1, dst4, dst4);
3891  dst5 = const_vec;
3892  DPADD_SB2_SH(vec10, vec11, filt0, filt1, dst5, dst5);
3893  dst6 = const_vec;
3894  DPADD_SB2_SH(vec12, vec13, filt0, filt1, dst6, dst6);
3895  dst7 = const_vec;
3896  DPADD_SB2_SH(vec14, vec15, filt0, filt1, dst7, dst7);
3897  dst8 = const_vec;
3898  DPADD_SB2_SH(vec16, vec17, filt0, filt1, dst8, dst8);
3899 
3900  ILVRL_H2_SH(dst1, dst0, dst10_r, dst10_l);
3901  ILVRL_H2_SH(dst2, dst1, dst21_r, dst21_l);
3902  ILVRL_H2_SH(dst3, dst2, dst32_r, dst32_l);
3903  ILVRL_H2_SH(dst4, dst3, dst43_r, dst43_l);
3904  ILVRL_H2_SH(dst5, dst4, dst54_r, dst54_l);
3905  ILVRL_H2_SH(dst6, dst5, dst65_r, dst65_l);
3906  ILVRL_H2_SH(dst7, dst6, dst76_r, dst76_l);
3907  ILVRL_H2_SH(dst8, dst7, dst87_r, dst87_l);
3908 
3909  dst0_r = HEVC_FILT_4TAP(dst10_r, dst32_r, filt_h0, filt_h1);
3910  dst0_l = HEVC_FILT_4TAP(dst10_l, dst32_l, filt_h0, filt_h1);
3911  dst1_r = HEVC_FILT_4TAP(dst21_r, dst43_r, filt_h0, filt_h1);
3912  dst1_l = HEVC_FILT_4TAP(dst21_l, dst43_l, filt_h0, filt_h1);
3913  dst2_r = HEVC_FILT_4TAP(dst32_r, dst54_r, filt_h0, filt_h1);
3914  dst2_l = HEVC_FILT_4TAP(dst32_l, dst54_l, filt_h0, filt_h1);
3915  dst3_r = HEVC_FILT_4TAP(dst43_r, dst65_r, filt_h0, filt_h1);
3916  dst3_l = HEVC_FILT_4TAP(dst43_l, dst65_l, filt_h0, filt_h1);
3917  dst4_r = HEVC_FILT_4TAP(dst54_r, dst76_r, filt_h0, filt_h1);
3918  dst4_l = HEVC_FILT_4TAP(dst54_l, dst76_l, filt_h0, filt_h1);
3919  dst5_r = HEVC_FILT_4TAP(dst65_r, dst87_r, filt_h0, filt_h1);
3920  dst5_l = HEVC_FILT_4TAP(dst65_l, dst87_l, filt_h0, filt_h1);
3921 
3922  SRA_4V(dst0_r, dst0_l, dst1_r, dst1_l, 6);
3923  SRA_4V(dst2_r, dst2_l, dst3_r, dst3_l, 6);
3924  SRA_4V(dst4_r, dst4_l, dst5_r, dst5_l, 6);
3925 
3926  PCKEV_H4_SW(dst0_l, dst0_r, dst1_l, dst1_r,
3927  dst2_l, dst2_r, dst3_l, dst3_r, dst0_r, dst1_r, dst2_r, dst3_r);
3928  PCKEV_H2_SW(dst4_l, dst4_r, dst5_l, dst5_r, dst4_r, dst5_r);
3929 
3930  ST_SW2(dst0_r, dst1_r, dst, dst_stride);
3931  dst += (2 * dst_stride);
3932  ST_SW2(dst2_r, dst3_r, dst, dst_stride);
3933  dst += (2 * dst_stride);
3934  ST_SW2(dst4_r, dst5_r, dst, dst_stride);
3935 }
3936 
3937 static void hevc_hv_4t_8multx4mult_msa(const uint8_t *src,
3938  int32_t src_stride,
3939  int16_t *dst,
3940  int32_t dst_stride,
3941  const int8_t *filter_x,
3942  const int8_t *filter_y,
3943  int32_t height,
3944  int32_t width8mult)
3945 {
3946  uint32_t loop_cnt, cnt;
3947  const uint8_t *src_tmp;
3948  int16_t *dst_tmp;
3949  v16i8 src0, src1, src2, src3, src4, src5, src6;
3950  v8i16 filt0, filt1;
3951  v8i16 filt_h0, filt_h1;
3952  v16i8 mask0 = LD_SB(ff_hevc_mask_arr);
3953  v16i8 mask1;
3954  v8i16 filter_vec, const_vec;
3955  v16i8 vec0, vec1, vec2, vec3, vec4, vec5, vec6, vec7;
3956  v8i16 dst0, dst1, dst2, dst3, dst4, dst5, dst6;
3957  v4i32 dst0_r, dst0_l, dst1_r, dst1_l, dst2_r, dst2_l, dst3_r, dst3_l;
3958  v8i16 dst10_r, dst32_r, dst54_r, dst21_r, dst43_r, dst65_r;
3959  v8i16 dst10_l, dst32_l, dst54_l, dst21_l, dst43_l, dst65_l;
3960 
3961  src -= (src_stride + 1);
3962 
3963  filter_vec = LD_SH(filter_x);
3964  SPLATI_H2_SH(filter_vec, 0, 1, filt0, filt1);
3965 
3966  filter_vec = LD_SH(filter_y);
3967  UNPCK_R_SB_SH(filter_vec, filter_vec);
3968 
3969  SPLATI_W2_SH(filter_vec, 0, filt_h0, filt_h1);
3970 
3971  mask1 = mask0 + 2;
3972 
3973  const_vec = __msa_ldi_h(128);
3974  const_vec <<= 6;
3975 
3976  for (cnt = width8mult; cnt--;) {
3977  src_tmp = src;
3978  dst_tmp = dst;
3979 
3980  LD_SB3(src_tmp, src_stride, src0, src1, src2);
3981  src_tmp += (3 * src_stride);
3982 
3983  XORI_B3_128_SB(src0, src1, src2);
3984 
3985  VSHF_B2_SB(src0, src0, src0, src0, mask0, mask1, vec0, vec1);
3986  VSHF_B2_SB(src1, src1, src1, src1, mask0, mask1, vec2, vec3);
3987  VSHF_B2_SB(src2, src2, src2, src2, mask0, mask1, vec4, vec5);
3988 
3989  dst0 = const_vec;
3990  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst0, dst0);
3991  dst1 = const_vec;
3992  DPADD_SB2_SH(vec2, vec3, filt0, filt1, dst1, dst1);
3993  dst2 = const_vec;
3994  DPADD_SB2_SH(vec4, vec5, filt0, filt1, dst2, dst2);
3995 
3996  ILVRL_H2_SH(dst1, dst0, dst10_r, dst10_l);
3997  ILVRL_H2_SH(dst2, dst1, dst21_r, dst21_l);
3998 
3999  for (loop_cnt = height >> 2; loop_cnt--;) {
4000  LD_SB4(src_tmp, src_stride, src3, src4, src5, src6);
4001  src_tmp += (4 * src_stride);
4002  XORI_B4_128_SB(src3, src4, src5, src6);
4003 
4004  VSHF_B2_SB(src3, src3, src3, src3, mask0, mask1, vec0, vec1);
4005  VSHF_B2_SB(src4, src4, src4, src4, mask0, mask1, vec2, vec3);
4006  VSHF_B2_SB(src5, src5, src5, src5, mask0, mask1, vec4, vec5);
4007  VSHF_B2_SB(src6, src6, src6, src6, mask0, mask1, vec6, vec7);
4008 
4009  dst3 = const_vec;
4010  dst4 = const_vec;
4011  dst5 = const_vec;
4012  dst6 = const_vec;
4013  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst3, dst3);
4014  DPADD_SB2_SH(vec2, vec3, filt0, filt1, dst4, dst4);
4015  DPADD_SB2_SH(vec4, vec5, filt0, filt1, dst5, dst5);
4016  DPADD_SB2_SH(vec6, vec7, filt0, filt1, dst6, dst6);
4017 
4018  ILVRL_H2_SH(dst3, dst2, dst32_r, dst32_l);
4019  ILVRL_H2_SH(dst4, dst3, dst43_r, dst43_l);
4020  ILVRL_H2_SH(dst5, dst4, dst54_r, dst54_l);
4021  ILVRL_H2_SH(dst6, dst5, dst65_r, dst65_l);
4022 
4023  dst0_r = HEVC_FILT_4TAP(dst10_r, dst32_r, filt_h0, filt_h1);
4024  dst0_l = HEVC_FILT_4TAP(dst10_l, dst32_l, filt_h0, filt_h1);
4025  dst1_r = HEVC_FILT_4TAP(dst21_r, dst43_r, filt_h0, filt_h1);
4026  dst1_l = HEVC_FILT_4TAP(dst21_l, dst43_l, filt_h0, filt_h1);
4027  dst2_r = HEVC_FILT_4TAP(dst32_r, dst54_r, filt_h0, filt_h1);
4028  dst2_l = HEVC_FILT_4TAP(dst32_l, dst54_l, filt_h0, filt_h1);
4029  dst3_r = HEVC_FILT_4TAP(dst43_r, dst65_r, filt_h0, filt_h1);
4030  dst3_l = HEVC_FILT_4TAP(dst43_l, dst65_l, filt_h0, filt_h1);
4031 
4032  SRA_4V(dst0_r, dst0_l, dst1_r, dst1_l, 6);
4033  SRA_4V(dst2_r, dst2_l, dst3_r, dst3_l, 6);
4034 
4035  PCKEV_H4_SW(dst0_l, dst0_r, dst1_l, dst1_r,
4036  dst2_l, dst2_r, dst3_l, dst3_r,
4037  dst0_r, dst1_r, dst2_r, dst3_r);
4038 
4039  ST_SW4(dst0_r, dst1_r, dst2_r, dst3_r, dst_tmp, dst_stride);
4040  dst_tmp += (4 * dst_stride);
4041 
4042  dst10_r = dst54_r;
4043  dst10_l = dst54_l;
4044  dst21_r = dst65_r;
4045  dst21_l = dst65_l;
4046  dst2 = dst6;
4047  }
4048 
4049  src += 8;
4050  dst += 8;
4051  }
4052 }
4053 
4054 static void hevc_hv_4t_8w_msa(const uint8_t *src,
4055  int32_t src_stride,
4056  int16_t *dst,
4057  int32_t dst_stride,
4058  const int8_t *filter_x,
4059  const int8_t *filter_y,
4060  int32_t height)
4061 {
4062 
4063  if (2 == height) {
4064  hevc_hv_4t_8x2_msa(src, src_stride, dst, dst_stride,
4065  filter_x, filter_y);
4066  } else if (4 == height) {
4067  hevc_hv_4t_8multx4_msa(src, src_stride, dst, dst_stride,
4068  filter_x, filter_y, 1);
4069  } else if (6 == height) {
4070  hevc_hv_4t_8x6_msa(src, src_stride, dst, dst_stride,
4071  filter_x, filter_y);
4072  } else if (0 == (height % 4)) {
4073  hevc_hv_4t_8multx4mult_msa(src, src_stride, dst, dst_stride,
4074  filter_x, filter_y, height, 1);
4075  }
4076 }
4077 
4078 static void hevc_hv_4t_12w_msa(const uint8_t *src,
4079  int32_t src_stride,
4080  int16_t *dst,
4081  int32_t dst_stride,
4082  const int8_t *filter_x,
4083  const int8_t *filter_y,
4084  int32_t height)
4085 {
4086  uint32_t loop_cnt;
4087  const uint8_t *src_tmp;
4088  int16_t *dst_tmp;
4089  v16i8 src0, src1, src2, src3, src4, src5, src6, src7, src8, src9, src10;
4090  v16i8 vec0, vec1, vec2, vec3, vec4, vec5, vec6, vec7;
4091  v16i8 mask0, mask1, mask2, mask3;
4092  v8i16 filt0, filt1, filt_h0, filt_h1, filter_vec, const_vec;
4093  v8i16 dst0, dst1, dst2, dst3, dst4, dst5, dst6, dst10, dst21, dst22, dst73;
4094  v8i16 dst84, dst95, dst106, dst76_r, dst98_r, dst87_r, dst109_r;
4095  v8i16 dst10_r, dst32_r, dst54_r, dst21_r, dst43_r, dst65_r;
4096  v8i16 dst10_l, dst32_l, dst54_l, dst21_l, dst43_l, dst65_l;
4097  v4i32 dst0_r, dst0_l, dst1_r, dst1_l, dst2_r, dst2_l, dst3_r, dst3_l;
4098  v4i32 tmp0, tmp1, tmp2, tmp3, tmp4, tmp5, tmp6, tmp7;
4099 
4100  src -= (src_stride + 1);
4101 
4102  filter_vec = LD_SH(filter_x);
4103  SPLATI_H2_SH(filter_vec, 0, 1, filt0, filt1);
4104 
4105  filter_vec = LD_SH(filter_y);
4106  UNPCK_R_SB_SH(filter_vec, filter_vec);
4107 
4108  SPLATI_W2_SH(filter_vec, 0, filt_h0, filt_h1);
4109 
4110  mask0 = LD_SB(ff_hevc_mask_arr);
4111  mask1 = mask0 + 2;
4112 
4113  const_vec = __msa_ldi_h(128);
4114  const_vec <<= 6;
4115 
4116  src_tmp = src;
4117  dst_tmp = dst;
4118 
4119  LD_SB3(src_tmp, src_stride, src0, src1, src2);
4120  src_tmp += (3 * src_stride);
4121 
4122  XORI_B3_128_SB(src0, src1, src2);
4123 
4124  VSHF_B2_SB(src0, src0, src0, src0, mask0, mask1, vec0, vec1);
4125  VSHF_B2_SB(src1, src1, src1, src1, mask0, mask1, vec2, vec3);
4126  VSHF_B2_SB(src2, src2, src2, src2, mask0, mask1, vec4, vec5);
4127 
4128  dst0 = const_vec;
4129  dst1 = const_vec;
4130  dst2 = const_vec;
4131  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst0, dst0);
4132  DPADD_SB2_SH(vec2, vec3, filt0, filt1, dst1, dst1);
4133  DPADD_SB2_SH(vec4, vec5, filt0, filt1, dst2, dst2);
4134 
4135  ILVRL_H2_SH(dst1, dst0, dst10_r, dst10_l);
4136  ILVRL_H2_SH(dst2, dst1, dst21_r, dst21_l);
4137 
4138  for (loop_cnt = 4; loop_cnt--;) {
4139  LD_SB4(src_tmp, src_stride, src3, src4, src5, src6);
4140  src_tmp += (4 * src_stride);
4141  XORI_B4_128_SB(src3, src4, src5, src6);
4142 
4143  VSHF_B2_SB(src3, src3, src3, src3, mask0, mask1, vec0, vec1);
4144  VSHF_B2_SB(src4, src4, src4, src4, mask0, mask1, vec2, vec3);
4145  VSHF_B2_SB(src5, src5, src5, src5, mask0, mask1, vec4, vec5);
4146  VSHF_B2_SB(src6, src6, src6, src6, mask0, mask1, vec6, vec7);
4147 
4148  dst3 = const_vec;
4149  dst4 = const_vec;
4150  dst5 = const_vec;
4151  dst6 = const_vec;
4152  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst3, dst3);
4153  DPADD_SB2_SH(vec2, vec3, filt0, filt1, dst4, dst4);
4154  DPADD_SB2_SH(vec4, vec5, filt0, filt1, dst5, dst5);
4155  DPADD_SB2_SH(vec6, vec7, filt0, filt1, dst6, dst6);
4156 
4157  ILVRL_H2_SH(dst3, dst2, dst32_r, dst32_l);
4158  ILVRL_H2_SH(dst4, dst3, dst43_r, dst43_l);
4159  ILVRL_H2_SH(dst5, dst4, dst54_r, dst54_l);
4160  ILVRL_H2_SH(dst6, dst5, dst65_r, dst65_l);
4161 
4162  dst0_r = HEVC_FILT_4TAP(dst10_r, dst32_r, filt_h0, filt_h1);
4163  dst0_l = HEVC_FILT_4TAP(dst10_l, dst32_l, filt_h0, filt_h1);
4164  dst1_r = HEVC_FILT_4TAP(dst21_r, dst43_r, filt_h0, filt_h1);
4165  dst1_l = HEVC_FILT_4TAP(dst21_l, dst43_l, filt_h0, filt_h1);
4166  dst2_r = HEVC_FILT_4TAP(dst32_r, dst54_r, filt_h0, filt_h1);
4167  dst2_l = HEVC_FILT_4TAP(dst32_l, dst54_l, filt_h0, filt_h1);
4168  dst3_r = HEVC_FILT_4TAP(dst43_r, dst65_r, filt_h0, filt_h1);
4169  dst3_l = HEVC_FILT_4TAP(dst43_l, dst65_l, filt_h0, filt_h1);
4170 
4171  SRA_4V(dst0_r, dst0_l, dst1_r, dst1_l, 6);
4172  SRA_4V(dst2_r, dst2_l, dst3_r, dst3_l, 6);
4173  PCKEV_H4_SW(dst0_l, dst0_r, dst1_l, dst1_r, dst2_l, dst2_r, dst3_l,
4174  dst3_r, dst0_r, dst1_r, dst2_r, dst3_r);
4175  ST_SW4(dst0_r, dst1_r, dst2_r, dst3_r, dst_tmp, dst_stride);
4176  dst_tmp += (4 * dst_stride);
4177 
4178  dst10_r = dst54_r;
4179  dst10_l = dst54_l;
4180  dst21_r = dst65_r;
4181  dst21_l = dst65_l;
4182  dst2 = dst6;
4183  }
4184 
4185  src += 8;
4186  dst += 8;
4187 
4188  mask2 = LD_SB(ff_hevc_mask_arr + 16);
4189  mask3 = mask2 + 2;
4190 
4191  LD_SB3(src, src_stride, src0, src1, src2);
4192  src += (3 * src_stride);
4193  XORI_B3_128_SB(src0, src1, src2);
4194  VSHF_B2_SB(src0, src1, src0, src1, mask2, mask3, vec0, vec1);
4195  VSHF_B2_SB(src1, src2, src1, src2, mask2, mask3, vec2, vec3);
4196  dst10 = const_vec;
4197  dst21 = const_vec;
4198  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst10, dst10);
4199  DPADD_SB2_SH(vec2, vec3, filt0, filt1, dst21, dst21);
4200  ILVRL_H2_SH(dst21, dst10, dst10_r, dst21_r);
4201  dst22 = (v8i16) __msa_splati_d((v2i64) dst21, 1);
4202 
4203  for (loop_cnt = 2; loop_cnt--;) {
4204  LD_SB8(src, src_stride, src3, src4, src5, src6, src7, src8, src9,
4205  src10);
4206  src += (8 * src_stride);
4207  XORI_B8_128_SB(src3, src4, src5, src6, src7, src8, src9, src10);
4208  VSHF_B2_SB(src3, src7, src3, src7, mask2, mask3, vec0, vec1);
4209  VSHF_B2_SB(src4, src8, src4, src8, mask2, mask3, vec2, vec3);
4210  VSHF_B2_SB(src5, src9, src5, src9, mask2, mask3, vec4, vec5);
4211  VSHF_B2_SB(src6, src10, src6, src10, mask2, mask3, vec6, vec7);
4212 
4213  dst73 = const_vec;
4214  dst84 = const_vec;
4215  dst95 = const_vec;
4216  dst106 = const_vec;
4217  DPADD_SB2_SH(vec0, vec1, filt0, filt1, dst73, dst73);
4218  DPADD_SB2_SH(vec2, vec3, filt0, filt1, dst84, dst84);
4219  DPADD_SB2_SH(vec4, vec5, filt0, filt1, dst95, dst95);
4220  DPADD_SB2_SH(vec6, vec7, filt0, filt1, dst106, dst106);
4221 
4222  dst32_r = __msa_ilvr_h(dst73, dst22);
4223  ILVRL_H2_SH(dst84, dst73, dst43_r, dst87_r);
4224  ILVRL_H2_SH(dst95, dst84, dst54_r, dst98_r);
4225  ILVRL_H2_SH(dst106, dst95, dst65_r, dst109_r);
4226  dst22 = (v8i16) __msa_splati_d((v2i64) dst73, 1);
4227  dst76_r = __msa_ilvr_h(dst22, dst106);
4228 
4229  tmp0 = HEVC_FILT_4TAP(dst10_r, dst32_r, filt_h0, filt_h1);
4230  tmp1 = HEVC_FILT_4TAP(dst21_r, dst43_r, filt_h0, filt_h1);
4231  tmp2 = HEVC_FILT_4TAP(dst32_r, dst54_r, filt_h0, filt_h1);
4232  tmp3 = HEVC_FILT_4TAP(dst43_r, dst65_r, filt_h0, filt_h1);
4233  tmp4 = HEVC_FILT_4TAP(dst54_r, dst76_r, filt_h0, filt_h1);
4234  tmp5 = HEVC_FILT_4TAP(dst65_r, dst87_r, filt_h0, filt_h1);
4235  tmp6 = HEVC_FILT_4TAP(dst76_r, dst98_r, filt_h0, filt_h1);
4236  tmp7 = HEVC_FILT_4TAP(dst87_r, dst109_r, filt_h0, filt_h1);
4237 
4238  SRA_4V(tmp0, tmp1, tmp2, tmp3, 6);
4239  SRA_4V(tmp4, tmp5, tmp6, tmp7, 6);
4240  PCKEV_H4_SW(tmp1, tmp0, tmp3, tmp2, tmp5, tmp4, tmp7, tmp6, tmp0, tmp1,
4241  tmp2, tmp3);
4242  ST_D8(tmp0, tmp1, tmp2, tmp3, 0, 1, 0, 1, 0, 1, 0, 1, dst, dst_stride);
4243  dst += (8 * dst_stride);
4244 
4245  dst10_r = dst98_r;
4246  dst21_r = dst109_r;
4247  dst22 = (v8i16) __msa_splati_d((v2i64) dst106, 1);
4248  }
4249 }
4250 
4251 static void hevc_hv_4t_16w_msa(const uint8_t *src,
4252  int32_t src_stride,
4253  int16_t *dst,
4254  int32_t dst_stride,
4255  const int8_t *filter_x,
4256  const int8_t *filter_y,
4257  int32_t height)
4258 {
4259  if (4 == height) {
4260  hevc_hv_4t_8multx4_msa(src, src_stride, dst, dst_stride,
4261  filter_x, filter_y, 2);
4262  } else {
4263  hevc_hv_4t_8multx4mult_msa(src, src_stride, dst, dst_stride,
4264  filter_x, filter_y, height, 2);
4265  }
4266 }
4267 
4268 static void hevc_hv_4t_24w_msa(const uint8_t *src,
4269  int32_t src_stride,
4270  int16_t *dst,
4271  int32_t dst_stride,
4272  const int8_t *filter_x,
4273  const int8_t *filter_y,
4274  int32_t height)
4275 {
4276  hevc_hv_4t_8multx4mult_msa(src, src_stride, dst, dst_stride,
4277  filter_x, filter_y, height, 3);
4278 }
4279 
4280 static void hevc_hv_4t_32w_msa(const uint8_t *src,
4281  int32_t src_stride,
4282  int16_t *dst,
4283  int32_t dst_stride,
4284  const int8_t *filter_x,
4285  const int8_t *filter_y,
4286  int32_t height)
4287 {
4288  hevc_hv_4t_8multx4mult_msa(src, src_stride, dst, dst_stride,
4289  filter_x, filter_y, height, 4);
4290 }
4291 
4292 #define MC_COPY(WIDTH) \
4293 void ff_hevc_put_hevc_pel_pixels##WIDTH##_8_msa(int16_t *dst, \
4294  const uint8_t *src, \
4295  ptrdiff_t src_stride, \
4296  int height, \
4297  intptr_t mx, \
4298  intptr_t my, \
4299  int width) \
4300 { \
4301  hevc_copy_##WIDTH##w_msa(src, src_stride, dst, MAX_PB_SIZE, height); \
4302 }
4303 
4304 MC_COPY(4);
4305 MC_COPY(6);
4306 MC_COPY(8);
4307 MC_COPY(12);
4308 MC_COPY(16);
4309 MC_COPY(24);
4310 MC_COPY(32);
4311 MC_COPY(48);
4312 MC_COPY(64);
4313 
4314 #undef MC_COPY
4315 
4316 #define MC(PEL, DIR, WIDTH, TAP, DIR1, FILT_DIR) \
4317 void ff_hevc_put_hevc_##PEL##_##DIR##WIDTH##_8_msa(int16_t *dst, \
4318  const uint8_t *src, \
4319  ptrdiff_t src_stride, \
4320  int height, \
4321  intptr_t mx, \
4322  intptr_t my, \
4323  int width) \
4324 { \
4325  const int8_t *filter = ff_hevc_##PEL##_filters[FILT_DIR]; \
4326  \
4327  hevc_##DIR1##_##TAP##t_##WIDTH##w_msa(src, src_stride, dst, \
4328  MAX_PB_SIZE, filter, height); \
4329 }
4330 
4331 MC(qpel, h, 4, 8, hz, mx);
4332 MC(qpel, h, 8, 8, hz, mx);
4333 MC(qpel, h, 12, 8, hz, mx);
4334 MC(qpel, h, 16, 8, hz, mx);
4335 MC(qpel, h, 24, 8, hz, mx);
4336 MC(qpel, h, 32, 8, hz, mx);
4337 MC(qpel, h, 48, 8, hz, mx);
4338 MC(qpel, h, 64, 8, hz, mx);
4339 
4340 MC(qpel, v, 4, 8, vt, my);
4341 MC(qpel, v, 8, 8, vt, my);
4342 MC(qpel, v, 12, 8, vt, my);
4343 MC(qpel, v, 16, 8, vt, my);
4344 MC(qpel, v, 24, 8, vt, my);
4345 MC(qpel, v, 32, 8, vt, my);
4346 MC(qpel, v, 48, 8, vt, my);
4347 MC(qpel, v, 64, 8, vt, my);
4348 
4349 MC(epel, h, 4, 4, hz, mx);
4350 MC(epel, h, 6, 4, hz, mx);
4351 MC(epel, h, 8, 4, hz, mx);
4352 MC(epel, h, 12, 4, hz, mx);
4353 MC(epel, h, 16, 4, hz, mx);
4354 MC(epel, h, 24, 4, hz, mx);
4355 MC(epel, h, 32, 4, hz, mx);
4356 
4357 MC(epel, v, 4, 4, vt, my);
4358 MC(epel, v, 6, 4, vt, my);
4359 MC(epel, v, 8, 4, vt, my);
4360 MC(epel, v, 12, 4, vt, my);
4361 MC(epel, v, 16, 4, vt, my);
4362 MC(epel, v, 24, 4, vt, my);
4363 MC(epel, v, 32, 4, vt, my);
4364 
4365 #undef MC
4366 
4367 #define MC_HV(PEL, WIDTH, TAP) \
4368 void ff_hevc_put_hevc_##PEL##_hv##WIDTH##_8_msa(int16_t *dst, \
4369  const uint8_t *src, \
4370  ptrdiff_t src_stride, \
4371  int height, \
4372  intptr_t mx, \
4373  intptr_t my, \
4374  int width) \
4375 { \
4376  const int8_t *filter_x = ff_hevc_##PEL##_filters[mx]; \
4377  const int8_t *filter_y = ff_hevc_##PEL##_filters[my]; \
4378  \
4379  hevc_hv_##TAP##t_##WIDTH##w_msa(src, src_stride, dst, MAX_PB_SIZE, \
4380  filter_x, filter_y, height); \
4381 }
4382 
4383 MC_HV(qpel, 4, 8);
4384 MC_HV(qpel, 8, 8);
4385 MC_HV(qpel, 12, 8);
4386 MC_HV(qpel, 16, 8);
4387 MC_HV(qpel, 24, 8);
4388 MC_HV(qpel, 32, 8);
4389 MC_HV(qpel, 48, 8);
4390 MC_HV(qpel, 64, 8);
4391 
4392 MC_HV(epel, 4, 4);
4393 MC_HV(epel, 6, 4);
4394 MC_HV(epel, 8, 4);
4395 MC_HV(epel, 12, 4);
4396 MC_HV(epel, 16, 4);
4397 MC_HV(epel, 24, 4);
4398 MC_HV(epel, 32, 4);
4399 
4400 #undef MC_HV
VSHF_B2_SB
#define VSHF_B2_SB(...)
Definition: generic_macros_msa.h:662
LD_SB4
#define LD_SB4(...)
Definition: generic_macros_msa.h:297
ST_SW2
#define ST_SW2(...)
Definition: generic_macros_msa.h:367
hevc_hz_4t_24w_msa
static void hevc_hz_4t_24w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:2354
DPADD_SB2_SH
#define DPADD_SB2_SH(...)
Definition: generic_macros_msa.h:833
hevc_copy_4w_msa
static void hevc_copy_4w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, int32_t height)
Definition: hevcdsp_msa.c:32
hevc_hz_8t_4w_msa
static void hevc_hz_8t_4w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:476
hevc_hz_4t_4x2_msa
static void hevc_hz_4t_4x2_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter)
Definition: hevcdsp_msa.c:1901
hevc_hv_8t_16w_msa
static void hevc_hv_8t_16w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter_x, const int8_t *filter_y, int32_t height)
Definition: hevcdsp_msa.c:1856
hevc_vt_4t_4x16_msa
static void hevc_vt_4t_4x16_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:2626
hevc_vt_4t_8x4multiple_msa
static void hevc_vt_4t_8x4multiple_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:2909
SPLATI_H4_SH
#define SPLATI_H4_SH(...)
Definition: generic_macros_msa.h:1674
ILVL_B4_SH
#define ILVL_B4_SH(...)
Definition: generic_macros_msa.h:1276
hevc_hz_8t_32w_msa
static void hevc_hz_8t_32w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:806
src1
const pixel * src1
Definition: h264pred_template.c:421
hevc_hz_8t_16w_msa
static void hevc_hz_8t_16w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:674
int64_t
long long int64_t
Definition: coverity.c:34
hevc_vt_4t_4x8_msa
static void hevc_vt_4t_4x8_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:2577
PCKEV_H2_SW
#define PCKEV_H2_SW(...)
Definition: generic_macros_msa.h:1760
hevc_vt_4t_4w_msa
static void hevc_vt_4t_4w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:2696
hevc_vt_4t_12w_msa
static void hevc_vt_4t_12w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:2975
hevc_copy_64w_msa
static void hevc_copy_64w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, int32_t height)
Definition: hevcdsp_msa.c:439
hevc_vt_4t_8x2_msa
static void hevc_vt_4t_8x2_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter)
Definition: hevcdsp_msa.c:2812
LD_SH
#define LD_SH(...)
Definition: generic_macros_msa.h:35
hevc_hv_4t_32w_msa
static void hevc_hv_4t_32w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter_x, const int8_t *filter_y, int32_t height)
Definition: hevcdsp_msa.c:4280
VSHF_B4_SB
#define VSHF_B4_SB(...)
Definition: generic_macros_msa.h:680
hevc_vt_4t_32w_msa
static void hevc_vt_4t_32w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:3211
filter
filter_frame For filters that do not use the this method is called when a frame is pushed to the filter s input It can be called at any time except in a reentrant way If the input frame is enough to produce then the filter should push the output frames on the output link immediately As an exception to the previous rule if the input frame is enough to produce several output frames then the filter needs output only at least one per link The additional frames can be left buffered in the filter
Definition: filter_design.txt:228
hevc_hv_8t_8w_msa
static void hevc_hv_8t_8w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter_x, const int8_t *filter_y, int32_t height)
Definition: hevcdsp_msa.c:1652
hevc_copy_6w_msa
static void hevc_copy_6w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, int32_t height)
Definition: hevcdsp_msa.c:80
hevc_vt_8t_32w_msa
static void hevc_vt_8t_32w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:1394
hevc_hz_4t_4w_msa
static void hevc_hz_4t_4w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:2020
hevc_vt_8t_16multx4mult_msa
static void hevc_vt_8t_16multx4mult_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height, int32_t width)
Definition: hevcdsp_msa.c:1268
XORI_B4_128_SB
#define XORI_B4_128_SB(...)
Definition: generic_macros_msa.h:1851
hevc_vt_8t_64w_msa
static void hevc_vt_8t_64w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:1410
hevc_hz_4t_6w_msa
static void hevc_hz_4t_6w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:2037
hevc_vt_4t_8x6_msa
static void hevc_vt_4t_8x6_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter)
Definition: hevcdsp_msa.c:2847
hevc_hv_4t_4multx8mult_msa
static void hevc_hv_4t_4multx8mult_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter_x, const int8_t *filter_y, int32_t height)
Definition: hevcdsp_msa.c:3434
hevc_hz_4t_8x4multiple_msa
static void hevc_hz_4t_8x4multiple_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:2152
generic_macros_msa.h
hevc_hv_8t_32w_msa
static void hevc_hv_8t_32w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter_x, const int8_t *filter_y, int32_t height)
Definition: hevcdsp_msa.c:1874
ST_W4
#define ST_W4(in, idx0, idx1, idx2, idx3, pdst, stride)
Definition: vp8_lpf_lsx.c:234
ST12x8_UB
#define ST12x8_UB(in0, in1, in2, in3, in4, in5, in6, in7, pdst, stride)
Definition: generic_macros_msa.h:527
PCKEV_H4_SW
#define PCKEV_H4_SW(...)
Definition: generic_macros_msa.h:1769
LD_SB
#define LD_SB(...)
Definition: generic_macros_msa.h:33
hevc_copy_16w_msa
static void hevc_copy_16w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, int32_t height)
Definition: hevcdsp_msa.c:230
LD_SB5
#define LD_SB5(...)
Definition: generic_macros_msa.h:308
ILVL_W2_SB
#define ILVL_W2_SB(...)
Definition: generic_macros_msa.h:1319
aligned
static int aligned(int val)
Definition: dashdec.c:170
hevc_vt_8t_8w_msa
static void hevc_vt_8t_8w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:1118
ST_SW4
#define ST_SW4(...)
Definition: generic_macros_msa.h:377
hevc_hz_8t_64w_msa
static void hevc_hz_8t_64w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:937
SW
#define SW(val, pdst)
Definition: generic_macros_msa.h:167
hevc_vt_4t_4x2_msa
static void hevc_vt_4t_4x2_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter)
Definition: hevcdsp_msa.c:2507
width
#define width
UNPCK_R_SB_SH
#define UNPCK_R_SB_SH(in, out)
Definition: generic_macros_msa.h:2156
SRA_4V
#define SRA_4V(in0, in1, in2, in3, shift)
Definition: generic_macros_msa.h:1939
HEVC_FILT_8TAP
#define HEVC_FILT_8TAP(in0, in1, in2, in3, filt0, filt1, filt2, filt3)
Definition: hevc_macros_msa.h:35
hevc_hv_8t_8multx1mult_msa
static void hevc_hv_8t_8multx1mult_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter_x, const int8_t *filter_y, int32_t height, int32_t width)
Definition: hevcdsp_msa.c:1525
hevc_hz_4t_8x2multiple_msa
static void hevc_hz_4t_8x2multiple_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:2108
ff_hevc_mask_arr
static const uint8_t ff_hevc_mask_arr[16 *2]
Definition: hevcdsp_msa.c:25
ST_D8
#define ST_D8(in0, in1, in2, in3, idx0, idx1, idx2, idx3, idx4, idx5, idx6, idx7, pdst, stride)
Definition: generic_macros_msa.h:511
hevc_hv_4t_4w_msa
static void hevc_hv_4t_4w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter_x, const int8_t *filter_y, int32_t height)
Definition: hevcdsp_msa.c:3530
hevc_hz_4t_12w_msa
static void hevc_hz_4t_12w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:2221
hevc_macros_msa.h
ILVR_B4_SB
#define ILVR_B4_SB(...)
Definition: generic_macros_msa.h:1360
ILVR_D2_SB
#define ILVR_D2_SB(...)
Definition: generic_macros_msa.h:1444
ILVL_B2_SH
#define ILVL_B2_SH(...)
Definition: generic_macros_msa.h:1265
ST_SH2
#define ST_SH2(...)
Definition: generic_macros_msa.h:366
XORI_B5_128_SB
#define XORI_B5_128_SB(...)
Definition: generic_macros_msa.h:1859
ST_SH4
#define ST_SH4(...)
Definition: generic_macros_msa.h:376
hevc_vt_8t_48w_msa
static void hevc_vt_8t_48w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:1402
ILVRL_H2_SH
#define ILVRL_H2_SH(...)
Definition: generic_macros_msa.h:1508
MC_HV
#define MC_HV(PEL, WIDTH, TAP)
Definition: hevcdsp_msa.c:4367
hevc_hz_4t_8w_msa
static void hevc_hz_4t_8w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:2205
ST_UH
#define ST_UH(...)
Definition: generic_macros_msa.h:42
hevc_vt_4t_24w_msa
static void hevc_vt_4t_24w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:3113
hevc_hv_8t_24w_msa
static void hevc_hv_8t_24w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter_x, const int8_t *filter_y, int32_t height)
Definition: hevcdsp_msa.c:1865
hevc_hv_4t_4x2_msa
static void hevc_hv_4t_4x2_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter_x, const int8_t *filter_y)
Definition: hevcdsp_msa.c:3317
hevc_vt_4t_16w_msa
static void hevc_vt_4t_16w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:3046
ILVR_D3_SB
#define ILVR_D3_SB(...)
Definition: generic_macros_msa.h:1452
ILVR_D4_SB
#define ILVR_D4_SB(...)
Definition: generic_macros_msa.h:1460
hevcdsp_mips.h
hevc_vt_4t_6w_msa
static void hevc_vt_4t_6w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:2714
SLLI_4V
#define SLLI_4V(in0, in1, in2, in3, shift)
Definition: generic_macros_msa.h:1921
ST_SW
#define ST_SW(...)
Definition: generic_macros_msa.h:45
LD_SB7
#define LD_SB7(...)
Definition: generic_macros_msa.h:327
hevc_vt_8t_12w_msa
static void hevc_vt_8t_12w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:1181
hevc_vt_4t_4x4_msa
static void hevc_vt_4t_4x4_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:2540
SD4
#define SD4(in0, in1, in2, in3, pdst, stride)
Definition: generic_macros_msa.h:256
hevc_hv_4t_12w_msa
static void hevc_hv_4t_12w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter_x, const int8_t *filter_y, int32_t height)
Definition: hevcdsp_msa.c:4078
XORI_B8_128_SB
#define XORI_B8_128_SB(...)
Definition: generic_macros_msa.h:1880
ILVR_B2_SB
#define ILVR_B2_SB(...)
Definition: generic_macros_msa.h:1338
XORI_B2_128_SB
#define XORI_B2_128_SB(...)
Definition: generic_macros_msa.h:1835
ST_SH8
#define ST_SH8(...)
Definition: generic_macros_msa.h:392
hevc_hz_4t_32w_msa
static void hevc_hz_4t_32w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:2455
hevc_hv_4t_6w_msa
static void hevc_hv_4t_6w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter_x, const int8_t *filter_y, int32_t height)
Definition: hevcdsp_msa.c:3550
height
#define height
hevc_hv_8t_48w_msa
static void hevc_hv_8t_48w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter_x, const int8_t *filter_y, int32_t height)
Definition: hevcdsp_msa.c:1883
ST_D2
#define ST_D2(in, idx0, idx1, pdst, stride)
Definition: generic_macros_msa.h:491
hevc_copy_48w_msa
static void hevc_copy_48w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, int32_t height)
Definition: hevcdsp_msa.c:388
hevc_hv_4t_8w_msa
static void hevc_hv_4t_8w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter_x, const int8_t *filter_y, int32_t height)
Definition: hevcdsp_msa.c:4054
SPLATI_H2_SH
#define SPLATI_H2_SH(...)
Definition: generic_macros_msa.h:1656
LD_SB6
#define LD_SB6(...)
Definition: generic_macros_msa.h:316
hevc_vt_8t_24w_msa
static void hevc_vt_8t_24w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:1384
SPLATI_W4_SH
#define SPLATI_W4_SH(...)
Definition: generic_macros_msa.h:1700
hevc_vt_8t_16w_msa
static void hevc_vt_8t_16w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:1376
hevc_hz_8t_8w_msa
static void hevc_hz_8t_8w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:544
hevc_hv_4t_16w_msa
static void hevc_hv_4t_16w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter_x, const int8_t *filter_y, int32_t height)
Definition: hevcdsp_msa.c:4251
src2
const pixel * src2
Definition: h264pred_template.c:422
MC_COPY
#define MC_COPY(WIDTH)
Definition: hevcdsp_msa.c:4292
hevc_vt_8t_4w_msa
static void hevc_vt_8t_4w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:1031
hevc_hv_8t_12w_msa
static void hevc_hv_8t_12w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter_x, const int8_t *filter_y, int32_t height)
Definition: hevcdsp_msa.c:1661
ILVL_B2_SB
#define ILVL_B2_SB(...)
Definition: generic_macros_msa.h:1263
DPADD_SB4_SH
#define DPADD_SB4_SH(...)
Definition: generic_macros_msa.h:841
hevc_hv_4t_24w_msa
static void hevc_hv_4t_24w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter_x, const int8_t *filter_y, int32_t height)
Definition: hevcdsp_msa.c:4268
SPLATI_W2_SH
#define SPLATI_W2_SH(...)
Definition: generic_macros_msa.h:1692
hevc_hz_4t_4x8multiple_msa
static void hevc_hz_4t_4x8multiple_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:1971
LD_SB3
#define LD_SB3(...)
Definition: generic_macros_msa.h:289
hevc_hv_8t_64w_msa
static void hevc_hv_8t_64w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter_x, const int8_t *filter_y, int32_t height)
Definition: hevcdsp_msa.c:1892
hevc_hv_8t_4w_msa
static void hevc_hv_8t_4w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter_x, const int8_t *filter_y, int32_t height)
Definition: hevcdsp_msa.c:1418
hevc_hv_4t_8x2_msa
static void hevc_hv_4t_8x2_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter_x, const int8_t *filter_y)
Definition: hevcdsp_msa.c:3675
hevc_copy_12w_msa
static void hevc_copy_12w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, int32_t height)
Definition: hevcdsp_msa.c:179
hevc_copy_24w_msa
static void hevc_copy_24w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, int32_t height)
Definition: hevcdsp_msa.c:321
ST_D4
#define ST_D4(in0, in1, idx0, idx1, idx2, idx3, pdst, stride)
Definition: generic_macros_msa.h:499
ILVL_B4_SB
#define ILVL_B4_SB(...)
Definition: generic_macros_msa.h:1274
LD_SB8
#define LD_SB8(...)
Definition: generic_macros_msa.h:336
ILVR_B4_SH
#define ILVR_B4_SH(...)
Definition: generic_macros_msa.h:1362
src0
const pixel *const src0
Definition: h264pred_template.c:420
MC
#define MC(PEL, DIR, WIDTH, TAP, DIR1, FILT_DIR)
Definition: hevcdsp_msa.c:4316
hevc_copy_8w_msa
static void hevc_copy_8w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, int32_t height)
Definition: hevcdsp_msa.c:118
zero
#define zero
Definition: regdef.h:64
ILVR_W2_SB
#define ILVR_W2_SB(...)
Definition: generic_macros_msa.h:1417
ST_SH6
#define ST_SH6(...)
Definition: generic_macros_msa.h:384
hevc_hz_8t_12w_msa
static void hevc_hz_8t_12w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:599
hevc_hv_4t_8multx4_msa
static void hevc_hv_4t_8multx4_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter_x, const int8_t *filter_y, int32_t width8mult)
Definition: hevcdsp_msa.c:3742
XORI_B7_128_SB
#define XORI_B7_128_SB(...)
Definition: generic_macros_msa.h:1873
hevc_copy_32w_msa
static void hevc_copy_32w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, int32_t height)
Definition: hevcdsp_msa.c:350
hevc_hz_4t_16w_msa
static void hevc_hz_4t_16w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:2282
src
INIT_CLIP pixel * src
Definition: h264pred_template.c:418
ST_SH
#define ST_SH(...)
Definition: generic_macros_msa.h:43
HEVC_FILT_4TAP
#define HEVC_FILT_4TAP(in0, in1, filt0, filt1)
Definition: hevc_macros_msa.h:64
hevc_hv_4t_8x6_msa
static void hevc_hv_4t_8x6_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter_x, const int8_t *filter_y)
Definition: hevcdsp_msa.c:3826
int32_t
int32_t
Definition: audioconvert.c:56
h
h
Definition: vp9dsp_template.c:2038
ILVR_B2_SH
#define ILVR_B2_SH(...)
Definition: generic_macros_msa.h:1340
hevc_vt_4t_8w_msa
static void hevc_vt_4t_8w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:2958
PCKEV_D2_SH
#define PCKEV_D2_SH(...)
Definition: generic_macros_msa.h:1789
ILVR_W4_SB
#define ILVR_W4_SB(...)
Definition: generic_macros_msa.h:1426
hevc_hv_4t_8multx4mult_msa
static void hevc_hv_4t_8multx4mult_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter_x, const int8_t *filter_y, int32_t height, int32_t width8mult)
Definition: hevcdsp_msa.c:3937
hevc_hz_8t_24w_msa
static void hevc_hz_8t_24w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:731
hevc_hz_4t_4x4_msa
static void hevc_hz_4t_4x4_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter)
Definition: hevcdsp_msa.c:1934
SD
#define SD
Definition: ccaption_dec.c:940
hevc_hz_8t_48w_msa
static void hevc_hz_8t_48w_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter, int32_t height)
Definition: hevcdsp_msa.c:866
PCKEV_H2_SH
#define PCKEV_H2_SH(...)
Definition: generic_macros_msa.h:1759
hevc_hv_4t_4x4_msa
static void hevc_hv_4t_4x4_msa(const uint8_t *src, int32_t src_stride, int16_t *dst, int32_t dst_stride, const int8_t *filter_x, const int8_t *filter_y)
Definition: hevcdsp_msa.c:3371
XORI_B3_128_SB
#define XORI_B3_128_SB(...)
Definition: generic_macros_msa.h:1843
LD_SB2
#define LD_SB2(...)
Definition: generic_macros_msa.h:278
Generated on Thu Sep 26 2024 23:15:08 for FFmpeg by   doxygen 1.8.17